同构发布/订阅系统的系统最优化与并行查询算法的研究与实现

发布/订阅论文 系统最优化论文 并行匹配论文 多维索引论文
论文详情
发布/订阅系统是一种提供给信息的生产者和消费者互动平台的分布式中间件系统,其中同构发布/订阅系统的一类应用是易物服务、物品交换等,该系统的目的是使尽可能多的用户参与匹配、提高系统的收益能力,因此逐渐获得了电商的关注。近年来,云计算作为计算平台中一种新型模型出现,覆盖了多数计算领域。云计算的兴起为高效、大规模计算平台的产生提供了可能性。如何在发布/订阅系统中使尽可能多的用户参与匹配并且使系统具有良好的扩展性是发布/订阅系统的追求目标,也是发布/订阅系统的关键技术。本文主要工作包含两部分,第一是针对系统最优化问题设计出高效的算法,找出尽可能多的订阅用户成功参与匹配,另一工作是利用云计算平台的计算资源和技术,设计出具有良好扩展性的发布/订阅系统。针对提高系统中参与匹配用户数目的系统最优化问题,本文应用了兼顾用户满意度的贪心算法和启发式算法。现有的发布/订阅相关的研究中,针对系统最优化问题的研究相对较少。已知在环匹配长度大于等于3的前提下,系统最优化问题是NPC问题,为系统找到一个近似最优解是本文的一个研究重点。而本文主要从系统收益和用户满意度两个角度出发,应用了兼顾两者的贪心算法和启发式算法。其中,贪心算法从考虑用户满意度的角度获取系统近似最优解;而启发式算法中,针对长度为3的环匹配提出了两种归约规则,通过归约规则逐步降低问题规模,并最终获取系统近似最优解。实验结果证明,两种算法执行时间基本相同,启发式算法的结果集中包含的订阅数比贪心算法结果集中订阅数多出9%到24%。针对发布/订阅系统扩展性这一问题,本文提出了基于Twitter Storm的发布/订阅并行框架。目前虽然存在部分有关于云计算和发布/订阅相结合的研究工作,还没有关于实时处理系统Twitter Storm与发布/订阅的整合工作。本文提出的基于Twitter Storm的发布/订阅框架的目的是在大规模数据下,使事件与订阅进行快速的匹配。首先,对于云环境下缺少有效的索引结构,本文针对订阅数据建立基于HBase存储的R-树索引,通过维转换和空间填充技术,可以高效地进行事件的查询匹配。其次,针对事件匹配工作,本文设计框架及算法采用并行查询模式,有效地提高了事件的匹配速度,从而提高系统的吞吐量。最后,通过实验分析,索引结构的存在大大减少数据查询时间,并证明了并行框架的扩展性。
摘要第5-7页
Abstract第7-8页
第1章 绪论第12-16页
    1.1 研究背景第12-13页
    1.2 研究目的与意义第13-14页
    1.3 本文主要工作第14页
    1.4 本文组织结构第14-16页
第2章 相关工作第16-30页
    2.1 相关概念第16-20页
        2.1.1 发布/订阅系统第16-17页
        2.1.2 发布/订阅系统数据模型第17-18页
        2.1.3 同构发布/订阅系统第18-20页
    2.2 相关研究第20-23页
        2.2.1 同构发布/订阅系统的环匹配算法第20-21页
        2.2.2 同构发布/订阅系统的系统最优化算法第21-22页
        2.2.3 云计算与发布/订阅的研究工作第22-23页
    2.3 相关技术第23-29页
        2.3.1 HBase第23-24页
        2.3.2 Redis第24-25页
        2.3.3 Hadoop第25-26页
        2.3.4 Twitter Storm第26-28页
        2.3.5 Hadoop与Twitter Storm对比第28-29页
    2.4 本章小结第29-30页
第3章 基于启发式策略的系统最优算法第30-48页
    3.1 问题提出及分析第30-32页
    3.2 贪心算法第32-36页
        3.2.1 基本思想第32-33页
        3.2.2 算法设计第33-36页
        3.2.3 算法分析第36页
    3.3 启发式算法第36-39页
        3.3.1 基本思想第36-38页
        3.3.2 算法设计第38-39页
        3.3.3 算法分析第39页
    3.4 实验与结果分析第39-47页
        3.4.1 实验环境及设计第39-40页
        3.4.2 实验结果及评价第40-47页
    3.5 本章小结第47-48页
第4章 基于Twitter Storm的并行查询算法第48-74页
    4.1 问题提出及分析第48-49页
    4.2 预备知识第49-53页
        4.2.1 维转换映射第49-50页
        4.2.2 空间填充曲线第50-51页
        4.2.3 R-树索引第51-52页
        4.2.4 Twitter Storm处理模型第52-53页
    4.3 基于Twitter Storm的并行框架设计第53-57页
        4.3.1 系统框架图第53-54页
        4.3.2 订阅索引结构设计第54-57页
    4.4 基于Twitter Storm的并行算法设计第57-61页
        4.4.1 基本思想第57-58页
        4.4.2 Twitter Storm并行拓扑结构设计第58页
        4.4.3 订阅索引维护算法第58-59页
        4.4.4 事件查询算法第59-61页
    4.5 Twitter Storm任务调度第61-62页
    4.6 实验结果及分析第62-72页
        4.6.1 实验环境第62-63页
        4.6.2 Twitter Storm性能分析第63-66页
        4.6.3 基于Twitter Storm的索引维护评价第66-69页
        4.6.4 基于Twitter Storm的并行查询评价第69-72页
    4.7 本章小结第72-74页
第5章 总结与展望第74-76页
    5.1 总结第74页
    5.2 展望第74-76页
参考文献第76-80页
致谢第80-82页
攻读硕士学位期间研究成果第82页
论文购买
论文编号ABS3560168,这篇论文共82页
会员购买按0.30元/页下载,共需支付24.6
不是会员,注册会员
会员更优惠充值送钱
直接购买按0.5元/页下载,共需要支付41
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文

点击收藏 | 在线购卡 | 站内搜索 | 网站地图
版权所有 艾博士论文 Copyright(C) All Rights Reserved
版权申明:本文摘要目录由会员***投稿,艾博士论文编辑,如作者需要删除论文目录请通过QQ告知我们,承诺24小时内删除。
联系方式: QQ:277865656