基于MapReduce分布式信令分析研究与实现

MapReduce论文 信令分析论文
论文详情
随着用户数和业务规模的高速增长,电信企业每天产生的信令监测数据高达数十TBs。传统的基于关系型数据库的数据处理方式已经不能应对如此巨大的数据量。如何高效地对信令数据进行分析是电信业普遍存在的一个棘手问题。Hadoop包括了一个MapReduce的开源实现,可以用来构建低成本、高性能的分布式数据分析系统,从而克服单机分析系统吞吐量不足的问题。另外,Hadoop还提供了安全、可扩展的海量数据存储方案。论文基于MapReduce分布式编程模型,介绍了如何实现海量信令数据的分析。以信令监测系统产生的呼叫详细记录为数据源,设计并实现了一套完整的分布式信令分析方案,包括数据预处理、数据分析和结果输出。详细介绍了利用HIVE将信令分析作业转换为MapReduce任务的过程。论述了任务转换和结果存储的优化方法。信令分析系统内同时运行着大量作业,这些作业共享集群资源。任务调度目的是解决资源分配问题,从而提高系统效能。Hadoop默认的调度器忽略了不同作业的需求差异,可能造成一些作业永远无法获得合适的资源。本文提出了一种MapReduce环境下的最低松弛度优先(Least Laxity First, LLF)任务调度算法,解决了调度的公平性问题,并支持特殊优先级抢占。
摘要第4-5页
ABSTRACT第5页
第一章 绪论第9-15页
    1.1 研究背景与意义第9-11页
        1.1.1 电信业数据分析的意义第9页
        1.1.2 电信业数据分析现状第9-10页
        1.1.3 海量数据的挑战第10-11页
    1.2 与本文相关的技术研究现状第11-14页
        1.2.1 分布式计算技术第11-12页
        1.2.2 数据库优化技术第12-13页
        1.2.3 并行环境中的作业调度第13-14页
    1.3 本文的研究内容及安排第14-15页
第二章 Hadoop平台介绍第15-23页
    2.1 Hadoop整体架构第15-20页
        2.1.1 MapReduce编程模型第15-18页
        2.1.2 HDFS第18-20页
    2.2 Hadoop应用第20-22页
        2.2.1 Hadoop使用现状第20-21页
        2.2.2 HIVE第21-22页
    2.3 本章总结第22-23页
第三章 基于MapReduce的信令分析第23-35页
    3.1 信令分析内容第23-25页
        3.1.1 呼叫详细记录第23-24页
        3.1.2 信令分析的方法第24-25页
    3.2 信令分析系统的数据处理第25-32页
        3.2.1 HIVE的命令处理器第25-27页
        3.2.2 数据预处理第27-29页
        3.2.3 筛选操作第29-30页
        3.2.4 聚合操作第30-31页
        3.2.5 关联操作第31-32页
    3.3 信令分析系统的优化第32-33页
    3.4 本章总结第33-35页
第四章 分布式信令分析系统的任务调度器第35-43页
    4.1 静态调度算法第35-36页
    4.2 动态调度算法第36-37页
    4.3 基于LLF的MapReduce任务调度算法第37-42页
    4.4 本章总结第42-43页
第五章 基于MapReduce的信令分析系统的实现第43-55页
    5.1 信令分析系统设计第43-46页
        5.1.1 查询系统的设计第43-45页
        5.1.2 分布式平台的实现第45-46页
        5.1.3 LLF调度器的实现第46页
    5.2 系统性能分析第46-50页
        5.2.1 实验设计第46-47页
        5.2.2 实验环境第47-49页
        5.2.3 实验结果第49-50页
    5.3 任务调度分析第50-53页
        5.3.1 实验设计第50-51页
        5.3.2 实验环境第51页
        5.3.3 实验结果第51-53页
    5.4 本章总结第53-55页
第六章 结束语第55-57页
    6.1 总结第55页
    6.2 今后研究展望第55-57页
参考文献第57-61页
致谢第61-63页
作者攻读学位期间发表的学术论文目录第63页
论文购买
论文编号ABS638721,这篇论文共63页
会员购买按0.30元/页下载,共需支付18.9
不是会员,注册会员
会员更优惠充值送钱
直接购买按0.5元/页下载,共需要支付31.5
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文

点击收藏 | 在线购卡 | 站内搜索 | 网站地图
版权所有 艾博士论文 Copyright(C) All Rights Reserved
版权申明:本文摘要目录由会员***投稿,艾博士论文编辑,如作者需要删除论文目录请通过QQ告知我们,承诺24小时内删除。
联系方式: QQ:277865656