基于向量空间模型的中文文本相似度算法研究
文本相似度论文 信息处理论文 向量空间模型论文 语义分析论文
论文详情
当今世界以信息技术为代表的现代科技日新月异,并正在对人类社会产生着不可估量的影响。在现实世界中,文本是最重要的信息载体,计算机对文本相似度的计算是信息处理中一个非常基础而又关键的问题。在信息检索、信息过滤、文本分类、知识挖掘、机器翻译等诸多领域,文本相似度计算都有着广泛的应用。由于中文是意合型而非形合型的语言,计算机对于中文的处理相对于其他语言存在更大的难度,因此中文文本相似度的计算一直是一个研究热点和难点。本论文研究中文文本的相似度计算问题,以提出一种高性能的中文文本相似度算法为目标,主要有如下几个方面的研究成果:1.对现有的文本相似度计算技术进行了研究和分析,其中重点研究向量空间模型和计算机对中文文本的语义分析技术。2.结合空间向量模型的文本向量化思想以及中文语义分析技术,提出一种融合了语料统计和语义分析的中文文本相似度计算方法。新算法采用汉语中的语义主题作为向量空间的维度,将对中文文本的语义分析融合在文本结构化模型中,以克服传统向量空间模型在语义分析层面的不足。3.以科技论文的中文摘要作为测试集,通过文本相似度计算实验对新算法的效果进行了评估。实验结果表明:在同等条件下,结合了中文语义分析的新算法对中文文本相似度的计算结果比单纯采用语料统计的传统算法更合理。4.基于新算法实现了中文文本相似度计算系统CN-SIM,该系统已经在实际的工程项目中获得了应用并取得了良好的效果。本课题的研究及其成果在中文信息处理的许多领域中,都将具有一定的参考价值和良好的应用前景。
摘要 | 第4-5页 |
ABSTRACT | 第5页 |
第一章 绪论 | 第10-15页 |
1.1 研究目的和意义 | 第10-11页 |
1.2 文本相似度计算概述 | 第11-12页 |
1.3 文本相似度计算的发展概况及现状 | 第12-14页 |
1.3.1 国外研究现状 | 第12-13页 |
1.3.2 国内研究现状 | 第13-14页 |
1.4 本文的主要工作和内容安排 | 第14-15页 |
第二章 文本相似度计算的理论基础 | 第15-27页 |
2.1 文本的结构化表示 | 第15-16页 |
2.2 向量空间模型 | 第16-21页 |
2.2.1 向量空间模型的基本概念 | 第16-18页 |
2.2.2 特征项的选取 | 第18-19页 |
2.2.3 TF-IDF 权重 | 第19-20页 |
2.2.4 相似度衡量 | 第20-21页 |
2.3 向量空间模型的优点和局限性 | 第21-22页 |
2.4 其它文本相似度计算方法 | 第22-25页 |
2.4.1 广义向量空间模型 | 第22-23页 |
2.4.2 隐性语义索引 | 第23-24页 |
2.4.3 基于本体论的文本相似度计算方法 | 第24-25页 |
2.5 向量空间模型应用于中文文本的分析 | 第25-26页 |
2.6 本章小结 | 第26-27页 |
第三章 语义向量空间模型 | 第27-44页 |
3.1 中文文本的语义分析 | 第27-29页 |
3.1.1 中文词语的语义相关性 | 第27-28页 |
3.1.2 通过知网获取语义分析知识 | 第28-29页 |
3.2 语义主题空间和特征项定义 | 第29-31页 |
3.3 中文文本的特征向量表示 | 第31-32页 |
3.4 特征项向量的计算 | 第32-43页 |
3.4.1 特征项向量化规则 | 第32-33页 |
3.4.2 语义关联图 | 第33-38页 |
3.4.2.1 语义关联图的定义 | 第33-35页 |
3.4.2.2 语义关联图的构建 | 第35-38页 |
3.4.3 特征项向量的确定 | 第38-43页 |
3.5 本章小结 | 第43-44页 |
第四章 中文文本相似度计算 | 第44-53页 |
4.1 中文文本向量化 | 第44-46页 |
4.2 文本相似度衡量 | 第46-47页 |
4.3 自定义特征加权 | 第47-50页 |
4.4 文本相似度计算实例 | 第50-52页 |
4.5 本章小结 | 第52-53页 |
第五章 算法实现和效果评估 | 第53-70页 |
5.1 中文文本相似度计算系统CN-SIM | 第53-62页 |
5.1.1 系统架构 | 第53-56页 |
5.1.2 系统工作流程 | 第56-57页 |
5.1.3 系统实现 | 第57-62页 |
5.2 系统实验及算法性能分析 | 第62-67页 |
5.2.1 文本相似度计算结果的评价方法 | 第62-63页 |
5.2.2 实验结果 | 第63-67页 |
5.3 应用案例:成都市经济信息中心电子政务系统 | 第67-69页 |
5.4 本章小结 | 第69-70页 |
第六章 总结与展望 | 第70-72页 |
6.1 本文总结 | 第70页 |
6.2 待完善的工作 | 第70-72页 |
致谢 | 第72-73页 |
参考文献 | 第73-77页 |
攻硕期间取得的研究成果 | 第77-78页 |
论文购买
论文编号
ABS537288,这篇论文共78页
会员购买按0.30元/页下载,共需支付
23.4。
不是会员,
注册会员!
会员更优惠
充值送钱!
直接购买按0.5元/页下载,共需要支付
39。
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文