基于向量空间模型的中文文本相似度算法研究

文本相似度论文 信息处理论文 向量空间模型论文 语义分析论文
论文详情
当今世界以信息技术为代表的现代科技日新月异,并正在对人类社会产生着不可估量的影响。在现实世界中,文本是最重要的信息载体,计算机对文本相似度的计算是信息处理中一个非常基础而又关键的问题。在信息检索、信息过滤、文本分类、知识挖掘、机器翻译等诸多领域,文本相似度计算都有着广泛的应用。由于中文是意合型而非形合型的语言,计算机对于中文的处理相对于其他语言存在更大的难度,因此中文文本相似度的计算一直是一个研究热点和难点。本论文研究中文文本的相似度计算问题,以提出一种高性能的中文文本相似度算法为目标,主要有如下几个方面的研究成果:1.对现有的文本相似度计算技术进行了研究和分析,其中重点研究向量空间模型和计算机对中文文本的语义分析技术。2.结合空间向量模型的文本向量化思想以及中文语义分析技术,提出一种融合了语料统计和语义分析的中文文本相似度计算方法。新算法采用汉语中的语义主题作为向量空间的维度,将对中文文本的语义分析融合在文本结构化模型中,以克服传统向量空间模型在语义分析层面的不足。3.以科技论文的中文摘要作为测试集,通过文本相似度计算实验对新算法的效果进行了评估。实验结果表明:在同等条件下,结合了中文语义分析的新算法对中文文本相似度的计算结果比单纯采用语料统计的传统算法更合理。4.基于新算法实现了中文文本相似度计算系统CN-SIM,该系统已经在实际的工程项目中获得了应用并取得了良好的效果。本课题的研究及其成果在中文信息处理的许多领域中,都将具有一定的参考价值和良好的应用前景。
摘要第4-5页
ABSTRACT第5页
第一章 绪论第10-15页
    1.1 研究目的和意义第10-11页
    1.2 文本相似度计算概述第11-12页
    1.3 文本相似度计算的发展概况及现状第12-14页
        1.3.1 国外研究现状第12-13页
        1.3.2 国内研究现状第13-14页
    1.4 本文的主要工作和内容安排第14-15页
第二章 文本相似度计算的理论基础第15-27页
    2.1 文本的结构化表示第15-16页
    2.2 向量空间模型第16-21页
        2.2.1 向量空间模型的基本概念第16-18页
        2.2.2 特征项的选取第18-19页
        2.2.3 TF-IDF 权重第19-20页
        2.2.4 相似度衡量第20-21页
    2.3 向量空间模型的优点和局限性第21-22页
    2.4 其它文本相似度计算方法第22-25页
        2.4.1 广义向量空间模型第22-23页
        2.4.2 隐性语义索引第23-24页
        2.4.3 基于本体论的文本相似度计算方法第24-25页
    2.5 向量空间模型应用于中文文本的分析第25-26页
    2.6 本章小结第26-27页
第三章 语义向量空间模型第27-44页
    3.1 中文文本的语义分析第27-29页
        3.1.1 中文词语的语义相关性第27-28页
        3.1.2 通过知网获取语义分析知识第28-29页
    3.2 语义主题空间和特征项定义第29-31页
    3.3 中文文本的特征向量表示第31-32页
    3.4 特征项向量的计算第32-43页
        3.4.1 特征项向量化规则第32-33页
        3.4.2 语义关联图第33-38页
            3.4.2.1 语义关联图的定义第33-35页
            3.4.2.2 语义关联图的构建第35-38页
        3.4.3 特征项向量的确定第38-43页
    3.5 本章小结第43-44页
第四章 中文文本相似度计算第44-53页
    4.1 中文文本向量化第44-46页
    4.2 文本相似度衡量第46-47页
    4.3 自定义特征加权第47-50页
    4.4 文本相似度计算实例第50-52页
    4.5 本章小结第52-53页
第五章 算法实现和效果评估第53-70页
    5.1 中文文本相似度计算系统CN-SIM第53-62页
        5.1.1 系统架构第53-56页
        5.1.2 系统工作流程第56-57页
        5.1.3 系统实现第57-62页
    5.2 系统实验及算法性能分析第62-67页
        5.2.1 文本相似度计算结果的评价方法第62-63页
        5.2.2 实验结果第63-67页
    5.3 应用案例:成都市经济信息中心电子政务系统第67-69页
    5.4 本章小结第69-70页
第六章 总结与展望第70-72页
    6.1 本文总结第70页
    6.2 待完善的工作第70-72页
致谢第72-73页
参考文献第73-77页
攻硕期间取得的研究成果第77-78页
论文购买
论文编号ABS537288,这篇论文共78页
会员购买按0.30元/页下载,共需支付23.4
不是会员,注册会员
会员更优惠充值送钱
直接购买按0.5元/页下载,共需要支付39
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文

点击收藏 | 在线购卡 | 站内搜索 | 网站地图
版权所有 艾博士论文 Copyright(C) All Rights Reserved
版权申明:本文摘要目录由会员***投稿,艾博士论文编辑,如作者需要删除论文目录请通过QQ告知我们,承诺24小时内删除。
联系方式: QQ:277865656