多文档自动文摘系统的研究与应用

近年来,随着互联网的普及,网上的信息越来越多,为人们提供了丰富的信息资源。目前,人们主要是通过搜索引擎获得自己所需要的信息,但搜索引擎返回来的相关文档太多,其中有大量的信息是重复和相似的,这样人们就不能快速地获得信息。多文档自动文摘研究的目标正是力求解决这一问题,直接提供给用户简洁全面的文档,以提高用户获取信息的效率。本文重点研究的是多文档自动文摘中的几个重要问题:汉语句子相似度的计算、子主题的确定、句子优化选择、文摘句排序以及多文档自动文摘的评价等关键技术。首先对句子相似度计算进行深入研究,对基于语义词典的相似度计算方法进行了详细的讨论。提出了基于最大树法的多文档集合子主题的划分方法,在句子相似度计算的基础上求得最大树,将相似的句子合并为一个类,每一类代表一个子主题。提出了句子的优化选择方法。为了保证文摘在有限的空间要求下,尽可能覆盖重要全面的信息,将文摘句的抽取过程分解为子主题的排序以及子主题内句子的优化选择两个阶段。文中给出了子主题打分和排序方法,以信息覆盖率为优化目标,对子主题内句子进行优化选择。讨论了几种文摘句的排序方法,最终确定基于文本框架和文摘句位置参数的排序方法。最后研究了多文档自动文摘的评价。