知识就是力量。知识对于人类的生活至关重要,同时知识也是人工智能的基石。形成知识的过程本质就是在建立认知乃至理解世界。因为人类有获取、形成以及升华知识的能力,所以人类才可以不断进步。目前来说,机器可以从海量的数据中学出感知能力,包括视觉能力、听觉能力和语言输出能力。但是让机器学会具备认知能力却是非常之难的,比如让机器学会逻辑推理能力以及举一反三能力对目前来说是不太现实的。我们的目标是使机器完全理解知识以至于能达到灵活应用的效果。将知识应用到人工智能应用中分为三个阶段:知识抽取、知识表示以及知识应用。知识抽取的目标是能够从大规模非结构化文本中自动地抽取结构化知识。目前知识抽取任务具有以下第(1)点不足。基于符号逻辑的知识表示对于人类来说是很好理解的。但是这种表示形式对于机器来说特别难理解。因此,近年来大量的工作开始研究分布式向量表示学习(又称嵌入表示学习)。对于概念图谱嵌入表示学习和知识图谱嵌入表示学习,目前具有以下第(2)点不足。关于知识应用方面,我们选择两个应用场景来验证我们的想法:相似问题检索以及关系分类。这两个工作在目前的学习过程中都没有好好的利用知识信息,目前来说具有以下第(3)点不足。(1)目前,知识库经常表示为三元组形式(主语,谓词,宾语)。然而在某些情况下给定主语和谓词,宾语并不是唯一的。传统的基于知识库的自动问答系统通常对具有相似意图但条件不同的问题提供相同的答案。(2)在目前的概念嵌入表示学习过程中,只有两个词出现在一个上下文窗口时,对应的概念信息才会被考虑。在知识图谱嵌入工作中,知识图谱中的逻辑结构信息有很强的推理能力,但是在目前的知识图谱嵌入工作中被忽略了。(3)目前没有一个框架能同时解决相似问题检索任务中五个方面的挑战:同义性、多义性、词序、问题长度和数据稀疏性。对于关系分类任务,现有的模型都将其视为一个普通的分类任务,而忽略了三元组信息。在本文中,我们提出了一系列解决上述局限性的方法。综上所述,本文的贡献如下:(1)为解决第一点缺陷,我们从问答数据和搜索日志中构建了条件型知识库,并搭建了一个基于条件型知识库的对话系统和用户进行聊天并补充用户提问中缺失的条件。同时我们提出了一种新的网络嵌入表示学习方法对具有两种不同关系的网络进行编码。(2)为解决第二点缺陷,我们提出了同时从依赖于上下文的视角和独立于上下文的视角来学习概念和词的向量表示。同时我们提出了一种基于逻辑结构分布式编码的知识图谱嵌入表示学习的框架来增强推理能力,它可以很容易地与任何基于翻译的知识图谱嵌入模型相结合。(3)为解决第三点缺陷,我们使用一个基于高阶特征嵌入表示~1的卷积语义模型直接学习问题向量表示。同时我们提出一种基于值卷积的注意力机制来加强卷积语义模型。最后,我们提出使用一种基于多视图学习的方法来训练卷积语义模型从而解决数据稀疏性问题。为了使知识图谱编码到关系分类中,我们提出了一种基于知识图谱驱动的关系分类方法。该方法可以很容易地与现有的基于pairwise排序损失函数的神经网络模型结合使用。同时我们提出一种数据增强的方法能够使用一个句子样本同时学习关系的向量表示以及逆向关系的向量表示。在把知识应用到人工智能应用的每个阶段中,我们进行了大量的实验并通过和多个基准模型对比来验证每个阶段中我们所提出的模型算法。我们的实验结果表明我们提出的方法均能提高相应任务的性能。
