图驱动的无监督降维和判别子空间学习研究及其应用

降维论文 图构建论文 子空间学习论文 判别分析论文 支持向量机论文 人脸识别论文
论文详情
随着高维数据的急剧涌现,模式识别和机器学习领域面临着“维数灾难”问题的严峻挑战。降维是解决该问题一项必不可少的技术。其中,图驱动的降维方法近来已成为研究热点。对这些方法,图的构建是其核心。同时,判别子空间学习也是降维的一个重要研究方向,因为当给定了类或成对约束等先验知识时,依赖相应先验知识进行判别子空间学习通常能够提高后续分类的性能。基于此,本文研究了图的构建方法且将其用于无监督降维中并提出了一些判别子空间学习算法。本文的重要贡献在于:1.针对邻域图构建中邻域参数选择的困难,提出了样本依赖的图(Sample-dependent Graph, SG)构建方法。这种构建方法依赖于每个样本和样本对间的相似性来确定样本的近邻而无需预先设定近邻参数。由此,不仅避免了邻域参数选择的高昂代价而且通常能相对有效地拟合数据的本质结构。基于SG的该特性以及图驱动降维算法的流行性,将其与无监督局部保持投影算法相结合,从而提出了样本依赖的局部保持投影算法(SLPP)。在人脸识别等领域中,与基于传统邻域图构建的降维算法相比,SG和SLPP显示了有效性和可行性。2.在图驱动的无监督降维算法中,由于没有明确判别(Discrimination)信息,在图的构建中形成了一种所谓的伪装(Disguised)判别性。这种伪装判别性与真实类别的相容性(Consistency)则成了决定算法性能的关键。以无监督判别投影(UDP)为基础,研究了图驱动的无监督降维的伪装判别本质,相应算法对局部参数敏感的一个潜在根由以及所谓的伪装判别性与真实类别信息间不相容问题对图构建和预测性能的影响。所提出的理论能够对无监督学习中图的构建提供一定的指导并在人脸识别实验中得到证明。3.从散度矩阵的构建角度,建立了结构驱动的判别分析框架(Structurally Motivated framework for DA, SM)。该框架不仅涵盖了许多流行的判别分析算法,根据它们在散度矩阵中所涉及的结构粒度对其进行分类识别,而且能够为新算法的设计提供指导。通过对该框架所涉及的从类粒度到聚类粒度再到局部粒度结构谱的洞察发现,聚类粒度结构仍未被充分用于现有判别分析算法中。为此,发展了三个基于该粒度的判别分析算法SWDA、SBDA和SWBDA,将提出算法用于人脸识别等任务,验证了它们的有效性。4.支持向量机作为分类器的强大能力是众所周知的,然而在大间隔判别分析中它仅被用作特征抽取的“黑箱”,所抽取的特征却要用其它的分类算法如神经网络进行分类。显然,支持向量机的能力没有被充分利用。基于此,提出了一个由支持向量机诱导的嵌入式判别子空间学习算法。该算法将分类和降维统一于同一框架,由此实现了支持向量机分类和降维的相互促进。在标准数据集上验证了该算法的性能。5.提出了基于支持向量机和线性判别分析的判别降维算法。作为迭代学习算法,该算法在进行子空间学习过程中,不仅考虑了类间间隔信息,而且将类内信息引入其中。与大间隔判别分析相比,所学得的投影矩阵能够更有效地利用数据的内在信息来提高后续分类算法的性能。将其用于高维数据降维后分类中获得了较好的性能。
摘要第4-6页
Abstract第6-7页
第一章 绪论第14-29页
    1.1 降维第14-19页
        1.1.1 降维的含义第14页
        1.1.2 降维的意义第14-17页
        1.1.3 降维的分类第17-19页
    1.2 图构建第19-22页
        1.2.1 近邻搜索第19页
        1.2.2 权值计算第19-20页
        1.2.3 图驱动的典型无监督降维算法第20-22页
    1.3 判别分析第22-25页
        1.3.1 判别分析的目标第22页
        1.3.2 典型的判别分析算法第22-25页
    1.4 本文的主要研究工作第25-27页
    1.5 本文的内容安排第27-29页
第二章 样本依赖的图构建及其降维应用第29-50页
    2.1 引言第29-30页
    2.2 样本依赖图构建第30-35页
        2.2.1 样本依赖图的构建第30-32页
        2.2.2 样本依赖图的特性第32-35页
    2.3 样本依赖局部保持算法第35-36页
    2.4 实验第36-49页
        2.4.1 说明性实验第36-40页
        2.4.2 识别问题第40-47页
        2.4.3 聚类问题第47-49页
    2.5 本章小结第49-50页
第三章 图驱动无监督降维的伪装判别性第50-61页
    3.1 引言第50-51页
    3.2 基于图构建无监督降维算法的伪装判别性第51-57页
        3.2.1 伪装判别性第51-54页
        3.2.2 图驱动无监督算法的局部参数敏感性哲学第54-55页
        3.2.3 无监督学习中相容性的难题第55页
        3.2.4 不相容问题的对策第55-57页
    3.3 实验和结果第57-60页
    3.4 本章小结第60-61页
第四章 结构驱动的判别分析框架第61-89页
    4.1 引言第61-62页
    4.2 结构驱动的判别分析框架第62-69页
        4.2.1 类粒度结构的多重判别分析第66页
        4.2.2 局部粒度结构的判别分析第66-67页
        4.2.3 聚类粒度结构的子类判别分析第67页
        4.2.4 框架的刻画第67-68页
        4.2.5 相关框架的回顾第68-69页
    4.3 从结构驱动判别分析框架发展的三个算法第69-75页
        4.3.1 提出的算法第70-73页
        4.3.2 与其它粒度算法的比较第73-75页
    4.4 实验和讨论第75-87页
        4.4.1 说明性实验第75-78页
        4.4.2 人脸识别第78-83页
        4.4.3 UCI 数据实验第83-86页
        4.4.4 讨论和向导第86-87页
    4.5 本章小结第87-89页
第五章 支持向量机诱导的判别降维和分类第89-102页
    5.1 引言第89-90页
    5.2 相关工作和分析第90-94页
        5.2.1 支持向量机第90-92页
        5.2.2 大间隔判别分析和递归支持向量机的一致性证明第92-94页
    5.3 提出的方法及其特性第94-98页
        5.3.1 线性方法第94-97页
        5.3.2 近似方法第97-98页
    5.4 实验第98-101页
    5.5 本章小结第101-102页
第六章 基于支持向量机和线性判别分析的子空间学习第102-110页
    6.1 引言第102-103页
    6.2 基于支持向量机和线性判别分析降维第103-105页
        6.2.1 二类算法第103-104页
        6.2.2 多类算法第104-105页
        6.2.3 算法复杂性分析第105页
    6.3 实验和结果第105-109页
        6.3.1 一个toy 样例第105-106页
        6.3.2 UCI 数据实验第106-109页
    6.4 本章小结第109-110页
第七章 结论和展望第110-113页
参考文献第113-125页
致谢第125-126页
在学期间的研究成果及发表的学术论文第126页
论文购买
论文编号ABS955543,这篇论文共126页
会员购买按0.30元/页下载,共需支付37.8
不是会员,注册会员
会员更优惠充值送钱
直接购买按0.5元/页下载,共需要支付63
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文

点击收藏 | 在线购卡 | 站内搜索 | 网站地图
版权所有 艾博士论文 Copyright(C) All Rights Reserved
版权申明:本文摘要目录由会员***投稿,艾博士论文编辑,如作者需要删除论文目录请通过QQ告知我们,承诺24小时内删除。
联系方式: QQ:277865656