二进前向网络的分类超平面理论

本文提出并建立了一整套对二进前向网络分类能力进行研究的分类超平面理论，系统地解决了前向网络研究中一个困难的公开问题：二进前向网络的分类能力问题，亦即n元Boole函数非线性分类复杂度的最小上界问题，同时进行了一系列有关问题的研究，这些研究结果为二进前向网络隐节点数目的设计和稳健二进前向网络的设计提供了重要的理论依据。 造成这一问题难解的主要原因是它是一个高维空间中的强非线性问题，而关于二进前向网络的非线性分类行为目前还知之甚少。本文则从一个全新的角度，通过开创性地引入一系列新概念，系统地彻底地解决了这一问题，使得n输入的二进前向网络隐节点数目的上界从目前国际上的约为2/3的指数级下降到了2n—4的多项式级（n≥5时），是隐节点数目的最小上界，该项研究结果表明，二进前向网络的分类能力比人们想象的要强得多得多。同时，本文的研究过程第一次系统地揭示了二进前向网络非线性分类的分类行为，揭示了最优的二进前向网络是网络稳健性能优化、网络参数优化、网络规模（隐节点数目）优化的有机统一，为最优二进前向网络的设计、训练和实现奠定了坚实的理论基础。 本文的创新之处是运用构造法，通过在n维超立方体上一个一个地铺设尽可能多的处于平行模式的分类超平面，来获得n元Boole函数平行分类复杂度的最小上界，进而获得n元Boole函数分类复杂度的最小上界的，研究的过程采用了将问题简化再简化的思想：（1）首先从规范分类超平面入手，引入了能够实现稳健分类的稳健分类超平面的概念， 导出了稳健分类超平面的一般方程，使得网络的连接权仅为-1、0或+1；（2）为了严格描述处于平行模式的稳健分类超平面系，引入了两个稳健分类超平面的 反向距的概念，并给出了对偶原理；（3）为了使所能铺设的稳健分类超平面的数目尽可能大，任两个相邻的分类超平面的 分类效果不应等效于一个分类超平面/稳健分类超平面的分类效果，为此引入了两 个稳健分类超平面的退化/稳健退化的概念，并深入细致地研究了两个稳健分类超 平面退化/稳健退化的条件；（4）为了简化对稳健分类超平面系的铺设，引入了一个稳健分类超平面的余地的概念， 用以间接地描述铺设了这一稳健分类超平面后还可铺设下的稳健分类超平面的最 大数目；（5）指出了在已经铺设好稳健分类超平面ι的情况下，下一个稳健分类超平面的构造 内容提要 条件：不可退化／不可稳健退化、处于平行模式、余地最大等，并给出了构造规则，运 用构造规则一个一个地锚设稳健分类超平面，得出了在n维超立方体上所能铺设 下的稳健分类超平面的数目为2。一3；（6）提出了一个分类超平面系的（稳健）平行退化的概念，并给出了构造不可平行退化 的处于平行模式的2。一3个稳健分类超平面的构造方法；进而证明了。元Bnde函 数的稳健平行分类复杂度／平行分类复杂度的最小上界一定大于等于2。一3；（7）对于在。维超立方体上所铺设的这 Zn—3个稳健分类超平面，通过在其任意两个 相邻的稳健分类超平面之间插入新的稳健分类超平面／分类超平面的讨论，证明了 。元swte函数稳健平行分类复杂度／平行分类复杂度的最小上界一定小于等于印 一 3．O）和＊）的结果则证明了。元 B de函数稳健平行分类复杂度／平行分类复杂 度的最小上界均为2。一3【（8）通过给出分类超平面系的一般模式，及对其可分性／稳健可分性的讨论，证明了处 于模式一的分类超平面系一定是稳健可分的，且平行模式和包围模式均为模式一 的特殊情况，而处于模式二的分类超平面系的稳健可分性／可分性与其基础分类超 平面系的稳健可分性／可分性相同的结论．（9）通过时论处于平行模式且不可平行退化的Zn—3个的稳健分类超平面系及其所分 类出的红色顶点的奇偶性，给出了这样构造的稳健分类超平面系的红色顶点集合 与异或问题的红色顶点集合总是差一个顶点的结论，从而证明了这样构造的1；元 Bwte函数的分类复杂度一定为11—l或n十豆，进而讨沦了从这Zn—3个稳健分类 超平面中去掉一个分类超平面所得到的分类超平面系，其对应的1。元Bo听1函数的 分类复杂度，证明了。元Bode函数（n＞5）的分类复杂度的最小上界为2；；一4，并给 出了构造最复杂的。元Bode函数（分类复杂度为Zn—4）的构造方法；（10）进行了大量的实验研究，证实了这一研究结果的正确性． 通过以上一系列步骤，解决了二进前向网络隐节点数目的最小上界问题：由硬限幅特性神经元构成的。输入单隐层单输出二进前向网络隐节点数目的最小上界Zn—4．这一结果表明对。＋l维超立方体上 2””‘个顶点进行任意二分类所需的分类超平面数目上界比对n维超立方体上2”个顶点进行二分类所需的分类超平面数目上界多2个，而所能分类的顶点数目却是原来的一倍，而不管原来的顶点数目到底