近30多年来,通过计算机对人脸表情进行自动处理成为当前计算机视觉、计算机图形学、模式识别等领域的一个热点研究课题,在视频会议、影视制作、智能人机接口等方面有着广泛的应用前景。本文的工作主要集中在两个方面,一方面是对人脸表情进行识别,另一方面是对人脸进行重建,合成人脸表情。 提出论文的研究背景和研究内容,回顾人脸表情识别(基于静态图像、视频及语音视频)、人脸重建以及表情合成的相关技术,分别对这些方法进行分类和比较,指出其优点和不足之处,并给出研究的难点。 针对人脸表情识别,根据输入数据的不同,分三章进行阐述。 第三章提出基于GPU的主动形状模型(ASM)用于对静态图像中的人脸表情特征进行跟踪和提取,通过基于GPU的边界滤波和调和映射,使对象梯度轮廓梯度得到增强,减少模型匹配收敛的迭代次数和搜索时间,在速度和准确度上都比传统的ASM有很大提高。进而采用SVM进行表情分类。 对于动态视频序列,第四章提出基于Kalman预测的AAM视频跟踪算法,利用当前帧跟踪结果通过Kalman滤波预测下一帧中关键点的位置,并采用跟踪结果对形状模型进行更新,从而减少搜索空间,使在视频中进行人脸特征搜索的速度得以提高。提出一个基于二元隐马尔科夫模型(Hidden Markov Model,HMM)的视频人脸表情识别模型,将跟踪的特征进行分割构造两个独立的特征向量流,使表情动作和嘴巴的动作得以分离,既保持二者的时间关联性,又保持在人脸运动中的独立性,使识别的准确率得到提高。 在第四章工作的基础上,第五章对二元HMM进行推广,提出一个三元HMM及其相关的Viterbi最优路径搜索算法和模型训练算法,引入情绪语音,实现语音辅助的人脸表情识别,并通过设置权重平衡视觉特征和语音特征的影响,使平均识别率取得了提高,识别更为鲁棒。 对于人脸重建和表情合成,工作集中在快速人脸纹理映射和高分辨率人脸网格模型表情生成这两个问题上。 第六章提出一个基于RBF速度场的实时交互纹理映射算法,避免对特征点的全局操作导致的复杂交互和较大系统开销,使纹理映射变得简单快捷,系统开销大大降低,实现基于单幅照片的人脸快速纹理映射,最后通过FAP参数驱动获得不同表情的人脸。 第七章在进行人脸网格的对齐方面,提出基于SVD的三维人脸网格对齐算法,使不同尺度、方向和位置的人脸网格模型取得对齐;在实现不同人脸网格之间的对应上,提出基于GPU的网格图像反馈对应算法,解决以往算法需要迭代逼近取得对应的计算复杂度高、时间开销大的问题;在表情的映射上,提出基于Helmholtz-Hodge分解的网格变形映射算法,解决以往方法导致的速度和“瑕疵”问题。另外,基于新的人脸表情映射方法,提出一个基于通用控制网格的人脸表情合成方法,实现无表情样本目标人脸上的表情合成。