在数字视频处理和计算机视觉领域的各种应用中,目标的检测和跟踪是一个重要的,也是最基本的任务。一些较流行的应用包括自治车辆导航,机器人控制,基于运动的识别,视频压缩,基于视觉的控制,人机接口,医学成像,增强现实,和视频场景监控。尽管在计算机视觉领域,目标的检测和跟踪技术已经研究了十多年,但仍是一个活跃的研究领域。目前还没有一个通用的,健壮的,精确的,高性能的,和实时的目标检测和跟踪算法。由于人体固有的一些特性,应用场景的复杂性,人与人或人与环境之间的相互影响,使得人体的检测和跟踪是计算机视觉研究领域中最难的一项挑战。论文的重点及创新成果包括:1.静止摄像机情况下的自然场景中的行人检测方方法法提出的行人检测方法采用边方向直方图(Edge Orientation Histogram: EOH)特征集和扩展的Haar-like特征集的混合特征集。用基于查找表(Look-Up Table:LUT)的GentleAdaBoost学习算法来训练行人检测器的每个节点分类器,并提出一种基于级联风险代价函数(Cascade risk cost function)的改进算法,自动根据级联分类器的所需达到的总检测目标来确定每个节点的训练目标。用嵌套级联(Nested Cascade)方法来学习行人检测器的级联结构,能提高检测率并降低虚警率。根据这种方法得到的实验结果表明了这种方法的健壮性和有效性。这种方法的检测准确度高,检测速度快。且能很好地把行人和其它运动目标区别开,如正在行驶的小汽车。2.基于特征变换和支持向量机的分级行人检测方方法法在摄像机安装在一个自由移动的平台的环境里,如汽车,检测行人变得非常困难,特别是当行人所处的场景比较复杂时。针对这种应用环境,提出了一种应用于单目移动摄像机的基于特征变换和支持向量机(Support Vector Machine,简称SVM)的coarse-to-fine行人检测方法。首先,用基于查找表(Look-Up Table,简称LUT)的Gentle AdaBoostCascade学习算法训练一个粗级的行人检测器。接着把粗级的行人检测器的每一段分别作为一个特征,并用能通过粗级行人检测器的正负样本来训练基于SVM的精密级行人检测器,最后,采用基于颜色和空间信息的时序分析方法进一步提高行人检测率和降低误报率。从实验结果可以看出本算法的高效性。3.基于部位的行人检测系统针对单目移动摄像机的情况,本论文还提出了一种coarse-to-fine的基于人体部位的行人检测方法。本方法把一个人建模成人体自然部位的组装,部位包括头肩(head-shoulder),躯干(torso),腿(leg)。该行人检测器采用绝对值Haar-like特征集和Edgelet特征集。在这些特征集上,用Soft Cascade学习算法训练各个部位检测器和全身检测器(full-body)。在本算法中,首先由full-body检测器产生行人候选。然后,基于贝叶斯决策的组合算法进一步确定候选者中的行人。实验结果表明本算法有很好的检测性能。4.基于IMM和级联数据关联的3D人体跟踪提出了一种基于3D特征的人群跟踪算法。该算法由一个两阶段的3D特征点的分组算法和一个健壮的基于3D特征点的跟踪算法组成。两阶段的3D特征点的分组算法用基于核的ISODATA方法,即使有的行人在监控区域被部分遮挡,该方法也能精确地检测人。基于3D特征点的跟踪算法结合了一个基于自适应卡尔曼滤波的交互多模式(interacting multiple model: IMM )跟踪算法和一个级连多信息数据关联算法。IMM算法仅采用自适应卡尔曼滤波和两个动力学模型,能够很好的跟踪随机走动的人。一个动力学模型是匀速直线模型( constant velocity model: CV ),另一个是当前统计模型( currentstatistics model: CS )。级连多信息数据关联算法采用了距离最近假设,速度一致假设和灰度一致性假设,能够很好地去除人群之间的相互作用对人跟踪性能造成的影响,能够处理人数不固定的问题。该跟踪方法不仅能管理一条轨迹的产生和结束,而且能处理人与人之间的相互作用,并能跟踪不规则运动的人。用OMRON公司提供的图像序列对本算法进行验证,实验结果表明所开发的算法对人与人之间的互相作用表现出了好的健壮性,且跟踪准确,运算速度快,对帧采样率变化不敏感,能跟踪随机行走的人,完全满足于实时应用场景。5.基于IMM和多假设跟踪的的多多个三维人体跟踪算法提出了一种基于IMM和多假设跟踪的多个三维人体跟踪算法。采用交互多模式方法(interacting multiple model: IMM)进行人体状态的预测,并采用多假设跟踪算法(multiple hypothesis tracking: MHT)把检出的人体与已存在的轨迹进行正确关联,能够自动地为新进入监控区的人产生新的人体轨迹,结束已走出监控区的人的轨迹。同时,在MHT算法中融入人体的速度连续性约束和灰度一致性约束来确定人体轨迹关联区域和计算假设的置信度,能够减少产生的假设数目,减少计算时间。实验结果表明所开发的算法对人与人之间的互相作用表现出了好的健壮性,且跟踪准确,运算速度快,对帧采样率变化不敏感,能跟踪随机行走的人,能适用于人群密集环境下的多人体跟踪。6.移动摄像机情况下的基于MCMC和MHT的行人跟踪在计算机视觉中,为了实现对数目可变的行人进行自动跟踪,就首先应该准确地检测图像序列中的行人。然而,由于行人检测中存在的难点,如行人的姿势,轮廓和外貌的多样性及所处的杂乱背景和照明的影响,使得行人检测结果并不十分好,存在着大量的漏检和虚警。同时,行人之间,行人与场景之间有时出现的部分遮挡或遮挡,对行人跟踪而言也是一个极大地挑战。为了解决上述问题,采用了一种结合top-down和bottom-up的跟踪方法,能自动完成轨迹的初始化和终止。首先对行人进行top-down跟踪,即用基于Kalman particle filter(KPF)和Markov Chain Monte Carlo (MCMC)的方法估计行人的后验状态;然后,用bottom-up的方法进行跟踪,即把检测到的行人与存在的轨迹进行基于多假设数据跟踪方法(multiple hypothesis tracking, MHT)的数据关联;若轨迹没有匹配的观测,把用top-down方法跟踪得到的行人当前状态的估计(跟踪结果)作为轨迹的当前状态。从而,提出的方法能较好地克服检测器带来的漏检和虚警的影响,也能在行人间出现相互作用,遮挡或部分遮挡,行人和场景间出现遮挡或部分遮挡时正确地跟踪场景中的行人。此外,在两个视频序列上对该系统进行了评价并与以前的方法进行了比较。
