基于FPGA的动态手势识别系统的研究与实现
人机交互论文 FPGA论文 肤色检测论文 边缘检测论文
论文详情
人工智能作为当前研究的热门在当前社会以及未来的很长一段时间里会得到大量的应用,这从当前的各种智能家居以及各种智能单品的热销与追捧中不难看出。而人工智能当中的一个较大的分支便是手势识别。目前,动态手势识别的识别过程主要包括动态手势分割、手势特征提取和手势模式识别。所面临的主要问题是识别的速度和准确度。为了能够非常快速的进行手势分割和手势特征提取,本文借助FPGA平台高速高效特性来加速我们的动态手势识别前端的处理,而后端的模式识别由于FPGA相对不太擅长复杂度较高的算法,所以这部分使用PC上位机来实现。FPGA与PC间的特征值传递采用串口的传输方式来实现。基于以上背景和当前面临的问题,本文提出了一个基于FPGA的动态手势识别系统,并为该系统搭建了一个原型。动态手势分割和手势特征提取由FPGA完成,手势的模式识别由PC上位机完成。FPGA平台上的动态手势分割和特征提取主要通过肤色检测和边缘检测来提取手指指尖的位置。在肤色检测环节,环境光照的非均匀不稳定特性对检测的效果影响非常大,因此本文在当前固定阈值肤色检测算法的基础上进行改进,提出了像素级包络阈值自适应肤色模型来改善肤色检测的鲁棒性。为了提高系统的处理速度和吞吐量,本文设计了并行双流水线的视频流处理架构来实现我们的算法。在FPGA平台提取出位置特征值后,通过串口将特征模式发送到PC端的上位机进行模式识别。而PC端的上位机采用麻省理工大学开发的开源机器学习库GRT(Gesture Recognition Toolkit)来实现。之所以采用这个开源库,是因为GRT具有扩展性强、方便易用、最重要的是学习算法库完备等优点。这对于快速的原型开发非常重要。系统目前暂定的待识别手势数为十个随机挑选的大写字母的手写手势,评价方案采用召回率、准确率、精确率和混淆矩阵来评估系统的识别可靠性。经过最终的样本库识别测试,发现系统的识别准确度和实时性都能够满足本文预期的要求,完成了既定的任务。
摘要 | 第2-4页 |
Abstract | 第4-5页 |
第1章 绪论 | 第8-16页 |
1.1 手势识别研究背景、意义及应用领域 | 第8-9页 |
1.2 手势识别国内外研究现状 | 第9-11页 |
1.3 手势识别研究综述 | 第11-14页 |
1.3.1 手势识别系统的内容与分类 | 第11页 |
1.3.2 手势识别的技术难点 | 第11-13页 |
1.3.3 手势图像处理平台的选择 | 第13-14页 |
1.4 本文的内容和结构 | 第14-16页 |
第2章 基于FPGA的手势识别系统架构 | 第16-20页 |
2.1 系统功能与架构 | 第16-19页 |
2.1.1 系统功能概述和硬件需求分析 | 第16-18页 |
2.1.2 系统功能流程分析 | 第18-19页 |
2.2 系统性能要求 | 第19页 |
2.3 本章小结 | 第19-20页 |
第3章 基于并行双流水架构的动态手势特征提取 | 第20-41页 |
3.1 硬件平台 | 第20-22页 |
3.2 视频流信息的捕获与输出 | 第22-27页 |
3.2.1 原理框图 | 第22-23页 |
3.2.2 系统复位和时钟管理模块 | 第23-25页 |
3.2.3 SCCB配置协议模块 | 第25-26页 |
3.2.4 YUV422 格式转YUV44 格式 | 第26-27页 |
3.3 视频预处理 | 第27-29页 |
3.4 手势提取算法的并行双流水线架构 | 第29-34页 |
3.4.1 基于Sobel算子和YCbCr肤色模型的并行双流水线架构 | 第29-32页 |
3.4.2 膨胀与腐蚀 | 第32-34页 |
3.5 常见肤色检测算法 | 第34-36页 |
3.5.1 简单肤色模型 | 第35页 |
3.5.2 高斯肤色模型 | 第35-36页 |
3.5.3 混合高斯肤色模型 | 第36页 |
3.6 像素级包络阈值自适应肤色模型 | 第36-37页 |
3.7 肤色检测的筛状斑问题及其解决方法 | 第37-38页 |
3.8 手指指尖检测方法 | 第38-39页 |
3.9 跨时钟域异步数据传输 | 第39-40页 |
3.10 本章小结 | 第40-41页 |
第4章 基于GRT开源库的手势识别后端 | 第41-48页 |
4.1 模式识别的过程 | 第41-42页 |
4.2 动态时间规整 | 第42-45页 |
4.3 使用 2D-DTW进行分类 | 第45-47页 |
4.4 本章小结 | 第47-48页 |
第5章 系统分析及系统性能评估 | 第48-53页 |
5.1 系统的层次化设计 | 第48-49页 |
5.2 系统模式识别的性能评估 | 第49-51页 |
5.2.1 混淆矩阵 | 第50-51页 |
5.3 系统测试 | 第51-52页 |
5.4 本章小结 | 第52-53页 |
第6章 总结和展望 | 第53-56页 |
6.1 总结 | 第53-55页 |
6.2 展望 | 第55-56页 |
参考文献 | 第56-58页 |
致谢 | 第58-60页 |
附件 | 第60页 |
论文购买
论文编号
ABS3280622,这篇论文共60页
会员购买按0.30元/页下载,共需支付
18。
不是会员,
注册会员!
会员更优惠
充值送钱!
直接购买按0.5元/页下载,共需要支付
30。
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文