基于深度Q网络算法与模型的研究
深度学习论文 强化学习论文 深度强化学习论文 深度Q网络论文
论文详情
深度强化学习是机器学习领域中一个新的研究热点。它以一种通用的形式将深度学习的感知能力与强化学习的决策能力相结合,并通过端对端的方式学习从原始输入到动作输出的一个映射。在许多基于视觉感知的大规模决策任务中,深度强化学习方法已经取得突破性的进展。其中深度Q网络方法在解决一类视频游戏任务时表现出了和人类玩家相媲美的水平。然而在一些现实场景下的复杂问题中,深度Q网络会面临奖赏的稀疏和延迟、部分状态可观察、收敛速度慢、性能不稳定等一系列问题。本文针对上述问题,从训练算法和模型架构两方面对深度Q网络方法进行了改进和完善,并提出三种高效的深度强化学习算法或模型:(1)针对深度Q网络训练算法不能区分不同转移序列之间重要性差异的问题,提出一种基于优先级采样深度Q学习算法。该算法使用一种高效的基于优先级的经验回放机制来替代随机采样,提高了有价值转移样本的利用率,并保证样本空间中每个转移序列都有一定大小的采样概率,从而提升了算法收敛的速率。(2)针对深度Q网络算法不擅长解决战略性决策任务的问题,提出一种基于视觉注意力机制的深度循环Q网络模型。新的模型架构主要有两处创新点:一是使用由双层门限循环单元构成的循环神经网络模块来记忆较长时间步内的历史状态信息,以使得智能体能够及时响应有延迟的奖赏;二是使用视觉注意力机制自适应地将智能体的注意力集中于面积较小但更具价值的图像区域,减小了模型中可训练的权重数目,从而加快了学习最优策略的进程。(3)针对深度确定性策略梯度算法在解决连续动作空间问题时性能不稳定的问题,提出一种基于混合目标Q值的深度确定性策略梯度方法。新算法通过结合使用在策略的MC估计和离策略的Q学习方法生成一种混合型的目标Q值,降低了目标Q值的评估误差,提升了算法在连续动作空间问题中的性能和稳定性。
中文摘要 | 第4-5页 |
abstract | 第5-6页 |
第一章 引言 | 第10-21页 |
1.1 研究背景及意义 | 第10-13页 |
1.2 研究现状及趋势 | 第13-18页 |
1.2.1 研究现状 | 第13-16页 |
1.2.2 研究趋势 | 第16-18页 |
1.3 研究内容 | 第18-19页 |
1.4 论文组织结构 | 第19-21页 |
第二章 背景知识 | 第21-29页 |
2.1 马尔科夫决策过程 | 第21-22页 |
2.2 强化学习经典算法 | 第22-25页 |
2.2.1 蒙特卡罗方法 | 第23页 |
2.2.2 Q学习算法 | 第23-24页 |
2.2.3 行动者评论家算法 | 第24-25页 |
2.3 深度Q网络 | 第25-28页 |
2.3.1 训练算法 | 第26-27页 |
2.3.2 模型架构 | 第27-28页 |
2.4 本章小结 | 第28-29页 |
第三章 基于优先级采样的深度Q学习算法 | 第29-40页 |
3.1 基于优先级采样的经验回放机制 | 第29-31页 |
3.1.1 传统的经验回放机制 | 第29-30页 |
3.1.2 优先级采样方法 | 第30-31页 |
3.1.3 随机化方法 | 第31页 |
3.2 基于优先级采样的深度Q学习算法 | 第31-34页 |
3.2.1 训练算法描述 | 第31-33页 |
3.2.2 模型架构描述 | 第33-34页 |
3.3 仿真实验 | 第34-38页 |
3.3.1 实验描述 | 第34-35页 |
3.3.2 实验设置 | 第35-36页 |
3.3.3 实验结果及分析 | 第36-38页 |
3.4 本章小结 | 第38-40页 |
第四章 基于视觉注意力机制的深度循环Q网络模型 | 第40-57页 |
4.1 门限循环单元 | 第40-42页 |
4.2 视觉注意力机制 | 第42-43页 |
4.3 基于视觉注意力机制的深度循环Q网络模型 | 第43-48页 |
4.3.1 模型架构图 | 第43-44页 |
4.3.2 预处理 | 第44页 |
4.3.3 编码器:卷积神经网络 | 第44-45页 |
4.3.4 解码器:基于视觉注意力机制的循环神经网络 | 第45-47页 |
4.3.5 模型架构的训练过程 | 第47-48页 |
4.4 仿真实验 | 第48-55页 |
4.4.1 实验描述 | 第48-49页 |
4.4.2 实验设置 | 第49-50页 |
4.4.3 实验结果及分析 | 第50-55页 |
4.5 本章小结 | 第55-57页 |
第五章 基于混合目标Q值的深度确定性策略梯度算法 | 第57-69页 |
5.1 策略梯度方法 | 第57-58页 |
5.2 基于行动者评论家框架的深度确定性策略梯度方法 | 第58-60页 |
5.3 基于混合目标Q值的深度确定性策略梯度算法 | 第60-64页 |
5.3.1 混合目标Q值的定义 | 第60-62页 |
5.3.2 训练算法描述 | 第62-64页 |
5.4 仿真实验 | 第64-68页 |
5.4.1 实验描述 | 第64-65页 |
5.4.2 实验设置 | 第65-66页 |
5.4.3 实验结果及分析 | 第66-68页 |
5.5 本章小结 | 第68-69页 |
第六章 总结与展望 | 第69-71页 |
6.1 总结 | 第69-70页 |
6.2 展望 | 第70-71页 |
参考文献 | 第71-79页 |
攻读硕士学位期间公开发表(录用)的论文及参与的项目 | 第79-81页 |
一、公开发表(录用)的学术论文 | 第79页 |
二、参加的科研项目 | 第79-81页 |
致谢 | 第81-82页 |
论文购买
论文编号
ABS3703017,这篇论文共82页
会员购买按0.30元/页下载,共需支付
24.6。
不是会员,
注册会员!
会员更优惠
充值送钱!
直接购买按0.5元/页下载,共需要支付
41。
只需这篇论文,无需注册!
直接网上支付,方便快捷!
相关论文