近似动态规划在资源配置中的应用研究

大部分资源配置问题都具有离散或连续的状态和决策空间，针对中小型问题，一般运用动态规划（DP）、变分不等式或极大值原理求解，而对于大型资源配置问题，不管问题有无模型都面临着“维数灾”问题。经典DP的运算时间随着问题规模的增加而呈指数增长，变分不等式不能解决具有闭集约束条件的最优化问题，极大值原理只给出了最优化的必要条件。而近似动态规划（ADP）结合了强化学习、神经网络、自适应评价系统以及经典DP等基本原理求解复杂的非线性问题，通过近似计算值函数可以有效避免“维数灾”问题，并克服了其他方法的缺陷。它采用在线和离线相结合的模拟训练方式，能实时适应系统参数的变化，在近年来获得了广泛的研究。本文运用ADP为一般的高维离散型资源配置问题建立合理的数学模型，并提出了基于模型的Actor-Critic算法，然后结合两个具体实例验证模型的有效性及算法的收敛性。第一个实例是汽车租赁问题，在保持汽车持有量平稳变化的基础上，合理配置租赁公司各地汽车持有量，使总利润最大化，在计算机模拟过程中根据最优值函数和约束条件对各参数进行灵敏度分析，定义顾客服务评价指标得出相应的扩建计划。结果表明随着维修能力增强，利润也会增多，但是维修能力增强到一定程度，因为费用提高利润便不再增多。最后利用策略改进算法得出最佳汽车调度策略以达到“稳态”。第二个实例是存在交易成本的投资组合问题。实例面临资金量、交易成本、周转率、收益率和各种外在信息等不确定因素的“维数灾”问题。首先为长期投资组合问题建立一个两阶段ADP模型，第一阶段按照时间序列将整个问题划分为多阶段，按照收益最大化的原则求解一系列线性规划模型得到最优股票持有量，第二阶段是在每一个时间段运用固定资金动态规划模型进行迭代求解，采用ADP分段线性值函数近似方法，提出在不同风险因子下各期的投资组合策略。