2.1 基于参数优化的马尔可夫决策过程设计#

强化学习是一种基于马尔可夫决策过程的人工智能机器学习算法，在机器人研究领域得到广泛应用。本文对机器人曲面加工轨迹优化问题进行了建模，优化目标为最大化机器人加工过程中的整体刚度指标$H$，将问题转换为马尔可夫决策过程，包括状态空间，动作空间和奖励函数的设计。

如图所示，智能体和环境分别是强化学习的主要元素，智能体根据当前状态$s$来产生下一的动作$a$，并产生当前的奖励$r$。当智能体的动作导致了奖励为正值，智能体后续产生这个动作的概率就会上升，若奖励为负值，智能体产生这个动作的概率就会下降，通过迭代不断优化智能体，使智能体在环境中找到最优解。

**状态空间设计：**在机器人加工轨迹参数优化问题中，状态设置为优化模型中变量的信息，即由各个加工区域的冗余自由度$α_i$和变位器旋转角$β_i$组成的集合 。

**动作空间设计：**在本文的优化模型中，动作空间根据优化变量的变化而设计，加工参数即各个区域的冗余自由度αi和变位器旋转角βi可以增大、减小或者不变。在DDPG中，参数的变化可以是连续的动作，选择各个参数的动作空间为各个加工参数的变化量 ，根据优化的经验，选择动作空间范围为[-1,1]。

**奖励函数构建：**奖励函数主要通过参数模型优化目标和优化适应度函数进行构建。奖励用于评价当前状态$s_t$下选取动作$a_t$对环境的好坏影响，奖励函数的设计会影响算法的寻优性能，通常根据寻优目标进行设计，本文的目标是最小化机器人加工的整体刚度指标$H$，$DDPG$算法的目标是使累计奖励最大，因此奖励函数应与整体刚度指标$H$呈负相关。

2.2 DDPG算法原理#

DDPG是一种基于策略梯度的强化学习算法。与DQN基于值的强化学习训练方法不同，DDPG通过梯度来更新网络，使其向累计奖励增高的方向进行更新。DDPG算法可以处理连续空间问题，且在高维优化问题上适应性较强，而基于区域分割的机器人参数优化问题是一个高维且连续的问题，因此DDPG算法比较适合本文的参数优化问题。

DDPG算法基于Actor-Critic框架，通过训练以及环境的奖励机制不断更新网络，如图所示。

Actor和Critic分别各自含有两个神经网络，因此，DDPG有四个网络，即：Actor_online、Actor_target、Critic_online和Critic_target。其核心思想是用Actor网络输出一个确定的动作，然后使用Critic网络对动作进行评估，最后对Actor网络进行更新。

Actor网络根据状态输出一个确定的动作$a$，Critic_online对动作进行评估，利用策略梯度的方法更新Actor_online：

Critic_target网络对动作$a$进行评估，计算Critic网络的损失函数，利用反向传播更新Critic_online：

最后，在经过一定次数的训练后，更新Actor_target和Critic_target网络：

3.3 基于DDPG的参数优化流程#

基于DDPG算法，以最大化奖励$r_t$为目标，将优化的参数作为优化变量$s_t$，通过智能体的不断迭代，得到使累计奖励最高的状态$s_t$，即机器人整体刚度指标$H$最优的加工参数。DDPG的算法步骤可以见表所示：