轨迹优化

算法思路

拟合局部的时变线性动态模型，而不是学习一个全局模型。在全局动态模型复杂非线性并且不连续的情况下, 很难被成功学习（采集到的样本不足以充分反映系统动态分布）。该算法是model-based和model-free的混合方法，比model-free方法需求更少的样本，又能很好的解决model-based方法难以成功学习复杂不连续全局动态模型的问题。

利用当前的线性高斯控制器在实际机器人中运行次，获取轨迹分布，然后利用样本来估计该动态模型。只要我们估计每一时间步局部的线性高斯动态模型，接着就运行动态规划算法更新线性高斯控制器的参数。由于估计的动态模型是局部的，通过iLQG算法更新得到的新控制器参数可能与老控制器参数有很大变化，为了减小参数更新的方差，我们通过加入新老控制器的约束项来限制每一次动态规划的变化。

KL-Divergence 约束优化

Lagrange对偶问题：

假设前后两次的局部动态模型一致，即，则上述优化问题可化简为：

参考文献

[1]：https://blog.csdn.net/sunbibei/article/details/51558777
[2]：Kumar, Vikash, E. Todorov, and S. Levine. "Optimal control with learned local models: Application to dexterous manipulation." IEEE International Conference on Robotics and Automation IEEE, 2016.