理论基础 › 🧠 强化学习与机器人学习

🧠

强化学习与机器人学习 Reinforcement Learning & Robot Learning

当模型不准、接触复杂或任务难以写成代价函数时，从数据中学习策略成为主流。RL 与最优控制共享同一套数学（MDP、贝尔曼方程、值函数），区别在于用采样代替模型。这一模块从表格 RL 到深度 RL、基于模型的 RL 与世界模型、离线 RL，再到机器人上真正好用的两条路：大规模并行仿真训练，以及模仿学习 / 视觉-语言-动作（VLA）模型。

6 个主题约 175 小时先修：🎛️ 经典控制与最优控制 / MPC

已掌握 0/6

学完你将能够

能从零实现 PPO 并在 MuJoCo 上训练
理解 RL 与最优控制的对应关系
能用 legged_gym / Isaac Lab 训练四足 / 人形策略并知道每个奖励项为什么存在
能读懂并复现 ACT / Diffusion Policy / VLA 论文

已掌握

1MDP、值函数与经典强化学习 MDPs, Value Functions & Tabular RL

⏱ 约 30 小时

马尔可夫决策过程（MDP）是 RL 的问题定义，贝尔曼方程是它的结构。先在离散小问题上理解策略评估、策略迭代、值迭代，再理解不需要模型的蒙特卡洛与时序差分（TD）学习、Q-learning 与 SARSA，以及探索-利用权衡。

核心要点

MDP 五元组 (S, A, P, R, γ)，回报、策略、状态值 V^π 与动作值 Q^π
贝尔曼期望方程与贝尔曼最优方程；策略迭代 / 值迭代与最优控制里 DP 的一一对应
无模型方法：蒙特卡洛、TD(0)、SARSA、Q-learning；on-policy vs off-policy
函数逼近与「致命三要素」（bootstrapping + off-policy + 函数逼近）为何不稳定
探索：ε-greedy、UCB、内在奖励

关键公式

Q^{*}(s,a) = \mathbb{E}\big[\,r + \gamma \max_{a'} Q^{*}(s',a')\,\big|\,s,a\big]

贝尔曼最优方程

Q(s,a) \leftarrow Q(s,a) + \alpha\big[r + \gamma\max_{a'}Q(s',a') - Q(s,a)\big]

Q-learning 更新

自测：学完应该能回答

值迭代与 LQR 的 Riccati 递推有什么共同点？
为什么 Q-learning 是 off-policy 而 SARSA 是 on-policy？

2深度强化学习：策略梯度与 Actor-Critic Deep RL: Policy Gradients & Actor-Critic

⏱ 约 40 小时

连续动作空间的机器人控制主要靠策略梯度家族：REINFORCE → 加基线 → Actor-Critic → TRPO / PPO；以及 off-policy 的 DDPG / TD3 / SAC。理解方差-偏差权衡、优势函数估计（GAE）、以及为什么 PPO 成了机器人仿真训练的默认选择。

核心要点

策略梯度定理、REINFORCE、基线与优势函数 A(s,a) = Q − V 降低方差
Actor-Critic、GAE(λ)；自然梯度 / TRPO → PPO 的裁剪目标
Off-policy 连续控制：DDPG、TD3、SAC（最大熵）；重放缓冲与样本效率
实现细节决定成败：观测 / 奖励归一化、优势归一化、学习率与熵系数、并行环境、随机种子的方差
评估方法论：多个种子、置信区间、不要只看训练曲线

关键公式

\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\Big[\sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t)\,\hat A_t\Big]

策略梯度定理（带优势函数）

L^{\text{CLIP}}(\theta) = \mathbb{E}_t\Big[\min\big(r_t(\theta)\hat A_t,\;\operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t\big)\Big],\quad r_t = \tfrac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}

PPO 裁剪目标

自测：学完应该能回答

为什么减去一个只依赖状态的基线不改变策略梯度的期望，却能降低方差？
PPO 的裁剪在防止什么？它和 TRPO 的 KL 约束是什么关系？

3基于模型的 RL 与世界模型 Model-Based RL & World Models

⏱ 约 25 小时

先学一个动力学模型再用它规划或生成想象数据，样本效率比无模型方法高一到两个量级。从 PETS 的概率集成 + MPC、MBPO 的短程 rollout，到 Dreamer / TD-MPC 系列在潜空间学习世界模型，这条路线正与机器人「视频世界模型」「世界-动作模型」的前沿汇合。

核心要点

模型误差与复合误差：为什么想象轨迹不能太长；不确定性感知（集成、贝叶斯）
模型 + 规划：PETS（概率集成 + CEM-MPC）；模型 + 策略：MBPO（Dyna 风格短 rollout）
潜空间世界模型：Dreamer 系列（RSSM、想象中训练 actor-critic）、TD-MPC2
与 MPC / 最优控制的关系：学习的模型就是可微仿真器；与生成式视频模型的联系
真机上的 MBRL：DayDreamer 在一小时内学会行走

自测：学完应该能回答

为什么 MBPO 只用很短的模型 rollout？长度与模型误差的关系是什么？
Dreamer 里的「想象」训练与 MPC 在线规划的本质区别？

4离线 RL 与策略微调 Offline RL & Policy Fine-Tuning

⏱ 约 20 小时

真机数据昂贵且危险，能否只用已有数据集学策略？离线 RL 的核心困难是分布外动作的过估计，CQL / IQL 等方法通过保守或隐式约束解决；随后再用少量在线交互微调（Cal-QL、HIL-SERL），或用 RL 微调预训练的模仿策略 / VLA。这是近两年机器人学习最活跃的方向之一。

核心要点

分布偏移与 OOD 动作的价值过估计；行为正则化（BCQ、TD3+BC）
保守 Q 学习（CQL）、隐式 Q 学习（IQL）、决策 Transformer
离线到在线：Cal-QL 校准、混合缓冲；人在环 RL（HIL-SERL）在真机上一两小时学会任务
用 RL 微调模仿学习策略 / VLA：优势加权、PPO 微调、成功检测器作为奖励

自测：学完应该能回答

为什么普通 Q-learning 在离线数据上会发散？CQL 的正则项在做什么？
离线预训练的 Q 函数为什么在在线微调初期会「掉」？Cal-QL 如何避免？

5RL 运动控制实战：奖励、课程与教师-学生 RL for Locomotion & Whole-Body Control in Practice

⏱ 约 30 小时

2019 年后，四足 / 人形机器人的运动控制被「GPU 上数千个并行环境 + PPO + 域随机化 + 教师-学生蒸馏」这套配方彻底改变。这一节聚焦训练配方本身：观测与奖励怎么设计、课程怎么排、特权信息怎么用、如何从四足推到人形与全身控制（迁移技巧见 Sim-to-Real 模块）。

核心要点

观测设计：本体感受历史、相位 / 命令输入、特权信息（地形、接触、摩擦）与非对称 actor-critic
奖励塑形：任务奖励 + 正则项（力矩、动作率、脚滑、姿态）；参考运动（AMP、动作捕捉）
课程学习：命令范围、地形难度、随机化范围逐步放大；对称性利用
教师-学生 / 蒸馏：特权教师 → 仅本体感受学生（DAgger 式）；感知策略（深度图、高程图）
从四足到人形与全身控制：动作空间设计、参考动作跟踪、上下身解耦
与 MPC 对比：鲁棒性、计算成本、可解释性、约束处理；混合方法（RL 输出 MPC 参考 / 残差）

自测：学完应该能回答

非对称 actor-critic 为什么允许 critic 看特权信息而 actor 不能？
动作率惩罚项在真机上防止的是什么问题？

6模仿学习、扩散策略与视觉-语言-动作模型 Imitation Learning, Diffusion Policy & VLA

⏱ 约 30 小时

操作任务奖励难写、探索危险，因此从人类示教中学习成为主流。从行为克隆（BC）与 DAgger 出发，到动作分块（ACT）、扩散策略（Diffusion Policy），再到在互联网规模数据上预训练的视觉-语言-动作模型（RT-2、OpenVLA、π0），这条线正是本站每日推荐里最活跃的方向。

核心要点

行为克隆与协变量偏移（compounding error）；DAgger 的交互式修正
多模态动作分布：为什么 MSE 回归会失败，能量模型 / 扩散 / 流匹配如何建模
动作分块与时间集成（ACT）；Diffusion Policy 的去噪动作生成
VLA：把预训练视觉-语言模型微调成策略；动作离散化 vs 连续动作头（flow matching）；跨本体数据集（Open X-Embodiment）
数据采集：遥操作（ALOHA、GELLO）、人类视频、仿真合成数据；评估的难点

自测：学完应该能回答

行为克隆的误差为什么会随时间步累积？DAgger 如何从理论上解决它？
为什么扩散模型比高斯回归更适合表示示教动作分布？

强化学习与机器人学习 Reinforcement Learning & Robot Learning

学完你将能够

1MDP、值函数与经典强化学习 MDPs, Value Functions & Tabular RL

核心要点

关键公式

推荐资料（全部免费）

2深度强化学习：策略梯度与 Actor-Critic Deep RL: Policy Gradients & Actor-Critic

核心要点

关键公式

推荐资料（全部免费）

3基于模型的 RL 与世界模型 Model-Based RL & World Models

核心要点

推荐资料（全部免费）

4离线 RL 与策略微调 Offline RL & Policy Fine-Tuning

核心要点

推荐资料（全部免费）

5RL 运动控制实战：奖励、课程与教师-学生 RL for Locomotion & Whole-Body Control in Practice

核心要点

推荐资料（全部免费）

6模仿学习、扩散策略与视觉-语言-动作模型 Imitation Learning, Diffusion Policy & VLA

核心要点

推荐资料（全部免费）