该部分探索 RL Automation 与 RSI,从四个角度出发:
- 具身模型结构:整理包含 VLA、WM、WAM 等不同架构的具身模型。
- RL Automation:该部分按自动化环节逐个筛选,涉及 到 RL 自动化流程的不同分支。
- Agent-Like Embodied Intelligence:涉及具身智能的规划、执行、记忆与协作。
- 具身 RSI:让系统从经验中持续改进,同样涉及到 RSI 的不同分支。
整体来看,RL Automation 与 RSI 的完整体系可以分为四层:
- 第一层是 Model Architecture,包含 VLA、WM、WAM 等不同的模型架构,包含感知、状态表征、动作解码、动力学预测和价值与记忆等多个模块。
- 第二层是 Learning and Optimization,主要涉及 RL、AutoRL 和自监督学习,需要确定更新对象、奖励来源、经验利用和优化算法。
- 第三层是 Agent Architecture,包含 Plan、Act、Evaluate 和 Memory,通过组织不同的模型、工具,设计控制器和反馈极致构建完整的结构。
- 第四层是 Recursive Self-Improvement,包含自主采集、自主训练、自主验证、更新并改进下一轮学习过程等多个自主模块。



