Research notebook

自主学习

具身智能的近期发展同时发生在动作建模、世界预测、任务规划和学习流程自动化等多个层面。视觉语言动作模型把语言与视觉先验转化为可执行行为,世界模型预测行为后果,智能体系统组织长期任务与技能,而强化学习负责从结果中改善决策。这些方向具有不同的技术目标,却通过共享数据、价值评估和持续交互逐步连接。该部分讨论模型与策略共同改进、自动奖励及自主数据采集之间的耦合,提出以真实收益、总人工成本、模型校准与跨轮持续性共同衡量自主改进。综合分析表明,面向具身智能的关键发展方向不是以某一种模型替代其他模型,而是建立可验证、可积累且具有物理约束的学习闭环

该部分探索 RL Automation 与 RSI,从四个角度出发:

  • 具身模型结构:整理包含 VLA、WM、WAM 等不同架构的具身模型。
  • RL Automation:该部分按自动化环节逐个筛选,涉及 到 RL 自动化流程的不同分支。
  • Agent-Like Embodied Intelligence:涉及具身智能的规划、执行、记忆与协作。
  • 具身 RSI:让系统从经验中持续改进,同样涉及到 RSI 的不同分支。

整体来看,RL Automation 与 RSI 的完整体系可以分为四层:

  1. 第一层是 Model Architecture,包含 VLA、WM、WAM 等不同的模型架构,包含感知、状态表征、动作解码、动力学预测和价值与记忆等多个模块。
  2. 第二层是 Learning and Optimization,主要涉及 RL、AutoRL 和自监督学习,需要确定更新对象、奖励来源、经验利用和优化算法。
  3. 第三层是 Agent Architecture,包含 Plan、Act、Evaluate 和 Memory,通过组织不同的模型、工具,设计控制器和反馈极致构建完整的结构。
  4. 第四层是 Recursive Self-Improvement,包含自主采集、自主训练、自主验证、更新并改进下一轮学习过程等多个自主模块。
从具身模型到具身 RSI 的四层知识体系依赖关系

相关论文 30

文献索引 ↗

继续探索

专题近况