视频数据

阻碍具身人工智能和机器人技术进一步发展的关键瓶颈在于机器人数据的规模化挑战。为了解决这一问题，近年来，在人类活动视频资源的丰富和计算机视觉技术的进步推动下，利用人类视频数据学习机器人操作技能的研究领域迅速发展，并引起了广泛关注。该研究方向有望使机器人能够从海量的人类演示资源中被动地习得技能，从而极大地促进通用机器人系统的可扩展学习。

该部分将基于论文《机器人从人类视频中学习：一项调查》 整理近几年视频数据对具身智能训练和发展的影响。

论文中，人类视频与机器人执行动作相结合的桥接方法被概括为三类：

• 任务导向型
• 观察导向型
• 动作导向型

论文指出，人类视频作为数据的效率相比遥操更高：

参考	环境	对比设置	量化效率声明
Jang等人（2022）	单臂	人类视频与远程操控机器人演示	人类视频的采集速度比远程操控机器人演示快 5 到 7 倍。
Kareer等人（2025a）	双臂	一小时的人类数据与一小时的机器人数据	一小时的人类数据可以产生约1400 个演示，而一小时的机器人数据只能产生135 个演示（$\sim$数据产量提高了10.4 倍）。
Dan等人（2025）	单臂	人类视频与远程操控机器人演示	人类视频每个片段大约需要20 秒，而机器人演示每个片段则需要60 秒。
Zhou等人（2025b）	双臂	人工视频驱动的自动部署演示与远程操作对比	自动部署比远程操作快得多，8 小时内即可收集约 300 个演示数据。此外，它还支持数据扩展100 倍，每个任务可收集5000 至 24000 条轨迹。
Freeman等人（2026）	单臂	以自我为中心的人类演示与远程操作	基于人机视频的流程所需的数据采集时间减少了 5 倍至 8 倍，即比远程操作快约 5 倍至 8 倍。

机器人从人类视频中学习的过程，通常基于机器人学中的两种基本范式：模仿学习（IL）和强化学习（RL）。这两种范式为学习视觉运动策略提供了核心框架，而现有的 LfHV 方法可以被视为对这两种范式的扩展或重新解释。

具身模型训练的两种基本范式

具身模型训练的学习目标可以同样表示为：

$$\Phi^*=\argmin\limits_{\Phi}\mathcal{L}_{obs}(\Phi)+\mathcal{L}_{act}(\Phi)+\mathcal{L}_{obj}(\Phi)$$

它们分别衡量了人类与机器人感知之间的差异、人类行为与控制空间之间的差异、缺乏任务注释或人类视频中无明确奖励而导致的目标差异。

模仿学习 (IL，Imitate Learning)

模仿学习使机器人通过模仿专家操作学习相应策略，其轨迹表示为$\tau=\{ (o_t,s_t,a_t)_{t=1}^{T} \}$，使用$\pi_{\theta}$ 表示由$\theta$ 参数化的IL策略，通过对专家操作数据集进行最大似然估计达到训练效果：

$$\max \sum\limits_{\tau \in \mathcal{D}_{\text{expert}}} \sum\limits_{t} \log \pi_{\theta} (a_t | o_{\leq t},s_{\leq t},l)$$

对于任务指令$l$，人类视频本身就包含了人类完成目标操控任务的流程结构。因此，任务指令可以以文本或图像的形式从人类视频中直接提取出来，用于机器人任务规划。

对于视觉观察$o_t$，最直观的策略是把“人类视角看世界的视频”转化为“与具身无关的或以机器人为中心”的视觉信息。也可以把$o_t$ 直接压缩成某种“视觉特征”，这种特征可以直接输入给机器人控制策略去用。

• Embodiment-agnostic observations (具身无关的观测)：去除掉“身体特征”后的纯粹任务信息，忽略演示者是人类还是机器人、手的大小、机械臂的型号或颜色。只关注物体和环境的变化。
• Robot-centric observations (以机器人为中心的观测)：直接将人类的视频转换为目标机械臂视角的视频，利用算法把视频中的“人类的手”替换成“机器人的夹爪”，或者把人类第三人称视角的视频转换为机器人第一人称视角 (Eye-in-hand) 的画面。
• 学习视觉编码器 (Vision Encoder)：在“语义特征层面”解决问题。编码器压缩出来的特征，已经自动过滤掉了无用的肤色、机械臂型号、背景杂物，只留下了“当前任务进度、物体相对距离”等最核心的底层逻辑，机器人大脑拿到这串压缩包直接解压就能用。

对于具体动作$a_t$，需要从人类视频中提取两类线索：

• Explicit Affordances (显式可微性 / 显式交互线索)：这是一种几何层面的、看得见的指导。算法通过看人类视频，把人类的手和物体之间的空间关系精准地测算出来。
• Latent Action Representations (隐式动作表征 / 潜空间动作特征)：是一种数据层面的、看不见的指导。它不用去精准计算人类手指在哪、物体在哪，而是用神经网络把人类一段流畅的动作（比如“切菜”或“擦桌子”）压缩成一段低维度的数学向量。

两类线索的具体案例
视频里人在抓一个马克杯的把手。算法会提取出：人类手指接触把手时的3D角度（Pose）、手指弯曲的弧度。机器人看到后，就会直接模仿这个“手-物体的相对位置”，把自己的夹爪也凑到对应的角度去抓把手。这叫“显式（Explicit）”，因为空间位置和姿态可以用数值和几何坐标明确写出来。
擦桌子时，手和桌子的位姿一直在变，很难用一个固定公式卡死。但神经网络看多了人类擦桌子的视频后，会提炼出一种关于“擦拭（Wiping）”的抽象数学规律（Latent Representation）。机器人只要把这个数学向量输入到自己的策略里，它的大脑就能“心领神会”地生成类似擦拭轨迹的电流信号。

强化学习 (RL，Reinforcement Learning)

记$R_{\phi}(s_t,a_t)$ 表示由$\phi$ 参数化的奖励函数，$\gamma$ 是折扣因子，$\theta$ 表示可学习策略参数，$\theta_{0}$ 表示初始策略，强化学习通过最优化整体的期望结果来改进策略：

$$\max\limits_{\theta} \ \mathbb{E}_{\tau \sim \pi_{\theta}}[\sum\limits_{t=1}^{T}\gamma^{t-1}R_{\phi}(s_t,a_t)],\text{with} \ \theta_{0} \to \theta$$

基于上述公式可以看出，视频数据主要提供用于初始化策略的接口和用于奖励学习的接口，被整合到强化学习框架中：

• 用于初始化策略的接口：人类视频可以提供明确指令，例如手部运动轨迹，可作为初始策略基础，以此提供更好的策略优化起点。
• 用于奖励学习的接口：无需手动设计奖励函数，而是可以从人类视频中提取有效信息，如视觉嵌入和指令，从而构建奖励函数，以此提供更丰富、更一致的学习目标。

人机转移 (Human-Robot Skill Transfer)

在上一章，具身模型训练的学习目标被归为了感知、行为和任务三部分；基于此，可以引申出六种类型的信息流转换：

• 任务结构 (Task Structures)：任务的宏观步骤或逻辑拓扑。例如，“洗碗”这个任务包含了“拿碗 → 挤洗洁精 → 刷碗 → 冲洗”这几个前后连贯的结构化步骤。
• 任务意图 (Task Intents)：指人类做动作时的终极目标。也就是你前一个公式里学到的奖励函数（Reward Function）要捕捉的东西——不看具体动作，只看人类想达成什么状态（例如：把凌乱的桌面变干净）。
• 视频转换 (transformed videos)：指通过算法（如 GAN 或 Diffusion 视频生成模型），把人类视角的原视频“像素级”地转换成机械臂视角的视频。
• 视觉嵌入 (Visual Embeddings)：指 Vision Encoder（视觉编码器） 压出来的、低维度的数学向量特征（Feature Vectors）。它是画面像素在数学潜空间（Latent Space）中的高级表征。
• 示能 (affordances)：指环境中物体展现出的“允许机器人对其进行操作的物理/几何属性”（比如：手柄是用来抓的，按钮是用来按的，算法会预测出具体的抓取点和手部姿态）。
• 潜在动作 (latent actions)：指不依赖于具体的机械臂角度或像素，而是直接从人类视频的动态变化中，通过神经网络提取出的一串抽象的、代表“动作趋势或发力神韵”的低维向量。

任务为导向 (Task Oriented)

以任务为导向的迁移机制旨在将人类的行为指令转化为机器人执行层面的操作规范。这种机制的核心在于从人类行为中提取高级任务知识，以指导机器人的后续决策过程。现有的相关方法可以分为两类：

1. 以任务结构作为桥梁的方法，该方法会将人类行为中展示的任务分解为时间上的操作指令
2. 以任务意图作为桥梁的方法，该方法无需构建完整的指令序列，就能推断出任务的全局目标或任务阶段的转换信号。

以任务结构为桥梁

任务结构作为一种桥梁，旨在将人类指令转化为明确且有时间顺序的中间步骤，以便机器人执行这些步骤，相关的方法主要包括，传统判别式方法和现代基于 VLM 增强的方法两种。

1. 传统的区分方法 (Traditional Discriminative Approaches)：早期的代表性研究将任务结构分解为若干子任务，并使用有限的规模或基于规则的机制来处理人类视频中的任务。
2. 现代基于 VLM 的方法 (Modern VLM-enhanced Approaches)：得益于近年来生成式基础模型的快速发展，越来越多的研究开始采用 VLM 来进行任务分解。这些研究在处理互联网规模的人类视频时取得了更好的泛化能力。

总之，任务结构作为一种桥梁，为机器人提供了明确且有时间顺序的组织化的程序性知识，从而在行动执行之前为机器人提供了必要的支持。最新的研究努力进一步缩小了任务分解与后续执行之间的差距，使提取出的任务结构能够更直接地被转化为特定于机器人的动作。不过，这些方法仍然主要停留在规划层面，通常需要额外的模块来将任务结构转化为具体可执行的机器人动作。

以任务意图为桥梁

以任务意图作为桥梁的方式无需将人类视频转化为完整的符号指令序列，它们能够从人类视频中提取出更高层次的指导信号，比如全局任务目标以及任务阶段转换信号。这些指导信号随后可以被用作机器人控制的任务意图。

• 全局任务意图提取：在这一类别中的早期研究中，将整个人类视频视为一个全局任务意图，以便进行策略调整。
• 阶段信号生成：当机器人执行任务变得更加复杂且需要长期规划时，仅依靠任务的整体意图往往不够。此时，需要更丰富的任务进展信息来辅助决策。

任务意图作为一种桥梁，消除了对完整指令序列进行明确解析的需求。相反，它利用人类提供的视频来生成简洁的高层次指导，以辅助机器人的控制。现有方法通常是通过提取任务的整体目标，并思考任务进展随时间应如何变化来构建这种指导。与任务结构相比，任务意图通常更加灵活，且更容易在不同实现中传递，因为它们避免了采用固定的符号化分解方式。不过，仍然需要详细的机器人学习策略，将推断出的意图转化为具体的行动规划。

以任务为导向的迁移方式提供了一种与具体形态无关的桥梁机制，能够将人类的行为指令转化为机器人可以执行的动作。这种方式不需要观察行为与动作之间有直接的对应关系，而是在指令层面提取与任务相关的指导信息，从而更自然地实现跨形态间的知识传递。

目前仍然存在一个关键的瓶颈，那就是如何将人类视频中的任务指导信息转化为能够实际执行的机器人行为，并且要做到足够精确和稳健。未来的进展可能取决于将面向任务的转移与面向观察的转移以及面向行动的转移更紧密地结合起来。因此，从人类视频中获取的高级任务语义信息可以与基于身体感知的感知机制以及低级控制机制相结合。这种整合最终可能会决定，任务为导向的转移是否仅仅是一种辅助规划的工具，还是能够成为一款核心接口，帮助机器人从人类视频中学习并实现可扩展的机器人行为。

观察为导向 (Observation Oriented)

以观察为导向的迁移更注重在视觉感知层面将人类视觉信息转化为机器人可执行的格式。它并非提取符号化的指令或高级意图，而是将原始的人类视觉信息转化为与机器人感知和控制流程直接兼容的视觉表示。这类迁移技术旨在生成能够跨越不同身体形态之间的视觉表示，可以被分为两类：以被转换视频为桥梁，和以视觉信息嵌入为桥梁。

视频转换 (Transformed Videos)

将人类视频与机器人感知相结合的最直接方法，是将人类视频转换为视觉观测结果，同时抑制与人类身体特征相关的线索（即，不再显示人体的外观特征）。这些转换后的观测结果可以进一步根据机器人的具体形态进行呈现，相关方法可以被分为“身体特征抑制”和“身体特征转换”两类。

1. 实体抑制 (Embodiment Suppression)：由于机器人的行为观察并不包含人类的特征，因此许多研究会从视频中去除与实体相关的视觉线索，以缩小人类行为与机器人行为之间的形态差异。
2. 具象化转换 (Embodiment Transformation)：虽然具象化抑制功能可以消除视频中人类手部和肢体的视觉呈现，但在机器人执行动作时，机器人自身的外观依然会被保留下来。为了进一步缩小人类与机器人的观察差异，一些研究不仅消除了人类身体的特征线索，还直接在视频中呈现机器人的肢体动作。

当前，视频转换方法逐渐由基于GAN的风格化方法演变为了基于扩散模型的方法。该方法为减少人类视频与机器人观察结果之间的视觉差异提供了最直接的方法。不过，这些方法仍然严重依赖于视频的修复和渲染质量。因此，几何不一致性和视角不匹配等问题可能会影响到后续的机器人策略学习，尤其是在无约束的实际情况下。

视觉嵌入 (Visual Embeddings)

为了避免因视频转换而产生的明显伪影，越来越多的研究致力于将人类视频压缩为视觉嵌入形式。这些视觉嵌入可以被用来预训练感知模型，以指导机器人的行为决策，或者用于构建引导机器人探索的视觉信号，相关方法被分为视觉预训练和视觉引导两种。

1. 视觉预训练 (Visual Pretraining)：无论是 TCL 还是 MP ，没有一种模型能够在所有机器人任务中占据绝对优势。
   • 时间对比学习 (Temporal contrastive learning , TCL)：一种常用于在时间维度上预训练感知模型的策略。整体上来说，这一策略及其变体通过将相邻帧的视觉嵌入拉得更近，而将时间轴上距离较远的帧的嵌入推得更远，从而使得感知模型从人类的行为中学习到有用的信息。
   • 掩码预训练范式(Masked Pretraining, MP)：侧重于在空间维度上进行图像重建任务的学习，以训练视觉编码器。其中，MVP方法证明了仅通过空间掩码预训练就能为机器人学习提供可转移的视觉表示。
   • 人类视频预测 (Human Video Prediction, HVP)：通过从过去的互动中预测未来的观察结果，这类方法促使视觉编码器不仅捕捉到时空规律，还能理解与机器人操控直接相关的物理动态因果关系。
2. 视觉引导 (Visual Guidance)：该路径利用从人类视频中获得的视觉嵌入来直接构建指导机器人与环境互动的奖励或成本函数。通过视觉预训练获得的编码器通常可以直接在视觉引导框架中复用。
   • 基于特征距离的方法 (Feature Distance-based Rewards)：该方法认为，如果机器人在真实世界里操作的视觉画面（特征），和人类视频里的画面在数学特征空间里靠得越近，说明机器人做得越好。
   • 结合世界模型与规划的方法 (World Model & Planning-based)：这一流派引入了世界模型（World Model），让机器人能够脑补“如果我这么做，接下来视觉画面会怎么变”。
   • 基于二分类器的方法 (Classifier-based Rewards)：这一流派非常叛逆，他们觉得计算“特征距离”太主观了（到底距离 2.5 算好还是 3.0 算好？）。他们干脆把视觉编码器变成一个“是非裁判”，只输出“成功（1）”或“失败（0）”。

联合领域自适应 (Joint Domain Adaptation, JDA)
此前人们提出了一种叫 HVP (Human Video Prediction，人类视频预测) 的范式。它的做法是让视觉编码器 (Vision Encoder) 去预测人类视频的下一帧，以此来学习物理世界的规律 (比如重力、物体怎么移动)。
虽然这种方法让编码器懂得了物理维度的知识，但因为训练数据全都是人类的视频，导致编码器压出来的“视觉嵌入 (Visual Embeddings)”深深地绑定了人类的交互行为和特征 (比如皮肤颜色、人类手指的握法)，而不是机器人真实的交互状态 (金属夹爪、机械臂轨迹)。
为了解决这个问题，科学家们提出在视觉预训练时，把机器人的数据也混进来 (Co-training / 联合训练)。
其核心思想是 JDA (Joint Domain Adaptation，联合领域自适应)：通过数学手段，在网络内部构建一个共享的表征空间 (Shared Representation Space)。只要人类动作和机器人动作的语义是相同的 (比如都是“把杯子拿起来”)，算法就会强行把它们在数学空间里的距离拉近。这样一来，视觉编码器就能做到“看破红尘”，不管画面里是肉手还是铁手，它提取出来的视觉特征是一样的，从而完美适配下游的机器人控制任务。

以观察为导向的迁移处理解决了 LfHV 中最为根本的挑战之一，即如何缩小人类视频与机器人观测结果之间的感知差距。在这一领域中的一个明显趋势是，从单纯关注外观对齐到更深刻地建模交互动态以及不同化身之间的一致性。这一演变表明，有效的观察迁移需要同时考虑视觉外观的匹配，以及交互如何随着时间在不同化身之间展开。

所以，未来的进展可能会依赖于将转换后的视频与视觉嵌入信息更紧密地整合起来。这可能需要更强的与动作导向的转移方式相结合，这样才能够更好地支持那些可实施且具有实际意义的机器人行为。

动作为导向 (Action-Oriented Transfer)

以动作为导向的转移能够在行动规划层面更直接地将人类的行为转化为机器人的执行动作。这种转移方式着重从人类的行为视频中提取与行动相关的信息，比如交互的便利条件以及潜在的动作，然后将这些信息转化为机器人可执行的指导方针。该导向共包含两种模式：一种是“示能”，一种是“潜在动作”。

示能 (Affordances)

人类视频中的“示能”明确地指出了手与物体之间的互动应该发生在何处以及如何进行，示能信息会明确指示在物体的哪个位置进行接触，以及如何实施这种接触。

基于此，示能被定义为所有可能从人类视频中提取出的与互动相关的几何和功能信号，包括：

• 2D/3D 形式的手与物体位置信息（如轨迹、运动方向、接触/分离区域）
• 6D 形式的手与物体姿态信息（如抓取动作、连续刚性变换）
• 手与物体的几何形态表示（如网格、点云、手部的参数化表示），以及物体的物理功能等
• 4D 物体部分、关节连接、功能关键点等。

上述类型的信号都可以促进以动作为导向的转移过程。而促进方式常见的包括如下几种：

• 人与物体交互 (Human-Object Interaction Analysis, HOI) 分析：在人类视频中，手与物体的互动行为实际上有助于提取相关的信息。它通过提取视频里的各种视觉信号（即 Affordance，指物体“哪里能抓”、“怎么运动”的物理特征），来指导机器人模仿动作。
  • 2D 基础感知：解决“在哪里”和“怎么动”的平面投影，目标是从图像像素里把手和物体的相对关系抓出来。
  • 3D 空间重建与姿态估计：还原真实三维世界，把视觉信号提升到三维物理空间。
  • 4D 时空演化：加入“时间”维度的动态物理分析，关注的是动态的交互过程。
• 基于示能的策略主干网预训练 (Affordances for Robot Policy Backbone Training)：把人类视频中的手势、轨迹、接触、物体位姿等交互信息作为辅助监督信号，先训练 VLA / VLM / Policy Backbone，让模型提前学会“人是怎么操作物体的”，再用少量真实机器人数据完成最终适配。
  • 手部运动监督 (Hand-centric Supervision)：目前最主流的路线，相比完整重建物体更容易扩展到互联网级视频。包括手腕/手部轨迹预测、手部关键点/关节参数预测、手部动作 Token 化这几种主流思路。
  • 物体运动监督 (Object-centric Supervision)：直接利用物体状态作为动作学习目标。包括6D 物体轨迹预测、2D / 3D 交互区域预测等途径。相比手部路线，它通常更依赖物体重建、姿态估计或点跟踪，因此大规模数据构建成本更高。
  • 手-物联合监督 (Joint Hand-Object Supervision)：同时建模手和物体，而不是只盯一边。典型信号包括手轨迹+物体位姿+接触点/接触区域。本质是在学习一个动态关系：手怎么运动 → 在哪里接触 → 物体怎么运动。
  • Human → Robot 动作重定向 (Retargeting)：由于人的手和机器人的夹爪/灵巧手结构不同，需要把人类动作转换到机器人动作空间。
  • 机器人风格数据重构 (Robot-style Human Video Conversion)：原始人类视频的文字、动作粒度和机器人控制周期往往对不上，因此会重新加工成人工“机器人数据集”。
  • 跨机器人形态迁移 (Cross-Embodiment Transfer)：把同一套人类操作知识迁移到不同机器人。通过统一 action representation、模块化 encoder/decoder 或 retargeting 实现。已从单臂夹爪扩展到灵巧手、双手 humanoid 等复杂 embodiment。
• 基于示能的奖励构建 (Affordances for Reward Construction in Robot Policy Learning)：把人类视频中提取出的手部运动、物体运动、接触关系等示能转化成奖励函数，直接作用于机器人策略优化。它直接改变了策略优化的目标。
  • 单一模态奖励 (Single-Modality Reward)：只选一种人类交互信号作为机器人优化目标，结构简单，但表达的交互信息有限。
  • 手-物联合奖励 (Joint Hand-Object Reward)：不再只看手或者物体，而是同时利用 手部先验 + 物体运动 + 接触关系 构建奖励，使奖励函数更接近真实操作过程。
  • 接触导向奖励 (Contact-aware Reward)：进一步从“手在哪里、物体怎么动”深入到“手到底应该接触物体哪里，以及怎么接触”。
  • 结构化交互奖励 (Structured Interaction Reward)：不直接比较绝对手轨迹或物体轨迹，而是比较 手 / 夹爪与物体之间的相对关系结构。
• 将示能作为机器人策略条件 (Affordances as Robot Policy Condition)：先从人类视频中预测或提取未来的手部位置、轨迹、物体运动、接触关系等 Affordance，再把这些信息显式输入 Robot Policy，作为动作生成的中间目标或控制条件。核心区别是：Affordance 本身会在推理 / 执行阶段直接参与动作决策。
  • 未来交互状态条件 (Future Interaction State Condition)：最早期、最直接的形式，是预测“未来手和物体会在哪里”，再让机器人根据这个未来状态生成动作。
  • 潜在子目标条件 (Latent Subgoal Condition)：不一定显式输出手的位置，而是预测一个代表未来交互目标的 latent state。
  • 手-物掩码条件 (Future Hand-Object Mask Condition)：从视频预测未来哪些图像区域属于手、物体和交互区域，再作为控制条件。
  • 稠密点轨迹条件 (Dense Point-Track Condition)：不只预测手的位置，而是在图像中跟踪大量点未来怎么运动，用更稠密的 motion cue 指导精细控制。
  • 仅靠初始状态预测轨迹 (Initial Image + Goal → Track)：减少对执行过程中持续观测和领域内 human video 的依赖。
  • 多域轨迹条件学习 (Multi-domain Trajectory Conditioning)：解决单一轨迹预测器在复杂数据分布下扩展性不足的问题。
  • 物体中心 Flow 条件 (Object-centric Flow Condition)：进一步摆脱“人的轨迹必须对应机器人的轨迹”这个约束。
  • 结构化图条件 (Structured Graph Condition)：认为 Pixel / Flow 仍然太低层，因为它们没有明确表达物体内部结构以及 object-object / object-effector 关系。
• 将示能直接作为机器人策略 (Affordances as Robot Policy)：把人类视频中的手轨迹、接触点、物体变换、手-物关系等示能直接定义为机器人策略的输出空间，再转换成实际机器人动作，从而直接承担 Policy Representation 的角色。
  • 以手为中心的策略表示 (Hand-centric Policy)：直接把人类手部运动转换成机器人动作，是最早也最直观的一类。
  • 以物体为中心的策略表示 (Object-centric Policy)：不再把人的手视为主要动作参照，而是把物体应该发生什么变化直接作为机器人策略。这样更容易跨机器人形态，因为杯子被移动 20 cm 这件事并不关心到底是谁的手在移动它。
  • 以交互为中心的策略表示 (Interaction-centric Policy)：进一步不再选择“手”还是“物体”作为中心，而是把手与物体之间的相对关系本身作为可执行策略表示。

总的来说，Affordance 路线的核心，就是把人类视频里的“怎么与世界发生物理交互”，逐步压缩成一种跨身体、可泛化、最终可直接执行的机器人动作表示。

潜在动作 (Latent Actions)

潜在动作旨在直接从未标注的人类视频中学习简洁且可迁移的动作先验知识。常见的做法是使用潜在动作模型，其中逆向动力学模型从相邻观测数据中推断出潜在动作，而正向动力学模型则根据当前观测数据和推断出的潜在动作来预测未来的观测结果。该方向被分为两类：一类是来自视觉重建的潜在动作，它仅通过重建未来的视觉观测数据来学习潜在动作；另一类则是来自视觉与动作共同重建的潜在动作。

• 从视觉重建中学习潜在动作 (Latent Actions from Visual Reconstruction)：通过观察视频前后帧的视觉变化，把其中隐含的动作压缩成离散或连续的 Latent Action / Motion Token，再把这些潜在动作作为伪动作标签、规划接口或世界模型条件，用于机器人策略学习。核心是不需要真实动作标签，只靠大规模未标注人类视频就能学到通用运动先验。
  • 视觉变化 → 潜在动作 (Visual Change → Latent Action)：用 VQ-VAE、Transformer 等模型压缩相邻帧或初始状态到目标状态之间的变化。
  • 潜在动作 Token 化与序列规划 (Latent Motion Token / Sequential Planning)：不再只学习单步动作，而是把未来动作表示成一串 Latent Motion Tokens。
  • 去除任务无关视觉变化 (Task-centric Latent Action)：原始视觉重建很容易把相机抖动、背景变化、其他人的运动也错误编码成“动作”。
  • 引入几何与物理结构 (Geometry-aware Latent Action)：RGB-only latent action 缺少真实空间结构，因此开始加入 Depth 和 3D 先验。
  • 潜在动作作为技能或世界模型接口 (Skill / World Model Interface)：Latent Action 不再只是预训练标签，而开始成为 Policy、Skill、World Model 共用的中间动作语言。
  • 从像素重建转向潜空间预测 (Latent-space Prediction)：进一步弱化 Pixel Reconstruction，让表示真正聚焦 Action-relevant Transition。
• 从视觉-动作共同重建中学习潜在动作 (Latent Actions from Visual-Action Co-reconstruction)：只靠视觉重建很容易学成“帧差编码器”，因此这一类进一步加入真实动作相关信号，让 Latent Action 同时解释 视觉变化 + 机器人动作 / 状态 / 光流 / 关键点轨迹，迫使它更接近真正的动作动力学。
  • 视觉 + 本体感知 / 动作联合约束 (Vision + Proprioception / Action)：Latent Action 不仅要重建视觉，还要受到 future robot state 和 action 的约束。本质是视觉变化必须能够对应到真正的机器人状态转移。
  • 光流联合重建 (Optical-flow Co-reconstruction)：把 Optical Flow Consistency 加入 latent action training。让模型关注场景中的真实运动，而不是单纯像素颜色变化。
  • 关键点轨迹监督 (Keypoint Trajectory Supervision)：使连续 latent action 更明确地编码 object / hand 的运动结构。
  • 潜在动作与真实动作对齐 (Latent-Real Action Alignment)：不只是“能够重建视频”，而是显式要求 latent action 与真实 state transition / action 对应。核心是，把 Latent Action 从 Visual Code 推向 Transition-aware Action Representation。
  • 动作相关 / 无关因素解耦 (Action-relevant Disentanglement)：这是这一类最关键的进一步发展。本质是探索Latent Action 应该表示“谁做了什么”，而不是“画面哪里变了”。

潜在动作（Latent Actions）通过从未标注人类视频中直接学习动作隐表示，绕过昂贵的显式 HOI 与几何标注，更适合大规模跨形态学习；其发展重点是让表示从简单帧间变化逐步转向真正的动作动力学，但仍面临视觉干扰解耦和向具体机器人控制空间落地的问题。

总之，以行动为导向的迁移直接关注“机器人该怎么动”，主要包括两条互补路线：Affordance 用显式的手轨迹、物体运动和交互关系提供更强的物理可解释性与可控性，Latent Action 则用隐式动作表示换取更好的数据规模化能力。整体趋势是让动作表示越来越结构化、可执行，并最终落到机器人真实动作空间；未来更可能通过二者结合，在物理约束与大规模学习能力之间取得平衡。

不同数据与学习方式下的人类视频到机器人迁移

不同数据配置下的差异

视角层面

第三人称（Exocentric）更适合看全局任务结构，第一人称（Egocentric）更适合看局部交互细节。 第三人称视频场景稳定、全局结构清楚，方便识别任务阶段、子任务和整体意图；第一人称视频则更直接看到手-物接触、操作顺序和精确时机，所以越靠近实际动作执行，第一人称价值越高。

• 任务导向迁移明显偏第三人称，Exo 占 65%，Ego 只有 13%。因为这一类主要关心“做什么、先做什么、任务如何分解”，稳定的外部视角更容易保留完整场景和长程任务结构。
• 观察导向迁移开始转向第一人称，Ego 49%、Exo 40%。它关心的是缩小 Human-Robot 的视觉差异，因此第一人称更接近机器人自身摄像头看到的局部操作视角，但第三人称在场景变换和进度估计上仍然有优势。
• 行动导向迁移对第一人称偏好最明显，Ego 52%、Exo 41%。因为 Affordance、Latent Action、灵巧手、双手协同和 Contact-rich Manipulation 都依赖精确的手部轨迹、抓握姿态和接触时序，这些第一人称看得最清楚。

真机数据需求

任务导向对机器人数据依赖最低，Human Videos Only 占 48%，因为输出往往只是任务结构、程序或高层计划，可以直接交给已有 Planner、VLM 或 Skill Library，而不必自己学低层控制。它解决的是“做什么”，不是“这个机器人具体怎么动”。

观察导向和行动导向则更依赖真实机器人数据。观察导向虽然能把 Human Observation 对齐到 Robot Observation，但它并没有自动解决“Observation → Action”的映射，因此通常还需要 Robot Demonstration。行动导向已经更接近执行，但 Affordance 或 Latent Action 最后仍然经常需要 Robot Action Supervision，把人类动作结构 Ground 到具体机器人运动学上。

总体上，人类视频目前还不能完全替代真实机器人数据。复杂 OOD 场景、运动学可行性和闭环纠错仍然需要 Robot Demonstration 或 Real-world Interaction，因此 Human Video 更像具身数据金字塔中的重要一层，而不是整座塔。

不同学习范式下的差异

学习范式的关键区别其实很朴素：Human Video 提供的信号，是能直接给 Policy 用，还是只能间接影响优化。 前者天然对应 IL / Behavior Cloning / VLA-style Supervised Post-training；后者更接近 RL、Reward Shaping 或 Exploration Prior。还有一些方法干脆把视频变成程序、轨迹、Affordance，再通过 Retargeting、Optimization 或解析控制器直接执行，不走完整的 IL / RL。

• 任务导向迁移主要是 IL 风格。Task Embedding、Prompt Video、Subgoal 或 Plan 通常作为高层条件输入，下游动作仍通过 Behavior Cloning 学出来。只有当任务进度被显式转成 Reward 时，才偶尔使用 RL；如果输出本身就是 Program / Plan，则甚至不需要标准 IL 或 RL。
• 观察导向迁移最灵活。同样的 Observation Bridge，如果作为 Robot-aligned Visual Input，就偏 IL；如果拿来定义 Goal Similarity、Progress 或 Success Score，就偏 RL；如果主要提供探索先验，则形成 Exploration-centric Policy。
• 行动导向迁移覆盖范围最广。Affordance Backbone Pretraining、Co-training、Latent Action 大量采用 IL / VLA Post-training；当 Affordance 被直接用来定义 Reward，或 Human-Robot Embodiment Gap 太大导致直接模仿不可靠时，就更适合 RL；而 Affordance as Policy 又可以直接做 Zero-shot Retargeting、Trajectory Optimization 或直接执行。

因此，前面几类方法其实可以很自然地理解成不同的适用条件：

• Task-oriented：适合长时程、语义复杂任务，而且机器人已经有 Skill Library，主要难点是“下一步做什么”。
• Observation-oriented：适合已有 Policy / Controller，只是视觉泛化、域差异、Goal Matching 不够好。
• Affordance-based Action Transfer：适合空间精度高、需要 Contact Localization、Few-shot / Zero-shot Retargeting 的操控任务。
• Latent-action Transfer：适合大规模 VLA 预训练和跨数据集吸收 Human Behavior Prior，但默认后面还会有 Robot Demonstration 来做 Grounding。

随着 Observation Alignment、Affordance Extraction 和 Latent Action Modeling 变强，人类视频越来越可以被转换成 Robot-aligned Observation、Pseudo-action 和 Executable Intermediate，因此 IL / VLA-style 大规模预训练越来越实用；但只要 Embodiment Gap 大、接触动力学复杂、离线数据难以覆盖真实物理，RL 仍然不可替代。比较自然的方向就是：先用海量 Human Video 做 IL-style Pretraining 学通用先验，再在目标环境里用 RL 做在线物理适配。

定向转移路线	核心原理与作用	易失效场景	适用场景（首选条件）
以任务为导向的迁移 (Task-oriented)	以高度具身无关（Embodiment-agnostic）的方式传递信息。将任务结构、意图与程序抽象化，绕过人与机器人低层级的动作空间差异，直接指导目标机器人现有的技能库或高层规划器(Ding 等人, 2024; Wake 等人, 2024; Wang 等人, 2024a; Ye 等人, 2025a)。	当高层规划缺乏精细接触执行的具体细节时；当视觉语言模型（VLM）生成的步骤出现幻觉或忽略物理约束时；或者当机器人缺乏将规划接地落地（Grounding）所需的底层原子技能时。	任务属于长时程（Long-horizon）或语义复杂任务；目标机器人已具备可用的技能库或底层控制器；核心瓶颈在于“决策下一步做什么”，而非学习低级控制。
以观察为导向的迁移 (Observation-oriented)	通过编辑具身外观、预测类机器人视角或学习共享视觉表征，缩小人类视频与机器人观察之间的感知差距(Nair 等人, 2022; Li 等人, 2024b; Lepert 等人, 2025a; Li 等人, 2025a)。	当视觉对齐仅停留在表面层次时：生成的视频可能包含伪影；共享嵌入表征可能忽略与接触相关的物理动力学；视觉上相似的状态仍可能需要完全不同的机器人动作。	下游策略或控制器已具备（或仅需少量机器人数据即可训练）；核心瓶颈在于提升视觉泛化能力、数据增强，或目标/奖励函数的匹配。
基于可供性的动作迁移 (Affordance-based)	显式提取几何线索（如接触区域、手部运动轨迹、物体姿态等）。这些线索具备可解释性，可直接用于奖励函数塑造（Reward Shaping）、策略条件约束、运动重定向（Retargeting）或直接控制执行(Bahl 等人, 2023; Bharadhwaj 等人, 2024b; Kuang 等人, 2024; Chen 等人, 2025e; Zhang 等人, 2025a)。	当手-物交互（HOI）解析因遮挡、相机运动、物体重建错误或形态差异过大而不可靠时；或者仅凭视觉无法推断出作用力、顺应性（Compliance）及接触稳定性时。	任务需要高精度的空间操控、单样本/少样本迁移、以物体为中心的运动、接触点定位；或者仅基于人类视频并通过解析重定向/通用控制器直接部署。
潜在动作迁移 (Latent-action)	从大规模视频中学习紧凑的动作抽象表征，无需显式的几何标注。这使其具备极强的扩展性，适用于 VLA 预训练及吸收野外（In-the-wild）异构数据(Ye 等人, 2024; Chen 等人, 2024c; Chen 等人, 2025h; Luo 等人, 2025; Yang 等人, 2025d)。	当潜在代码（Latent code）捕捉到了相机运动、背景变化等干扰动态而非实际可控动作时；即便学习到了良好的潜在动作，在真机执行前仍需要通过机器人演示进行接地/落地（Grounding）。	目标是进行大规模策略预训练、跨数据集吸收人类行为模式，或构建通用的 VLA 主干网（且后续有机器人演示数据用于下游真机落地）。

数据基础 (Data Foundations)

开源人类视频数据集

LfHV 的前提是先有足够的人类视频。虽然可以直接爬互联网视频，但研究中更常见的是两类来源：一类是经过组织和设计的 Curated 数据，另一类是自然场景中的 In-the-wild 数据。

通过调研近几年的相关数据集，可以发现一些明显的特点或趋势：

• 数据规模一直很大：人类视频天然比机器人 demonstration 更容易采集，很多数据集达到数百、数千甚至十万小时，因此在规模化上有明显优势。尤其 Web 或自然录制得到的 In-the-wild 数据，规模通常最大。
• 单纯追求 In-the-wild 正在降温：虽然自然视频便宜、丰富，但噪声大、标注弱、可控性差。近年的研究越来越愿意牺牲一点场景多样性，换取更可靠的手部姿态、关节和交互标注。
• 从单一数据集转向混合数据集：单个数据集很难同时覆盖不同视角、任务、手部动作和场景，因此 UniHand 等工作开始把多个数据源融合成统一训练集。
• 手部标注越来越细：随着灵巧操控和 HOI 迁移的重要性上升，Hand Pose、Hand Joint 等信息越来越关键。Vision Pro、Aria 这类设备也让手部追踪成本下降。
• 语言描述越来越丰富：早期常见的是简单“动词 + 名词”标签，现在更倾向完整 narration 或 task description，因为 VLA 和语言驱动机器人训练需要更强的语言对齐。

从“什么数据最常被用”来看，Ego4D 和 EPIC-KITCHENS 系列是 LfHV 中非常核心的数据源。它们虽然噪声更大，但胜在规模大、交互自然、时间多样，尤其适合视觉预训练和生成建模。这个现象说明，对于通用 Representation Learning，很多时候 数据规模和交互多样性比有限场景里的精确几何标注更重要。

但越接近实际机器人执行，情况就反过来了。Affordance、灵巧手和 Action-oriented Transfer 更依赖 DexYCB、H2O、OakInk2、EgoDex、HOT3D 这类注释丰富的数据，因为这时 Hand Pose、Joint、Object Pose 等精细几何信息会直接影响动作规划。

最近的 VLA 和 Latent Action 路线则越来越倾向 Mixed Dataset Composition，因为单一数据集已经很难满足跨视角、跨场景、跨 Embodiment 的需求。

人类视频生成

现有数据集再大，也只覆盖“已经被录下来”的任务和场景。想继续扩规模，继续找人戴相机拍几万小时显然不是一个特别文明的工程方案，于是另一条路线出现了：直接生成训练用的人类操作视频。

早期方法主要依靠 Simulation 合成人体动作视频，用它代替真实 demonstration；后来随着视频生成模型变强，开始直接根据 Language Instruction + Current Observation 生成未来的人类或机器人操作视频，再从视频中恢复动作。当前该领域的主要方法包括：

• 视频作为未来计划：例如先生成“任务应该怎么完成”的未来视频，再通过 Inverse Dynamics Model 从视频中恢复 Robot Action。
• 生成视频直接作为 Policy Condition：先合成人类操作，再让 Closed-loop Policy 根据这些视频执行。
• 从生成视频提取 6D Pose：恢复工具或物体的 6D trajectory，再 Retarget 到机器人末端执行器。
• 从生成视频提取 3D Object Flow：相比 6D rigid pose 更灵活，可以处理刚体、关节物体甚至可变形物体，再把 Flow 用作机器人控制接口。
• 直接生成手部运动：一些方法开始专门建模 Human Hand Motion，或者把 Hand Mesh 与 Static 3D Scene 分开，让视频模型只生成“动作引起的变化”，而不是重新生成整个场景。

这一方向可以主动生成现实中还没拍过的任务、场景和视角，因此是现有静态数据集的重要补充。不过生成的视频看起来像，不等于物理上真的对。最终效果依赖三件事：交互动力学是否真实、能否从视频中提取可靠的物理运动信号、这些信号能否跨 Embodiment 稳定迁移到机器人。

挑战与未来方向 (Discussion: Challenges and Future Directions)

从“局部模仿”走向物理世界模型

现在很多方法只学任务、视觉表征、Affordance 或 Latent Action，本质上还是在学局部线索，缺少对“世界会因为动作怎样持续演化”的整体建模，所以一到长时程、强接触、开放环境就容易失真。

未来更重要的是构建 Physically Grounded World Model：不仅预测“下一帧长什么样”，而是预测动作会带来什么真实物理后果，并在长时间尺度上保持因果和物理一致性。这样可以把视觉预测、Affordance、Latent Action、Reward 等目前分散的方法统一进一个预测框架，并进一步支持 Counterfactual Reasoning、Failure Recovery、Closed-loop Planning。

从几何 Affordance 走向“功能 + 物理”的 Affordance

现在 Affordance 主要还是 Contact Region、Hand Trajectory、Object Pose、Motion Flow，告诉机器人“在哪里碰、怎么动”，但还没有充分回答：为什么这里能操作、这个部件有什么功能、动作必须满足什么物理约束。

未来的方向是 Physics-aware Functional Affordance，把视觉交互 + 功能语义 + 物体结构 + 运动学/动力学约束统一表示起来。

例如对锤子，不只是知道“抓这里、往这里挥”，而是理解抓柄、锤头是功能部件、冲击方向是什么、怎样接触才能实现敲击功能。这对于工具、关节物体和 Contact-rich Manipulation 尤其重要。

从一次性离线训练走向持续学习

现在绝大多数 LfHV 还是收一批 Human Video → 训练一次 → 固定模型。这对于开放世界显然不够，因为新的物体、任务和环境会持续出现。

未来应该让机器人能够持续吸收新的人类视频：

• 新 Ego Video 持续补充新的 Manipulation Prior。
• Latent Action 自动把新视频转成 Pseudo-action。
• Affordance 系统持续更新新的交互方式。
• 不需要每出现一个新任务都重新采集大量 Robot Demonstration。

真正的难点会转向 数据质量筛选、Memory-based Sampling、高效增量适配、灾难性遗忘与持续评估。

从单机器人模仿走向多智能体协作

目前几乎所有 LfHV 都默认：一个人演示 → 一个机器人模仿。但现实任务大量是协作的，比如共同搬运、递物、装配、人机协作。人-人视频里其实包含大量现在还没被充分利用的信息：角色分工、时间同步、共享约束、互相预测。

未来可以研究：

• Role-aware Latent Action：不同 Agent 学不同角色。
• Hierarchical Collaborative Planning：把协作任务拆成各 Agent 的 Subgoal。
• Explicit Synchronization：显式建模谁什么时候行动。
• Coupled Action Space：一个 Agent 的动作会改变另一个 Agent 可以做什么。

这意味着 LfHV 会从“Individual Skill Transfer”扩展成真正的 Multi-Agent Coordination Learning。

从纯视觉走向多模态人类经验

Human Experience 本来就不是只有视觉，但目前 LfHV 基本把人压缩成了一台会移动的 RGB 摄像机，这自然会丢掉大量信息。未来最值得加入的三种信号是：

• Audio：可以补充遮挡接触、材料变化、碰撞、失败等视觉难观察的信息。
• Gaze：提供人的 Attention 和 Intention，告诉机器人“人在关注什么、下一步可能操作哪里”。
• Tactile：提供 Contact Force、Slip、Compliance、Surface Interaction，这是精细操控最缺的一层。

最终目标是把 Vision + Audio + Gaze + Tactile + Language + Pose 融合成人类真实 Sensorimotor Experience，而不是只从像素猜物理。

不再只过滤差数据，而是学会利用差数据

互联网视频规模巨大，但里面充满模糊、遮挡、相机抖动、失败操作、被动观察。现在很多方法的解决方案相当朴素：不好就扔。 这会直接损失 Human Video 最大的优势，也就是规模和长尾。

未来更值得研究的是 Low-quality-aware Learning，更重要的是，所谓“低质量视频”里的遮挡、杂乱和视角变化，本来就是机器人进入真实开放世界以后一定会遇到的问题。因此学会从差数据中提取可靠信息，本身就是 Generalization 的一部分。

建立真正统一的 Benchmark 和数据生态

现在 LfHV 最大的工程问题之一，是论文 A 用机器人 A、任务 A、视频 A，论文 B 又全部换一套，最后大家都说自己有效，至于谁真的更强，只能靠信仰。未来需要统一评估 Human Video Understanding → Cross-embodiment Transfer → Robot Execution 的完整过程，而且不能只看 Task Success 或者 单纯 Simulation，因为真实 Human Video 的视角、相机运动、外观和交互动力学很难完整复现，因此未来可能需要结合高保真 Scene Reconstruction 构建更接近真实视频的 Benchmark。

与此同时，还需要从“一次性发布一个 Dataset”转向真正的 Egocentric Data Ecosystem：统一采集协议、任务语义、存储接口、标注格式和评估规范，让实验室、企业甚至个人可以持续贡献新的 Ego Video，并逐步加入 3D Pose、Language、Audio、Gaze、Tactile 等信息。

综合来看，LfHV 的核心价值在于：用规模更大、获取成本更低的人类视频，补足机器人真实示范数据昂贵且稀缺的问题。现有方法已经形成从任务理解、视觉对齐到动作迁移的完整链路，并通过任务结构、视觉表征、Affordance 和 Latent Action 等不同中间表示连接 Human Video 与 Robot Policy。未来真正决定这一领域能否走向通用化的，不只是更大的模型，而是能否同时解决长时程物理建模、多模态人类信号利用、噪声视频学习、标准化评测与可持续数据生态，最终把人类视频从辅助数据源变成可规模化的具身经验来源。