视频与动作联合生成
DreamZero：World Action Models are Zero-shot Policies
DreamZero 是一种端到端的世界动作模型（World Action Model, WAM），旨在解决视频预测与机器人动作预测之间的模态对齐、长时域自回归推演中的复合误差累积，以及高维视频扩散模型在闭环实时控制中的极高推理延迟问题。
系统基于统一的流匹配（Flow Matching）去噪目标，在单一 DiT（Diffusion Transformer）骨干网络中联合去噪视频帧与机器人动作 ；同时利用闭环真实观察替换 KV Cache 机制彻底消除自回归误差累积，并结合系统级、编译器级与模型级（DreamZero-Flash）优化实现 38 倍推理加速（延迟降至 150ms / 7Hz），支持端到端实时闭环操控。
传统的方案通常将世界模型拆分为“独立的视频预测模型”和“逆动力学模型（IDM）”，而 DreamZero 采用端到端联合分布建模：
π 0 ( o l : l + H , a l : l + H ∣ o 0 : l , c , q l ) = π 0 ( o l : l + H ∣ o 0 : l , c , q l ) ⏟ 视频生成 ⋅ π 0 ( a l : l + H ∣ o 0 : l + H , q l ) ⏟ 逆动力学动作预测 \pi_0(\mathbf{o}_{l:l+H}, \, \mathbf{a}_{l:l+H} \mid \mathbf{o}_{0:l}, \, \mathbf{c}, \, \mathbf{q}_l) = \underbrace{\pi_0(\mathbf{o}_{l:l+H} \mid \mathbf{o}_{0:l}, \, \mathbf{c}, \, \mathbf{q}_l)}_{\text{视频生成}} \cdot \underbrace{\pi_0(\mathbf{a}_{l:l+H} \mid \mathbf{o}_{0:l+H}, \, \mathbf{q}_l)}_{\text{逆动力学动作预测}} π 0 ( o l : l + H , a l : l + H ∣ o 0 : l , c , q l ) = 视频生成 π 0 ( o l : l + H ∣ o 0 : l , c , q l ) ⋅ 逆动力学动作预测 π 0 ( a l : l + H ∣ o 0 : l + H , q l )
对于给定的轨迹，随机采样起始索引l l l H H H
c \mathbf{c} c q l \mathbf{q}_l q l l l l o 0 : l \mathbf{o}_{0:l} o 0 : l o l : l + H \mathbf{o}_{l:l+H} o l : l + H H H H a l : l + H \mathbf{a}_{l:l+H} a l : l + H H H H
块级（Chunk-wise）自回归流匹配损失 (Flow-Matching Objective)
视频帧和动作被切分为固定包含K K K k k k t k ∈ [ 0 , 1 ] t_k \in [0, 1] t k ∈ [ 0 , 1 ] z 1 k , a 1 k \mathbf{z}_1^k, \mathbf{a}_1^k z 1 k , a 1 k z 0 k , a 0 k ∼ N ( 0 , I ) \mathbf{z}_0^k, \mathbf{a}_0^k \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) z 0 k , a 0 k ∼ N ( 0 , I )
z t k k = t k z 1 k + ( 1 − t k ) z 0 k , a t k k = t k a 1 k + ( 1 − t k ) a 0 k \mathbf{z}_{t_k}^k = t_k \mathbf{z}_1^k + (1 - t_k) \mathbf{z}_0^k, \quad \mathbf{a}_{t_k}^k = t_k \mathbf{a}_1^k + (1 - t_k) \mathbf{a}_0^k z t k k = t k z 1 k + ( 1 − t k ) z 0 k , a t k k = t k a 1 k + ( 1 − t k ) a 0 k
基于 Teacher Forcing 模式，模型u θ \mathbf{u}_\theta u θ k k k C k = { ( z 1 j , a 1 j ) } j = 1 k − 1 \mathcal{C}_k = \{ (\mathbf{z}_1^j, \mathbf{a}_1^j) \}_{j=1}^{k-1} C k = {( z 1 j , a 1 j ) } j = 1 k − 1 v k = [ z 1 k , a 1 k ] − [ z 0 k , a 0 k ] \mathbf{v}_k = [\mathbf{z}_1^k, \mathbf{a}_1^k] - [\mathbf{z}_0^k, \mathbf{a}_0^k] v k = [ z 1 k , a 1 k ] − [ z 0 k , a 0 k ]
L ( θ ) = E z , a , { t k } [ 1 K ∑ k = 1 K w ( t k ) ∥ u θ ( [ z t k k , a t k k ] , C k , c , q k , t k ) − [ z 1 k − z 0 k , a 1 k − a 0 k ] ∥ 2 2 ] \mathcal{L}(\theta) = \mathbb{E}_{\mathbf{z}, \mathbf{a}, \{t_k\}} \left[ \frac{1}{K} \sum_{k=1}^K w(t_k) \left\Vert{} \mathbf{u}_\theta\left( [\mathbf{z}_{t_k}^k, \mathbf{a}_{t_k}^k], \, \mathcal{C}_k, \, \mathbf{c}, \, \mathbf{q}_k, \, t_k \right) - [\mathbf{z}_1^k - \mathbf{z}_0^k, \, \mathbf{a}_1^k - \mathbf{a}_0^k] \right\Vert{}_2^2 \right] L ( θ ) = E z , a , { t k } [ K 1 k = 1 ∑ K w ( t k ) u θ ( [ z t k k , a t k k ] , C k , c , q k , t k ) − [ z 1 k − z 0 k , a 1 k − a 0 k ] 2 2 ]
w ( t k ) > 0 w(t_k) > 0 w ( t k ) > 0 t k t_k t k
闭环 KV Cache 真实观察替换机制 (Closed-Loop KV Cache Rollout)
在长时域自回归推演中，传统视频生成模型会因为将上一轮生成的非完美预测帧作为后续输入的上下文，导致复合误差（Compounding Error）迅速积累。
DreamZero 利用机器人**闭环控制（Closed-Loop Control）**的独特性解耦了该难题：
并行采样与动作下发 ：在时间步k k k z ^ k \hat{\mathbf{z}}^k z ^ k a ^ k \hat{\mathbf{a}}^k a ^ k 底层控制器执行 ：下发动作 Chunka ^ k \hat{\mathbf{a}}^k a ^ k 真实观察回填 (Ground-Truth KV Swap) ：在下一个控制周期到来时，直接使用机器人相机采集到的真实视觉观察帧z 1 , real k \mathbf{z}_{1, \text{real}}^k z 1 , real k 掉 KV Cache 中先前模型自我生成的预测帧z ^ k \hat{\mathbf{z}}^k z ^ k 彻底消除漂移 ：此举从根本上阻断了生成的视频噪声沿时间轴累积，使模型既能利用 KV Cache 实现单次前向传导的高效推演，又拥有绝对稳定、无漂移的历史上下文。
模型级加速：DreamZero-Flash 解耦噪声采样 (Decoupled Noise Schedules)
为了在极步数（如 1 步去噪）推理下避免视频残留噪声破坏动作预测质量，系统引入 DreamZero-Flash 训练阶段。
训练与推断下的模态噪声失配
在少步或单步去噪推理（Few-step / Single-step Inference）制度下，生成的视频 Token 仍然保持高噪声水平，但动作输出必须被推演至完全无噪的干净状态。标准 DreamZero 让视频与动作共享相同的t k ∼ U ( 0 , 1 ) t_k \sim \mathcal{U}(0, 1) t k ∼ U ( 0 , 1 )
解耦 Beta 分布噪声采样
DreamZero-Flash 在主模型训练完成后，冻结部分层或继续微调，对视频与动作施加解耦的加噪采样：
动作加噪时间步 ：维持均匀采样t k action ∼ U ( 0 , 1 ) t_k^{\text{action}} \sim \mathcal{U}(0, 1) t k action ∼ U ( 0 , 1 )
视频加噪时间步 ：通过 Beta 分布大幅偏向高噪声状态（即极低t t t
t k video = 1 − η , η ∼ Beta ( α , β ) , α = 7 , β = 1 ⟹ E [ t k video ] = 0.125 t_k^{\text{video}} = 1 - \eta, \quad \eta \sim \text{Beta}(\alpha, \beta), \quad \alpha = 7, \, \beta = 1 \implies \mathbb{E}[t_k^{\text{video}}] = 0.125 t k video = 1 − η , η ∼ Beta ( α , β ) , α = 7 , β = 1 ⟹ E [ t k video ] = 0.125
这强制模型学习“如何从极其杂乱、未完全去噪的视觉上下文条件中，一次性精确预测出干净可执行的控制动作 ”，成功将去噪步数从 16 步/4 步压缩至 1 步，且无动作质量损失。
系统与工程级极速推演管线 (Real-Time Control Pipeline)
为了消除 14B 参数 DiT 模型的 5.7 秒原生推演延迟，DreamZero 整合了全栈部署加速技术。
异步闭环控制框架 (Asynchronous Closed-Loop Execution)
将模型推理过程与机器人底层的运动控制解耦。底层控制器以 30Hz 频率持续平滑执行上一次生成的动作 Chunk（视界长度为 48 步，约 1.6 秒），而 DreamZero 运行在独立的后台 GPU 上。
只要模型单次推演延迟小于 200ms，即可保证在动作 Chunk 耗尽前平滑衔接下一个 Chunk，实现零卡顿实时控制。
全栈硬件加速级联逻辑
极速推理管线包含以下层层递进的工程优化技术：
CFG 双卡并行 (CFG Parallelism) ：Classifier-Free Guidance 需要无条件与有条件两次前向传播。将其分配至 2 张 GPU 上并行计算，延迟降低 47%。DiT 速度 Cache (DiT Caching) ：监控相邻流匹配步骤间预测速度矢量的余弦相似度，若相似度高于门限值则直接复用上一步速度，将去噪步数从 16 步等效降至 4 步。NVFP4 混合后量化 (Post-Training Quantization) ：在 Blackwell 架构上，将权重与激活转换为 NVFP4 格式，敏感算子（QKV、Softmax）保留在 FP8，非线性算子保留在 FP16。CUDA Graphs & cuDNN 内核 ：使用torch.compile 与静态 CUDA Graphs 消除 CPU-GPU 同步及开销，内核全部转移至 GPU 侧调度。单步去噪模型 (DreamZero-Flash) ：结合 Flash 解耦训练，在 150ms 延迟内完成单步流匹配计算。动作轨迹平滑 (Action Chunk Smoothing) ：对输出的动作 Chunk 进行 2 倍过采样，应用 Savitzky-Golay 滤波器消除高频噪点抖动，降采样后下发给电机执行（支持 7Hz 决策与 30Hz 控制）。
LingBot-VA 2.0：Native Video-Action Pretraining for Generalizable Robot Control
LingBot-VA 2.0 放弃了对通用非因果视频生成模型的简单二次微调，通过构建原生视动作 Tokenizer（Semantic Visual-Action Tokenizer）与 稀疏混合专家（Sparse MoE）DiT 骨干网络 ，在统一的语义潜在空间中实现了长视域高层 VLM 规划与低层闭环控制的端到端原生协同。
系统由语义视动作 Tokenizer 、分层 VLM 规划器 (Hierarchical Planner) 、MoE 视动作扩散骨干网络 、多块特征预测 (Multi-Chunk Prediction, MCP) 、上下文视频学习 (In-context Learning) 以及人机共训 (Human-Robot Co-training) 六大核心模块组成。
第一阶段：语义视动作 Tokenizer (Semantic Visual-Action Tokenizer)
不同于仅优化像素重构的离散 VAE，LingBot-VA 2.0 在第一阶段联合优化图像重构、语义特征对齐与无监督隐动作提取，输出对齐的视动作隐码对( z 0 : N , ℓ 0 : N − 1 ) (\mathbf{z}_{0:N}, \boldsymbol{\ell}_{0:N-1}) ( z 0 : N , ℓ 0 : N − 1 )
视觉 Token 化与感知语义对齐 (Visual Tokenization)
ViT 自编码器将首帧图像编码为16 × 16 16 \times 16 16 × 16 4 × 16 × 16 4 \times 16 \times 16 4 × 16 × 16 E \mathcal{E} E z = E ( o ) \mathbf{z} = \mathcal{E}(\mathbf{o}) z = E ( o ) L 1 L_1 L 1
L rec = λ 1 ∥ o − o ^ ∥ 1 + λ perc L perc ( o , o ^ ) + λ gan L gan ( o ^ ) \mathcal{L}_{\text{rec}} = \lambda_1 \Vert{}\mathbf{o} - \hat{\mathbf{o}}\Vert{}_1 + \lambda_{\text{perc}} \mathcal{L}_{\text{perc}}(\mathbf{o}, \hat{\mathbf{o}}) + \lambda_{\text{gan}} \mathcal{L}_{\text{gan}}(\hat{\mathbf{o}}) L rec = λ 1 ∥ o − o ^ ∥ 1 + λ perc L perc ( o , o ^ ) + λ gan L gan ( o ^ )
为了赋予隐码物理语义，引入冻结的视觉基础大模型G G G W align \mathbf{W}_{\text{align}} W align
L align = ∥ avg ( W align z ) − avg ( G ( o ) ) ∥ 2 2 \mathcal{L}_{\text{align}} = \left\Vert{} \text{avg}\left(\mathbf{W}_{\text{align}} \mathbf{z}\right) - \text{avg}\left(G(\mathbf{o})\right) \right\Vert{}_2^2 L align = ∥ avg ( W align z ) − avg ( G ( o ) ) ∥ 2 2
L vis = L rec + λ align L align \mathcal{L}_{\text{vis}} = \mathcal{L}_{\text{rec}} + \lambda_{\text{align}} \mathcal{L}_{\text{align}} L vis = L rec + λ align L align
隐动作 Token 化 (Latent Action Tokenization)
在冻结视觉 Tokenizer 后，无须依赖显式动作标签，通过逆动力学模型（IDM）q ϕ q_\phi q ϕ f ψ f_\psi f ψ ℓ t \boldsymbol{\ell}_t ℓ t d ℓ ≪ dim ( z t ) d_\ell \ll \text{dim}(\mathbf{z}_t) d ℓ ≪ dim ( z t )
ℓ t = q ϕ ( z t , z t + 1 ) \boldsymbol{\ell}_t = q_\phi(\mathbf{z}_t, \mathbf{z}_{t+1}) ℓ t = q ϕ ( z t , z t + 1 )
z ^ t + 1 = f ψ ( z t , ℓ t ) = K t z t + δ t \hat{\mathbf{z}}_{t+1} = f_\psi(\mathbf{z}_t, \boldsymbol{\ell}_t) = \mathbf{K}_t \mathbf{z}_t + \boldsymbol{\delta}_t z ^ t + 1 = f ψ ( z t , ℓ t ) = K t z t + δ t
K t \mathbf{K}_t K t δ t \boldsymbol{\delta}_t δ t 反向传输模型f ˉ ψ \bar{f}_\psi f ˉ ψ z ^ t = f ˉ ψ ( z t + 1 , ℓ t ) \hat{\mathbf{z}}_t = \bar{f}_\psi(\mathbf{z}_{t+1}, \boldsymbol{\ell}_t) z ^ t = f ˉ ψ ( z t + 1 , ℓ t ) L ℓ = ∑ t ( ∥ z ^ t + 1 − z t + 1 ∥ 2 2 + ∥ z ^ t − z t ∥ 2 2 ) \mathcal{L}_\ell = \sum_t \left( \Vert{}\hat{\mathbf{z}}_{t+1} - \mathbf{z}_{t+1}\Vert{}_2^2 + \Vert{}\hat{\mathbf{z}}_t - \mathbf{z}_t\Vert{}_2^2 \right) L ℓ = ∑ t ( ∥ z ^ t + 1 − z t + 1 ∥ 2 2 + ∥ z ^ t − z t ∥ 2 2 ) a t ≡ ℓ t \mathbf{a}_t \equiv \boldsymbol{\ell}_t a t ≡ ℓ t
第二阶段：分层 VLM 规划器 (Hierarchical VLM Planner)
针对长程操控任务，高层规划器由微调的 Vision-Language Model (VLM) 担当，运行于约 2Hz 的异步共享缓冲区中，解耦于低层闭环控制策略。
结构化输出与边界跨越采样 (Boundary-Crossing Sampling)
高层规划器接收图像帧序列与任务目标，输出包含done（子任务完成标记）、instruction（紧凑控制指令）、generation_instruction（动作执行细化描述）与local_scene_description（场景几何约束）的结构化 JSON。
训练采样采用边界跨越采样 策略：
子任务内部采样 (done = false) ：观察时间t ∗ t^* t ∗ 子任务边界跨越采样 (done = true) ：观察时间t ∗ t^* t ∗
第二阶段：低层 MoE 视动作扩散网络 (MoE Video-Action Policy)
低层策略基于双专家 Transformer（Mixture-of-Transformers, MoT）架构，包含视频专家v θ vid v_\theta^{\text{vid}} v θ vid v θ act v_\theta^{\text{act}} v θ act
稀疏混合专家视频流 (Sparse MoE Video Stream)
由于视觉动力学建模占据主要计算开销，视频专家采用 DeepSeekMoE 风格的稀疏 MoE 替代传统 FFN 层，动作专家保留密集层（Dense）。
对于隐层 Tokenh ∈ R d \mathbf{h} \in \mathbb{R}^d h ∈ R d k k k
r i ( h ) = σ ( g i ⊤ h ) , i ∈ { 1 , … , N e } r_i(\mathbf{h}) = \sigma(\mathbf{g}_i^\top \mathbf{h}), \quad i \in \{1, \dots, N_e\} r i ( h ) = σ ( g i ⊤ h ) , i ∈ { 1 , … , N e }
R ( h ) = TopK group ( r ( h ) + b , k ) \mathcal{R}(\mathbf{h}) = \text{TopK}_{\text{group}}\left(r(\mathbf{h}) + \mathbf{b}, \, k\right) R ( h ) = TopK group ( r ( h ) + b , k )
α i ( h ) = γ r i ( h ) ∑ j ∈ R ( h ) r j ( h ) \alpha_i(\mathbf{h}) = \frac{\gamma r_i(\mathbf{h})}{\sum_{j \in \mathcal{R}(\mathbf{h})} r_j(\mathbf{h})} α i ( h ) = ∑ j ∈ R ( h ) r j ( h ) γ r i ( h )
MoE ( h ) = E shared ( h ) + ∑ i ∈ R ( h ) α i ( h ) E i ( h ) \text{MoE}(\mathbf{h}) = \mathbf{E}_{\text{shared}}(\mathbf{h}) + \sum_{i \in \mathcal{R}(\mathbf{h})} \alpha_i(\mathbf{h}) \mathbf{E}_i(\mathbf{h}) MoE ( h ) = E shared ( h ) + i ∈ R ( h ) ∑ α i ( h ) E i ( h )
N e = 128 N_e = 128 N e = 128 k = 8 k = 8 k = 8 E shared \mathbf{E}_{\text{shared}} E shared 无损失负载均衡 (Loss-Free Balancing) ：根据每个优化步后专家分配到的 Token 计数c i c_i c i b i ← b i − η lb ( v i − 1 N e ∑ v j ) \mathbf{b}_i \leftarrow \mathbf{b}_i - \eta_{\text{lb}} (v_i - \frac{1}{N_e}\sum v_j) b i ← b i − η lb ( v i − N e 1 ∑ v j )
多块特征预测 (Multi-Chunk Prediction, MCP)
为了解决传统 Teacher Forcing 训练中策略“仅靠复制前帧局部外观即可降低 Loss”的短视（Myopic）问题，模型挂载K = 3 K=3 K = 3
L k MCP = E t , s , ϵ t k [ ∥ v θ , k MCP ( z t + k ( s ) , s | h t ( k − 1 ) ) − ( z t + k − ϵ t k ) ∥ 2 2 ] \mathcal{L}_k^{\text{MCP}} = \mathbb{E}_{t, s, \epsilon_t^k} \left[ \left\Vert{} v_{\theta, k}^{\text{MCP}}\left(\mathbf{z}_{t+k}(s), s \;\middle\vert{}\; \mathbf{h}_t^{(k-1)}\right) - (\mathbf{z}_{t+k} - \epsilon_t^k) \right\Vert{}_2^2 \right] L k MCP = E t , s , ϵ t k [ v θ , k MCP ( z t + k ( s ) , s h t ( k − 1 ) ) − ( z t + k − ϵ t k ) 2 2 ]
L MCP = 0.5 L 1 MCP + 0.2 L 2 MCP + 0.1 L 3 MCP \mathcal{L}_{\text{MCP}} = 0.5 \mathcal{L}_1^{\text{MCP}} + 0.2 \mathcal{L}_2^{\text{MCP}} + 0.1 \mathcal{L}_3^{\text{MCP}} L MCP = 0.5 L 1 MCP + 0.2 L 2 MCP + 0.1 L 3 MCP
部署时，MCP 模块可直接丢弃实现零开销推理，或保留用于并行生成未来 Chunk 降低推演延迟。
上下文视频学习与人机共训 (ICL & Human-Robot Co-training)
视频上下文学习 (In-context Learning, ICL)
将语义对齐的人类演示视频通过 Tokenizer 编码为上下文隐码z icl \mathbf{z}_{\text{icl}} z icl z icl \mathbf{z}_{\text{icl}} z icl
p θ ( z t + 1 ∣ z ≤ t , a < t , z icl ) , p θ ( a t ∣ z ≤ t , a < t , z t + 1 , z icl ) p_\theta(\mathbf{z}_{t+1} \mid \mathbf{z}_{\le t}, \mathbf{a}_{< t}, \mathbf{z}_{\text{icl}}), \quad p_\theta(\mathbf{a}_t \mid \mathbf{z}_{\le t}, \mathbf{a}_{< t}, \mathbf{z}_{t+1}, \mathbf{z}_{\text{icl}}) p θ ( z t + 1 ∣ z ≤ t , a < t , z icl ) , p θ ( a t ∣ z ≤ t , a < t , z t + 1 , z icl )
人机双域共享共训 (Human-Robot Co-training)
针对人类手部与机器人夹爪间的动作空间与运动学不匹配，通过正向运动学将人类手部 3D 指尖距离重定向为标量虚拟夹爪开合度ϕ ( q ) \phi(q) ϕ ( q ) A \mathcal{A} A
a H = Φ ( a ~ H ) ∈ A \mathbf{a}_H = \Phi(\tilde{\mathbf{a}}_H) \in \mathcal{A} a H = Φ ( a ~ H ) ∈ A
机器人数据集D R \mathcal{D}_R D R D H \mathcal{D}_H D H v vid v_{\text{vid}} v vid v act v_{\text{act}} v act E d E_d E d P d P_d P d d ∈ { R , H } d \in \{R, H\} d ∈ { R , H }
a ^ t ( d ) = P d ( v act ( z ≤ t , E d ( a < t ) , z ^ t + 1 ) ) \hat{\mathbf{a}}_t^{(d)} = P_d\left( v_{\text{act}}\left( \mathbf{z}_{\le t}, \, E_d(\mathbf{a}_{< t}), \, \hat{\mathbf{z}}_{t+1} \right) \right) a ^ t ( d ) = P d ( v act ( z ≤ t , E d ( a < t ) , z ^ t + 1 ) )
L co-train = E D R [ L vid + L act R ] + E D H [ L vid + L act H ] \mathcal{L}_{\text{co-train}} = \mathbb{E}_{\mathcal{D}_R}[\mathcal{L}_{\text{vid}} + \mathcal{L}_{\text{act}}^R] + \mathbb{E}_{\mathcal{D}_H}[\mathcal{L}_{\text{vid}} + \mathcal{L}_{\text{act}}^H] L co-train = E D R [ L vid + L act R ] + E D H [ L vid + L act H ]
部署时直接丢弃人类分支( E H , P H ) (E_H, P_H) ( E H , P H )
多任务联合预训练配方 (Multi-Task Training Recipe)
为防止逐步迁移训练导致早期视觉物理先验发生灾难性遗忘，系统采用全流程多任务联合共训，动态调整任务采样概率分布π ( τ ) \pi(\tau) π ( τ )
L ( τ ) = π T2I ( τ ) L T2I + π T2V ( τ ) L T2V + π TI2VA ( τ ) L TI2VA + π ICL ( τ ) L ICL + π HCT ( τ ) L HCT \mathcal{L}(\tau) = \pi_{\text{T2I}}(\tau) \mathcal{L}_{\text{T2I}} + \pi_{\text{T2V}}(\tau) \mathcal{L}_{\text{T2V}} + \pi_{\text{TI2VA}}(\tau) \mathcal{L}_{\text{TI2VA}} + \pi_{\text{ICL}}(\tau) \mathcal{L}_{\text{ICL}} + \pi_{\text{HCT}}(\tau) \mathcal{L}_{\text{HCT}} L ( τ ) = π T2I ( τ ) L T2I + π T2V ( τ ) L T2V + π TI2VA ( τ ) L TI2VA + π ICL ( τ ) L ICL + π HCT ( τ ) L HCT
早期阶段 (τ → 0 \tau \to 0 τ → 0 ：重点采样文本到图像（T2I），建立高保真视觉语义对齐。中期阶段 ：重点采样文本到视频（T2V），巩固通用时域运动物理先验。后期阶段 (τ → 1 \tau \to 1 τ → 1 ：集中采样文本-图像到视动作（TI2VA）、上下文视频学习（ICL）与人机共训（HCT），完成具体闭环控制技能的特化。
视界前瞻推理 (Foresight Reasoning)
传统串行推理/执行流（Serial Stream）具有自我阻塞性：模型必须等待上一动作完全执行且新的环境观察返回后，才能开始下一个 Chunk 的去噪推演，使得模型延迟直接转化为控制延迟。
Foresight Reasoning 将闭环 Rollout 解耦为快预测流 (Prediction Stream) 与慢执行流 (Execution Stream) 两个因果耦合的异步流。
异步预测与 FDM 隐空间预演
在机器人于真实世界中执行动作 Chunka t \mathbf{a}_t a t a t + 1 \mathbf{a}_{t+1} a t + 1
临时上下文组装 ：将当前正在执行的a t \mathbf{a}_t a t C t \mathcal{C}_t C t z ≤ t , a < t \mathbf{z}_{\le t}, \mathbf{a}_{< t} z ≤ t , a < t C tmp = C t ∪ { a t } \mathcal{C}_{\text{tmp}} = \mathcal{C}_t \cup \{\mathbf{a}_t\} C tmp = C t ∪ { a t } 策略内部 FDM 正向动力学预测 ：直接由策略网络自身的视频专家（非 Tokenizer 冻结的 FDM）在线运行正向动力学传导，想象当前动作下产生的视觉结果z ^ t + 1 \hat{\mathbf{z}}_{t+1} z ^ t + 1
z ^ t + 1 = FDM θ ( C t ∪ { a t } ) = v θ vid ( z ≤ t , a ≤ t ) \hat{\mathbf{z}}_{t+1} = \text{FDM}_\theta(\mathcal{C}_t \cup \{\mathbf{a}_t\}) = v_\theta^{\text{vid}}(\mathbf{z}_{\le t}, \mathbf{a}_{\le t}) z ^ t + 1 = FDM θ ( C t ∪ { a t }) = v θ vid ( z ≤ t , a ≤ t )
预先解码下一个动作 ：动作专家从C tmp ∪ { z ^ t + 1 } \mathcal{C}_{\text{tmp}} \cup \{\hat{\mathbf{z}}_{t+1}\} C tmp ∪ { z ^ t + 1 } a t + 1 \mathbf{a}_{t+1} a t + 1 a t \mathbf{a}_t a t a t + 1 \mathbf{a}_{t+1} a t + 1
真实观察强制重锚定 (Re-grounding) 与 FDM 训练损失
若预测流持续将自身生成的z ^ t + 1 \hat{\mathbf{z}}_{t+1} z ^ t + 1 每当真实的物理观察返回时，系统进行强制重锚定 ：
真实隐码覆盖 ：返回的真实图像被编码为真实隐码z t + 1 \mathbf{z}_{t+1} z t + 1 强行覆盖 掉 KV Cache 中预演的过期隐码z ^ t + 1 \hat{\mathbf{z}}_{t+1} z ^ t + 1 a t \mathbf{a}_t a t 重锚定缓存C t + 1 \mathcal{C}_{t+1} C t + 1 ：下一轮预测基于纠偏后的真实缓存C t + 1 \mathcal{C}_{t+1} C t + 1 预演-校正 (Predict-then-Correct) ”闭环。
在 Post-training 阶段，专门引入正向动力学接地损失 (FDM Grounding Loss) ，输入包含当前执行动作a ≤ t \mathbf{a}_{\le t} a ≤ t
L FDM = E t , s , ϵ [ ∥ v θ vid ( z t + 1 ( s ) , s | z ≤ t , a ≤ t ) − ( z t + 1 − ϵ ) ∥ 2 2 ] \mathcal{L}_{\text{FDM}} = \mathbb{E}_{t, s, \epsilon} \left[ \left\| v_\theta^{\text{vid}}\left( \mathbf{z}_{t+1}(s), s \;\middle|\; \mathbf{z}_{\le t}, \mathbf{a}_{\le t} \right) - (\mathbf{z}_{t+1} - \epsilon) \right\|_2^2 \right] L FDM = E t , s , ϵ [ v θ vid ( z t + 1 ( s ) , s ∣ z ≤ t , a ≤ t ) − ( z t + 1 − ϵ ) 2 2 ]
扩散一致性蒸馏 (Diffusion Consistency Distillation)
为了将采样步数从原始教师模型的 5 步（视频）与 10 步（动作）压缩至极低步数，模型被蒸馏为一致性模型 (Consistency Model) 。
一致性模型f ξ ( x ( s ) , s ) f_\xi(x(s), s) f ξ ( x ( s ) , s ) f ξ ( x ( s ) , s ) = f ξ ( x ( s ′ ) , s ′ ) f_\xi(x(s), s) = f_\xi(x(s'), s') f ξ ( x ( s ) , s ) = f ξ ( x ( s ′ ) , s ′ )
定义x ( s n ) = ( 1 − s n ) ϵ + s n x x(s_n) = (1 - s_n)\epsilon + s_n x x ( s n ) = ( 1 − s n ) ϵ + s n x v θ v_\theta v θ x ^ ( s n + 1 ) = x ( s n ) + ( s n + 1 − s n ) v θ ( x ( s n ) , s n ) \hat{x}(s_{n+1}) = x(s_n) + (s_{n+1} - s_n) v_\theta(x(s_n), s_n) x ^ ( s n + 1 ) = x ( s n ) + ( s n + 1 − s n ) v θ ( x ( s n ) , s n )
L CD = E x , ϵ , n [ d ( f ξ ( x ( s n ) , s n ) , f ξ − ( x ^ ( s n + 1 ) , s n + 1 ) ) ] \mathcal{L}_{\text{CD}} = \mathbb{E}_{x, \epsilon, n} \left[ d\left( f_\xi\left(x(s_n), s_n\right), \, f_{\xi^-}\left(\hat{x}(s_{n+1}), s_{n+1}\right) \right) \right] L CD = E x , ϵ , n [ d ( f ξ ( x ( s n ) , s n ) , f ξ − ( x ^ ( s n + 1 ) , s n + 1 ) ) ]
ξ − \xi^- ξ − 蒸馏后，视频专家与动作专家均降至2 步去噪采样 （每次生成仅需 2 次前向计算）。
全栈闭环推理部署加速 (Inference Acceleration)
全栈部署加速覆盖模型级、序列级与系统级三个维度：
模型级：低精度编译执行 (Model-Level TensorRT & FP8)
TensorRT 计算图编译 ：通过 ONNX 将 PyTorch 计算图转译为 TensorRT 引擎，融合兼容算子。KV Cache 显式定义为引擎的输入/输出张量。NVFP4/FP8 混合精度 ：使用 NVIDIA Model Optimizer 插入 FP8 量化节点。DiT Transformer Block 内部的线性层运行于 FP8 精度，首尾层及敏感算子保留 BF16。
序列级：长时域 Attention 优化 (Sequence-Level FlashInfer)
分页/不规整 KV Cache (Paged/Ragged KV Cache) ：基于滑动窗口预分配内存缓冲，按 Page 动态管理历史 Token，消除长时域自回归填充（Padding）与内存复制开销。FlashInfer 内核插件 ：替代通用 TensorRT Attention 子图，直接在 Paged KV Cache 上执行高效 Attention 计算。
系统级：运行时开销消除 (System-Level Amortization)
预先缓存 TensorRT 绑定与形状配置，预计算 Cross-Attention 状态，跳过重复的 Host 端准备，并彻底移除推理路径上的 CPU-GPU 显式同步点，实现真正的实时闭环控制。
Cosmos 3: Omnimodal World Models for Physical AI
Cosmos 3 是一种统一的全模态生成式世界模型（支持语言、视觉、音频与机器人动作），将动作（Action）提升为一等模态（First-Class Modality）。
系统利用独立模态编码器将异构输入投射至统一表征空间，结合双塔 Mixture-of-Transformers (MoT) 架构、物理时间对齐的 3D MRoPE 位置编码以及域感知动作投影（Domain-Aware Action Projections） ，在一套网络中同时支持高层语言推理、多模态视频/音频生成、正/逆动力学建模与闭环 Policy 决策。
统一异构模态编码器 (Modality-Specific Encoders)
系统通过特定的预训练或冻结编码器将多源异构模态转化为统一隐向量，并在输入 MoT 骨干网前叠加可学习的模态偏置向量（Modality-Specific Embedding）。
视觉双通道编码 (Image & Video)
理解通道 (Understanding Path) ：采用与视觉-语言对齐的 ViT 编码器（Patch 大小16 × 16 16 \times 16 16 × 16 2 × 2 2 \times 2 2 × 2 生成通道 (Generation Path) ：采用 Wan2.2-TI2V-5B 视频 VAE 编码器，实现时间维度 4 倍、空间维度32 × 32 32 \times 32 32 × 32 16 × 16 16 \times 16 16 × 16 2 × 2 2 \times 2 2 × 2 全程冻结 。
物理音频编码 (Audio)
使用冻结的音频 VAE，将 48kHz 立体声原始波形以 1920 个 Sampling Hop 编码，生成每秒 25 个 Token 的音频隐表征，线性投影后送入 MoT。
统一动作表征与域感知 Token 化 (Unified Action Vector & Domain Projections)
为了屏蔽底层 PID 参数或硬件驱动差异，动作被抽象为“诱发世界状态改变的伪动作（Pseudo-Actions）”。
几何姿态与夹爪状态分解
给定连续时刻的 SE(3) 姿态T t − 1 \mathbf{T}_{t-1} T t − 1 T t \mathbf{T}_t T t Δ T t = T t − 1 − 1 T t \Delta \mathbf{T}_t = \mathbf{T}_{t-1}^{-1} \mathbf{T}_t Δ T t = T t − 1 − 1 T t
动作向量在结构上解耦为三部分：
主观察帧位姿变化 (Ego Poses) ：自动驾驶车辆/相机/头部摄像头的相对位姿变化Δ T t ego \Delta \mathbf{T}_t^{\text{ego}} Δ T t ego 末端执行器位姿变化 (Effector Poses) ：机器人末端法兰或人类手腕的相对位姿变化Δ T t eff \Delta \mathbf{T}_t^{\text{eff}} Δ T t eff 抓握状态 (Grasp States) ：直接编码当前时刻t t t （而非时间差分）。机器人采用连续夹爪开合度值，人类手部采用手腕坐标系下的指尖 3D 坐标。
域感知投影 (Domain-Aware Input/Output Projections)
针对不同具身领域k ∈ { 1 , … , K } k \in \{1, \dots, K\} k ∈ { 1 , … , K } d model d_{\text{model}} d model
z = W in ( k ) x + b in ( k ) , x ∈ R d in ( k ) , z ∈ R d model \mathbf{z} = \mathbf{W}_{\text{in}}^{(k)} \mathbf{x} + \mathbf{b}_{\text{in}}^{(k)}, \quad \mathbf{x} \in \mathbb{R}^{d_{\text{in}}^{(k)}}, \quad \mathbf{z} \in \mathbb{R}^{d_{\text{model}}} z = W in ( k ) x + b in ( k ) , x ∈ R d in ( k ) , z ∈ R d model
x ^ = W out ( k ) z + b out ( k ) \hat{\mathbf{x}} = \mathbf{W}_{\text{out}}^{(k)} \mathbf{z} + \mathbf{b}_{\text{out}}^{(k)} x ^ = W out ( k ) z + b out ( k )
预测出的 6D 旋转通过 SVD 奇异值分解还原为3 × 3 3 \times 3 3 × 3
Token 排列与生成模式 (Token Arrangement & Generation Modes)
打包后的 Token 序列分为两个连续子序列：自回归 (Autoregressive, AR) 子序列 与扩散 (Diffusion, DM) 子序列 。
序列打包格式 (Token Arrangement)
AR 子序列在前 ：包含文本 Token 及 ViT 编码的图像/视频理解 Token，路由至 Reasoner 塔，末尾由<EOS> 与<BOG>（Begin-of-Generation）特殊 Token 标识。DM 子序列在后 ：包含 VAE 编码的视觉、音频与动作 Token。干净条件 Token 摆放在带噪目标 Token 之前。内部按Vision→ \to → → \to → 的模态顺序排列。
多范式动作生成模式 (Action Modes)
通过控制 DM 子序列中 Vision Tokenv \mathbf{v} v a \mathbf{a} a v ~ \tilde{\mathbf{v}} v ~ a ~ \tilde{\mathbf{a}} a ~
正向动力学 (Forward Dynamics) ：根据干净动作预测未来视觉隐状态。
S FWD = [ S AR , v 1 : t − 1 , a 1 : t , v ~ t : N ] \mathbf{S}_{\text{FWD}} = \left[ \mathbf{S}_{\text{AR}}, \, \mathbf{v}_{1:t-1}, \, \mathbf{a}_{1:t}, \, \tilde{\mathbf{v}}_{t:N} \right] S FWD = [ S AR , v 1 : t − 1 , a 1 : t , v ~ t : N ]
逆动力学 (Inverse Dynamics) ：根据已观测到的连续视觉演化反推解释动作。
S INV = [ S AR , v 1 : N , a ~ 1 : N ] \mathbf{S}_{\text{INV}} = \left[ \mathbf{S}_{\text{AR}}, \, \mathbf{v}_{1:N}, \, \tilde{\mathbf{a}}_{1:N} \right] S INV = [ S AR , v 1 : N , a ~ 1 : N ]
联合视动作 Policy 模式 (Policy Mode) ：同时去噪预测未来动作与对应产生的视觉演化。
S Policy = [ S AR , v 1 : t − 1 , v ~ t : N , a ~ t : N ] \mathbf{S}_{\text{Policy}} = \left[ \mathbf{S}_{\text{AR}}, \, \mathbf{v}_{1:t-1}, \, \tilde{\mathbf{v}}_{t:N}, \, \tilde{\mathbf{a}}_{t:N} \right] S Policy = [ S AR , v 1 : t − 1 , v ~ t : N , a ~ t : N ]
在 Decoder 层级别，Cosmos 3 包含两套独立的参数塔：推理塔 (Reasoner Tower) 与生成塔 (Generator Tower) ，均初始化自预训练 VLM，但在 Self-Attention 层面进行双流联合注意力 (Dual-Stream Joint Attention) 交互。
独立参数路由 (Dual-Tower Parameter Routing)
AR 子序列路由至 Reasoner 塔（包含专属 LayerNorm、QKV 投影与 FFN），负责文本生成与高层语义理解；DM 子序列路由至 Generator 塔，负责流匹配去噪生成。
双流联合注意力机制 (Dual-Stream Joint Attention)
定义 AR 与 DM 子序列的 Query、Key、Value 为Q AR , K AR , V AR \mathbf{Q}_{\text{AR}}, \mathbf{K}_{\text{AR}}, \mathbf{V}_{\text{AR}} Q AR , K AR , V AR Q DM , K DM , V DM \mathbf{Q}_{\text{DM}}, \mathbf{K}_{\text{DM}}, \mathbf{V}_{\text{DM}} Q DM , K DM , V DM
AR 子序列因果注意力 ：仅在 AR 内部执行因果 Self-Attention，保证文本生成能力不被干扰：
O AR = Attn causal ( Q AR , K AR , V AR ) \mathbf{O}_{\text{AR}} = \text{Attn}_{\text{causal}}\left( \mathbf{Q}_{\text{AR}}, \, \mathbf{K}_{\text{AR}}, \, \mathbf{V}_{\text{AR}} \right) O AR = Attn causal ( Q AR , K AR , V AR )
DM 子序列全向联合注意力 ：DM Tokens 执行全双向 Attention，将 AR 的 Key/Value 与 DM 的 Key/Value 拼接作为条件参照：
O DM = Attn full ( Q DM , [ K AR ; K DM ] , [ V AR ; V DM ] ) \mathbf{O}_{\text{DM}} = \text{Attn}_{\text{full}}\left( \mathbf{Q}_{\text{DM}}, \, [\mathbf{K}_{\text{AR}} ; \mathbf{K}_{\text{DM}}], \, [\mathbf{V}_{\text{AR}} ; \mathbf{V}_{\text{DM}}] \right) O DM = Attn full ( Q DM , [ K AR ; K DM ] , [ V AR ; V DM ] )
因果单向隔离 ：DM 信息严禁反向传导 至 AR 塔（即 AR 的 Output 运算完全不依赖 DM 节点），确保条件控制链的因果完整性。
物理时间对齐的 3D 多模态旋转位置编码 (3D MRoPE & Temporal Modulation)
为了解决视频（如 24/60 FPS）、音频（25 TPS）与动作（如 20/50Hz）在采样率不一致时产生的时域错位问题，扩展了 3D MRoPE 编码，建立统一的物理时间轴。
坐标分配与 AR/DM 模态时间间隔 (Margin Gap)
每个 Token 分配三维坐标( t , h , w ) (t, h, w) ( t , h , w )
文本 Token ：t = h = w t = h = w t = h = w 视觉 Token ：t t t ( h , w ) (h, w) ( h , w ) 音频/动作 Token ：仅带有时间坐标t t t h = w = 0 h = w = 0 h = w = 0
为了消除首帧视频 Token 与末尾文本 Token 离散索引相邻产生的重叠伪影（Checkerboard Artifacts），在 AR 子序列与 DM 子序列之间强制插入固定时间缓冲间隔：
Δ t gap = 15000 \Delta t_{\text{gap}} = 15000 Δ t gap = 15000
所有 DM Tokens 的时间坐标t t t Δ t gap \Delta t_{\text{gap}} Δ t gap
帧率调制与物理时间对齐 (Absolute Temporal Modulation)
定义物理时间步分辨率 TPS（Temporal Steps per Second）。视频的TPS video = FPS / 4 \text{TPS}_{\text{video}} = \text{FPS} / 4 TPS video = FPS /4 TPS audio = 48000 / 1920 ≈ 25 \text{TPS}_{\text{audio}} = 48000 / 1920 \approx 25 TPS audio = 48000/1920 ≈ 25 TPS action \text{TPS}_{\text{action}} TPS action
设置基准物理分辨率TPS base = 24 / 4 = 6 \text{TPS}_{\text{base}} = 24 / 4 = 6 TPS base = 24/4 = 6 δ t \delta t δ t
δ t = TPS base TPS \delta t = \frac{\text{TPS}_{\text{base}}}{\text{TPS}} δ t = TPS TPS base
这确保了不同采样频率的模态在绝对物理时间轴上实现真正的尺度对齐。
视频 WM + 耦合式 Actor (GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation)
GE-Act 2.0 是一种面向具身智能（Embodied AI）的世界动作模型（World-Action Model, WAM），旨在解决传统模型高度依赖预训练非因果视频生成基座所带来的隐空间 Token 冗余 、视觉重构与控制任务失配 以及多步扩散生成无法高效回传动作梯度 等根本痛点。
系统打破了“二次微调已有视频扩散大模型”的常规路径，除了 control-oriented 图像自编码器（CoAE）外，从头（From Scratch）随机初始化训练 单步视觉规划器（Single-Step Visual Planner, SVP）与逆动力学模型（Inverse Dynamics Model, IDM），并通过知识对齐选择性优化 (KASO) 解决了端到端联合训练中的“有效性鸿沟 (Validity Gap)”问题。
整个系统由CoAE 极度压缩控制隐空间 、SVP 单步 MeanFlow 视觉规划器 、IDM 逆动力学模型 以及KASO 端到端对齐机制 四大核心部分构成。
模块一：面向控制的极度压缩自编码器 (CoAE)
传统视频自编码器（如 Wan2.2）通常仅在空间轴上下采样 8× 或 16×，产生庞大的 Token 数量，给闭环控制带来极大的推理负担。CoAE 实现了64× 空间下采样 （将256 × 384 256 \times 384 256 × 384 4 × 6 = 24 4 \times 6 = 24 4 × 6 = 24
多 Teacher 语义与密集特征对齐
定义单帧图像为o \mathbf{o} o z = E ( o ) ∈ R 24 × 512 \mathbf{z} = \mathcal{E}(\mathbf{o}) \in \mathbb{R}^{24 \times 512} z = E ( o ) ∈ R 24 × 512 o ^ = D ( z ) \hat{\mathbf{o}} = \mathcal{D}(\mathbf{z}) o ^ = D ( z )
L rec = ∥ o ^ − o ∥ 2 2 + λ perc L perc ( o ^ , o ) + λ gan L gan ( o ^ ) \mathcal{L}_{\text{rec}} = \|\hat{\mathbf{o}} - \mathbf{o}\|_2^2 + \lambda_{\text{perc}} \mathcal{L}_{\text{perc}}(\hat{\mathbf{o}}, \mathbf{o}) + \lambda_{\text{gan}} \mathcal{L}_{\text{gan}}(\hat{\mathbf{o}}) L rec = ∥ o ^ − o ∥ 2 2 + λ perc L perc ( o ^ , o ) + λ gan L gan ( o ^ )
为了弥补超高压缩率带来的语义损失，CoAE 引入三个冻结的视觉 Teacher 模型（SigLIP 2、V-JEPA 2.1 与 DINOv3），通过三个独立的对齐头g k g_k g k
L align = ∑ k = 1 3 λ k ( 1 − cos ( g k ( z ) , G k ( o ) ) ) \mathcal{L}_{\text{align}} = \sum_{k=1}^3 \lambda_k \left( 1 - \cos\left(g_k(\mathbf{z}), \, G_k(\mathbf{o})\right) \right) L align = k = 1 ∑ 3 λ k ( 1 − cos ( g k ( z ) , G k ( o ) ) )
L CoAE = L rec + L align \mathcal{L}_{\text{CoAE}} = \mathcal{L}_{\text{rec}} + \mathcal{L}_{\text{align}} L CoAE = L rec + L align
Teacher 协同机制 ：SigLIP 2 提供语言对齐语义；V-JEPA 2.1 提供时空结构；DINOv3 提供密集的局部视觉细节。这使得每帧仅 24 个 Token 的 CoAE 在逆动力学动作恢复测试中达到接近 16× 下采样模型（如 DINOv3）的精度，且指令 Grounding 准确率高出 24%。
模块二：单步 MeanFlow 视觉规划器 (SVP as a World-Action Interface)
SVP 是 GE-Act 2.0 的生成式世界模型，结合了多模态理解模块与单步条件流生成器（Flow Generator）。
场景 Grounded 多模态理解 (Multimodal Understanding)
SVP 引入冻结的 Qwen3.5 VLM 处理主视角观察o head \mathbf{o}_{\text{head}} o head c c c h ℓ [ T ] \mathbf{h}_\ell[\mathcal{T}] h ℓ [ T ] α ℓ \alpha_\ell α ℓ c vlm \mathbf{c}_{\text{vlm}} c vlm
α ℓ = softmax ℓ ( g ( Pool ( h ℓ [ T ] ) ) ) , c vlm = LayerNorm ( ∑ ℓ = 0 L α ℓ h ℓ [ T ] ) \alpha_\ell = \text{softmax}_\ell\left( g\left( \text{Pool}(\mathbf{h}_\ell[\mathcal{T}]) \right) \right), \quad \mathbf{c}_{\text{vlm}} = \text{LayerNorm}\left( \sum_{\ell=0}^L \alpha_\ell \mathbf{h}_\ell[\mathcal{T}] \right) α ℓ = softmax ℓ ( g ( Pool ( h ℓ [ T ]) ) ) , c vlm = LayerNorm ( ℓ = 0 ∑ L α ℓ h ℓ [ T ] )
生成式 DiT 骨干网中的所有 Block 均 Cross-Attend 到c vlm \mathbf{c}_{\text{vlm}} c vlm
多尺度视觉预测 (Multi-Scale Visual Prediction)
为了兼顾微观控制与宏观任务意图，SVP 沿时间轴预测双尺度帧序列：
F = { f 0 } ∪ { f 0 + j H N d } j = 1 N d ⏟ 密集帧：用于近程控制 ∪ { f 0 + H + ⌊ k T − H N s ⌉ } k = 1 N s ⏟ 稀疏帧：用于远期意图 \mathcal{F} = \{\mathbf{f}_0\} \cup \underbrace{\left\{ \mathbf{f}_{0 + j \frac{H}{N_d}} \right\}_{j=1}^{N_d}}_{\text{密集帧：用于近程控制}} \cup \underbrace{\left\{ \mathbf{f}_{0 + H + \lfloor k \frac{T - H}{N_s} \rceil} \right\}_{k=1}^{N_s}}_{\text{稀疏帧：用于远期意图}} F = { f 0 } ∪ 密集帧：用于近程控制 { f 0 + j N d H } j = 1 N d ∪ 稀疏帧：用于远期意图 { f 0 + H + ⌊ k N s T − H ⌉ } k = 1 N s
N d N_d N d H H H N d N_d N d N s N_s N s [ H , T ] [H, T] [ H , T ] N s N_s N s
单步 Conditional MeanFlow 算法 (One-Step MeanFlow)
SVP 将 Conditional 生成建模为单步 MeanFlow 问题，定义加噪轨迹z t = ( 1 − t ) z + t ϵ \mathbf{z}_t = (1-t)\mathbf{z} + t\boldsymbol{\epsilon} z t = ( 1 − t ) z + t ϵ ϵ ∼ N ( 0 , I ) \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) ϵ ∼ N ( 0 , I ) v c = ϵ − z \mathbf{v}_c = \boldsymbol{\epsilon} - \mathbf{z} v c = ϵ − z
在平均速度恒等式基础上，网络通过共享 Trunk 输出平均速度头u θ \mathbf{u}_\theta u θ v θ \mathbf{v}_\theta v θ V θ \mathbf{V}_\theta V θ
V θ = u θ + ( t − r ) sg [ d u θ d t ] , d u θ d t = m ⊙ v θ ( z t , t ) ⋅ ∂ u θ ∂ z t + ∂ u θ ∂ t \mathbf{V}_\theta = \mathbf{u}_\theta + (t - r) \text{sg}\left[ \frac{d\mathbf{u}_\theta}{dt} \right], \quad \frac{d\mathbf{u}_\theta}{dt} = \mathbf{m} \odot \mathbf{v}_\theta(\mathbf{z}_t, t) \cdot \frac{\partial \mathbf{u}_\theta}{\partial \mathbf{z}_t} + \frac{\partial \mathbf{u}_\theta}{\partial t} V θ = u θ + ( t − r ) sg [ d t d u θ ] , d t d u θ = m ⊙ v θ ( z t , t ) ⋅ ∂ z t ∂ u θ + ∂ t ∂ u θ
设置条件帧掩蔽m i = 0 \mathbf{m}_i = 0 m i = 0 m i = 1 \mathbf{m}_i = 1 m i = 1
L u = ∥ m ⊙ ( V θ − v c ) ∥ 2 2 , L v = ∥ m ⊙ ( v θ − v c ) ∥ 2 2 , L SVP = L u + L v \mathcal{L}_u = \|\mathbf{m} \odot (\mathbf{V}_\theta - \mathbf{v}_c)\|_2^2, \quad \mathcal{L}_v = \|\mathbf{m} \odot (\mathbf{v}_\theta - \mathbf{v}_c)\|_2^2, \quad \mathcal{L}_{\text{SVP}} = \mathcal{L}_u + \mathcal{L}_v L u = ∥ m ⊙ ( V θ − v c ) ∥ 2 2 , L v = ∥ m ⊙ ( v θ − v c ) ∥ 2 2 , L SVP = L u + L v
推理时设置( r , t ) = ( 0 , 1 ) (r, t) = (0, 1) ( r , t ) = ( 0 , 1 ) 仅需 1 次前向传导 即可完美去噪生成未来多视角隐状态：
z ^ ( i ) = z 1 ( i ) − m i u θ ( i ) ( z 1 , r = 0 , t = 1 ) \hat{\mathbf{z}}^{(i)} = \mathbf{z}_1^{(i)} - \mathbf{m}_i \mathbf{u}_\theta^{(i)}(\mathbf{z}_1, r=0, t=1) z ^ ( i ) = z 1 ( i ) − m i u θ ( i ) ( z 1 , r = 0 , t = 1 )
模块三：逆动力学模型 (IDM) 与流匹配控制
IDM 接收 CoAE 编码的当前观察隐状态o \mathbf{o} o s \mathbf{s} s z \mathbf{z} z
IDM 的速度头v ϕ \mathbf{v}_\phi v ϕ t t t
ℓ FM ( a , o , s , z ) = E t , ε ∥ v ϕ ( a t , t , o , s , z ) − ( ε − a ) ∥ 2 2 \ell_{\text{FM}}(\mathbf{a}, \mathbf{o}, \mathbf{s}, \mathbf{z}) = \mathbb{E}_{t, \boldsymbol{\varepsilon}} \left\| \mathbf{v}_\phi(\mathbf{a}_t, t, \mathbf{o}, \mathbf{s}, \mathbf{z}) - (\boldsymbol{\varepsilon} - \mathbf{a}) \right\|_2^2 ℓ FM ( a , o , s , z ) = E t , ε ∥ v ϕ ( a t , t , o , s , z ) − ( ε − a ) ∥ 2 2
模块四：端到端世界-动作对齐与 KASO 机制
在将解耦预训练好的 SVP 与 IDM 进行端到端联合微调（Co-training）时，由于机器人操控具备高度的多模态性（相同观察与指令下，可能有多种不同的动作路径模式），直接将随机采样的生成视觉z ^ \hat{\mathbf{z}} z ^ a \mathbf{a} a 有效性鸿沟 (Validity Gap) 。
这种错位会导致 IDM 的动作预测坍缩为均值（如预测出的动作概率密度退化）。
4.1 知识对齐选择性优化 (Knowledge-Aligned Selective Optimization, KASO)
KASO 引入了一种在线 Top-k k k
无梯度并行采样 ：对于给定的上下文，SVP 在无梯度模式下随机采样N N N { z ^ n } n = 1 N \{\hat{\mathbf{z}}_n\}_{n=1}^N { z ^ n } n = 1 N 高噪声探针打分 (High-Noise Probing) ：在 IDM 的动作流时间t p t_p t p t p → 1 t_p \to 1 t p → 1 a ~ = t p ϵ + ( 1 − t p ) a \tilde{\mathbf{a}} = t_p \boldsymbol{\epsilon} + (1 - t_p)\mathbf{a} a ~ = t p ϵ + ( 1 − t p ) a z ^ n \hat{\mathbf{z}}_n z ^ n z \mathbf{z} z E n E_n E n
E n = 1 ∣ D ∣ ∑ i ∈ D ∥ v ϕ , i ( a ~ , t p , o , s , z ^ n ) − v ϕ , i ( a ~ , t p , o , s , z ) ∥ 2 2 E_n = \frac{1}{|\mathcal{D}|} \sum_{i \in \mathcal{D}} \left\| \mathbf{v}_{\phi, i}(\tilde{\mathbf{a}}, t_p, \mathbf{o}, \mathbf{s}, \hat{\mathbf{z}}_n) - \mathbf{v}_{\phi, i}(\tilde{\mathbf{a}}, t_p, \mathbf{o}, \mathbf{s}, \mathbf{z}) \right\|_2^2 E n = ∣ D ∣ 1 i ∈ D ∑ ∥ v ϕ , i ( a ~ , t p , o , s , z ^ n ) − v ϕ , i ( a ~ , t p , o , s , z ) ∥ 2 2
高噪声探针原理 ：在低噪声下a ~ ≈ a \tilde{\mathbf{a}} \approx \mathbf{a} a ~ ≈ a a ~ \tilde{\mathbf{a}} a ~ z ^ n \hat{\mathbf{z}}_n z ^ n E n E_n E n
Top-k k k ：选取能量最低的前k k k S k \mathcal{S}_k S k k = 1 k=1 k = 1
L E2E sel = 1 k ∑ n ∈ S k ℓ FM ( a , o , s , z ^ n ) \mathcal{L}_{\text{E2E}}^{\text{sel}} = \frac{1}{k} \sum_{n \in \mathcal{S}_k} \ell_{\text{FM}}(\mathbf{a}, \mathbf{o}, \mathbf{s}, \hat{\mathbf{z}}_n) L E2E sel = k 1 n ∈ S k ∑ ℓ FM ( a , o , s , z ^ n )
L KASO = L E2E sel + L SVP + L IDM \mathcal{L}_{\text{KASO}} = \mathcal{L}_{\text{E2E}}^{\text{sel}} + \mathcal{L}_{\text{SVP}} + \mathcal{L}_{\text{IDM}} L KASO = L E2E sel + L SVP + L IDM
保留的L SVP \mathcal{L}_{\text{SVP}} L SVP L IDM \mathcal{L}_{\text{IDM}} L IDM L E2E sel \mathcal{L}_{\text{E2E}}^{\text{sel}} L E2E sel
独立 WM + VLA，想象式策略改进 (RISE: Self-Improving Robot Policy with Compositional World Model)
RISE 旨在解决机器人强化学习（RL）在物理世界中由于高昂的采集成本、安全风险以及离线策略优化易导致卡塔斯特罗菲忘却（Catastrophic Forgetting）与分布外（OOD）过度探索等核心难题。
系统构建了一个解耦的组合式世界模型（Compositional World Model）——将可控时域动力学预测器 (Dynamics Model) 与 多视角进度-TD 价值估计器 (Value Model) 解耦，配合基于优势条件（Advantage-Conditioning）的策略预热与潜在“想象”空间自我进化闭环（Self-Improving Loop），使 VLA 策略网络能在纯虚拟的想象轨迹中通过试错（Trial-and-Error）完成无毒害、高吞吐的 RL 自优升阶，实测测试时零推理额外开销。
整个系统由组合式世界模型架构、真实经验策略预热 以及 潜在想象自进化闭环 三大核心部分构成。
系统核心一：组合式世界模型 (Compositional World Model)
RISE 摒弃了将未来视频生成与标量奖励预测绑在单一网络中的做法，而是将其解耦为两个独立架构进行极致优化。
系统前向数据流逻辑如下：
初始多视角观察O t O_t O t a t \mathbf{a}_t a t D \mathcal{D} D { o ^ t + 1 , … , o ^ t + H } \{\hat{o}_{t+1}, \dots, \hat{o}_{t+H}\} { o ^ t + 1 , … , o ^ t + H }
生成的想象图像序列与任务指令ℓ \ell ℓ V \mathcal{V} V V ( o ^ t + k , ℓ ) \mathcal{V}(\hat{o}_{t+k}, \ell) V ( o ^ t + k , ℓ )
结合初始观察 Value 与未来各帧 Value，导出标量优势值A ( o t , a t , ℓ ) A(o_t, \mathbf{a}_t, \ell) A ( o t , a t , ℓ )
可控动力学预测器 (Controllable Dynamics ModelD \mathcal{D} D
架构与吞吐优势 ：初始化自预训练的 Genie Envisioner（基于 LTX-Video 的 GE-Base 变体）。相比于 Cosmos 模型生成 25 帧多视角图像需 10 分钟以上的昂贵开销，GE-Base 仅需小于 2 秒，提供了 300 倍级别的推理加速，消除了 RL 闭环模拟的吞吐瓶颈。动作编码与抗噪注入 ：挂载轻量级动作编码器接收候选动作 Chunka t = [ a t , a t + 1 , … , a t + H − 1 ] ∈ A H \mathbf{a}_t = [a_t, a_{t+1}, \dots, a_{t+H-1}] \in \mathcal{A}^H a t = [ a t , a t + 1 , … , a t + H − 1 ] ∈ A H 任务中心批处理 (Task-Centric Batching) ：在海量跨域数据集（Agibot World、Galaxea）上微调时，每个 Batch 仅从极少数 Task 中采样，但覆盖该 Task 下匹配不同动作的丰富样本。优先保证同一场景下的动作多样性而非场景多样性，大幅提升了动作控制的忠实度。
多视角进度-TD 价值模型 (Progress-TD Value ModelV \mathcal{V} V
价值模型V ( o ^ t , ℓ ) \mathcal{V}(\hat{o}_t, \ell) V ( o ^ t , ℓ ) π 0.5 \pi_{0.5} π 0.5
价值模型在两阶段损失下训练：
时域进度预热损失 (Progress Loss) ：拟合单 Episode 内的单调时间进度（t / T t/T t / T
L prog = E ( o t , ℓ ) ∼ D exp [ ( V ( o t , ℓ ) − t T ) 2 ] \mathcal{L}_{\text{prog}} = \mathbb{E}_{(o_t, \ell) \sim \mathcal{D}_{\text{exp}}} \left[ \left( \mathcal{V}(o_t, \ell) - \frac{t}{T} \right)^2 \right] L prog = E ( o t , ℓ ) ∼ D exp [ ( V ( o t , ℓ ) − T t ) 2 ]
Temporal-Difference 差分损失 (TD Loss) ：借助成功与失败轨迹，在接触密集型任务中增强对微小故障的敏感度（成功末帧r t = + 1 r_t=+1 r t = + 1 r t = − 1 r_t=-1 r t = − 1 r t = 0 r_t=0 r t = 0
L TD = E ( o t , ℓ , o t + 1 ) ∼ D [ ( V ( o t , ℓ ) − y t ) 2 ] , y t = r t + γ V ( o t + 1 , ℓ ) \mathcal{L}_{\text{TD}} = \mathbb{E}_{(o_t, \ell, o_{t+1}) \sim \mathcal{D}} \left[ \left( \mathcal{V}(o_t, \ell) - y_t \right)^2 \right], \quad y_t = r_t + \gamma \mathcal{V}(o_{t+1}, \ell) L TD = E ( o t , ℓ , o t + 1 ) ∼ D [ ( V ( o t , ℓ ) − y t ) 2 ] , y t = r t + γ V ( o t + 1 , ℓ )
L V = L prog + L TD \mathcal{L}_{\mathcal{V}} = \mathcal{L}_{\text{prog}} + \mathcal{L}_{\text{TD}} L V = L prog + L TD
动作 Chunka t \mathbf{a}_t a t H H H { o ^ t + 1 , … , o ^ t + H } \{\hat{o}_{t+1}, \dots, \hat{o}_{t+H}\} { o ^ t + 1 , … , o ^ t + H }
A ( o t , a t , ℓ ) = ( 1 H ∑ k = 1 H V ( o ^ t + k , ℓ ) ) − V ( o t , ℓ ) A(o_t, \mathbf{a}_t, \ell) = \left( \frac{1}{H} \sum_{k=1}^H \mathcal{V}(\hat{o}_{t+k}, \ell) \right) - \mathcal{V}(o_t, \ell) A ( o t , a t , ℓ ) = ( H 1 k = 1 ∑ H V ( o ^ t + k , ℓ ) ) − V ( o t , ℓ )
系统核心二：真实经验优势预热 (Policy Warm-up on Real Experience)
在开始闭环 RL 自进化前，VLA 策略（如π 0.5 \pi_{0.5} π 0.5
差异化优势标注策略
离线 Rollout 数据 ：利用已训练好的价值模型V \mathcal{V} V A A A 专家演示与人类干预数据 ：强制标注最优优势指示符1 \mathbb{1} 1
经此阶段预热后，策略具备了通过输入不同优势 Condition 来显式控制动作意图（积极/保守）的能力：
π ( 1 , o t , ℓ ) → a optimal \pi(\mathbb{1}, o_t, \ell) \to \mathbf{a}_{\text{optimal}} π ( 1 , o t , ℓ ) → a optimal
系统核心三：基于世界模型的潜在自我进化闭环 (Self-Improving Loop)
策略强化学习过程在“想象空间”中循环交替执行 Rollout 阶段 与 Training 阶段：
采样阶段 (Rollout Stage)
从离线预热数据集中采样真实初始观察o t o_t o t
给 Rollout 策略π rollout \pi_{\text{rollout}} π rollout 1 \mathbb{1} 1
a ^ t = π rollout ( 1 , o t , ℓ ) \hat{\mathbf{a}}_t = \pi_{\text{rollout}}(\mathbb{1}, o_t, \ell) a ^ t = π rollout ( 1 , o t , ℓ )
动力学模型D \mathcal{D} D a ^ t \hat{\mathbf{a}}_t a ^ t H H H { o ^ t + 1 , … , o ^ t + H } \{\hat{o}_{t+1}, \dots, \hat{o}_{t+H}\} { o ^ t + 1 , … , o ^ t + H }
价值模型V \mathcal{V} V A π rollout ( o t , a ^ t , ℓ ) A_{\pi_{\text{rollout}}}(o_t, \hat{\mathbf{a}}_t, \ell) A π rollout ( o t , a ^ t , ℓ ) N N N
多步连续推演与防漂移 ：想象出的状态可以作为下一轮 Rollout 的输入继续下发，但连续推演最大深度限制为 2 次（以遏制视频生成大模型的复合误差漂移）。Rollout 策略通过行为策略参数的指数移动平均（EMA）进行动态更新。
训练阶段 (Training Stage)
将 Rollout 收集的在线三元组样本⟨ o , a ^ , A ⟩ \langle o, \hat{\mathbf{a}}, A \rangle ⟨ o , a ^ , A ⟩ π \pi π
策略接收实际评估出的优势A A A a ^ \hat{\mathbf{a}} a ^
π ( A π rollout ( o , a ^ t , ℓ ) , o t , ℓ ) → a ^ \pi\left( A_{\pi_{\text{rollout}}}(o, \hat{\mathbf{a}}_t, \ell), \, o_t, \, \ell \right) \to \hat{\mathbf{a}} π ( A π rollout ( o , a ^ t , ℓ ) , o t , ℓ ) → a ^
闭环演化价值 ：策略网络不仅从具有高优势的成功想象中强化良好动作，也从低优势的失败试错中学会了“在何种优势 Condition 下避开错误动作”，实现了高效率、零真实碰撞风险的策略自进化。部署时仅需注入1 \mathbb{1} 1
独立 VLA + 动作条件视频 WM，支持连续闭环交互 (Ctrl-World: A Controllable Generative World Model for Robot Manipulation)
Ctrl-World 是一种面向通用视觉-动作-语言（VLA）策略闭环评估与策略进化的可控多视角世界模型 。
针对现有视频生成基座缺乏精确动作控制、长时域推演易漂移失真以及无法匹配真实机器人关节控制接口的问题，Ctrl-World 基于 Stable Video Diffusion (SVD) 1.5B 骨干网络，通过多视角联合生成 、位姿条件记忆检索 与帧级动作条件注入 ，实现了在纯虚拟“想象空间”中与 SOTA 策略（如π 0 \pi_0 π 0 π 0.5 \pi_{0.5} π 0.5
闭环想象交互循环 (Closed-Loop Rollout)
给定包含n n n [ I t 1 , … , I t n ] [I_t^1, \dots, I_t^n] [ I t 1 , … , I t n ] q t q_t q t o t o_t o t π \pi π l l l H H H
A t = [ a t + 1 , a t + 2 , … , a t + H ] ∼ π ( ⋅ ∣ o t , l ) A_t = [a_{t+1}, a_{t+2}, \dots, a_{t+H}] \sim \pi(\cdot \mid o_t, l) A t = [ a t + 1 , a t + 2 , … , a t + H ] ∼ π ( ⋅ ∣ o t , l )
世界模型W W W
o t + 1 , … , o t + H ∼ W ( ⋅ ∣ o t , A t ) o_{t+1}, \dots, o_{t+H} \sim W(\cdot \mid o_t, A_t) o t + 1 , … , o t + H ∼ W ( ⋅ ∣ o t , A t )
末帧预测o t + H o_{t+H} o t + H π \pi π A t + H A_{t+H} A t + H
关节速-笛卡尔位姿适配器 (Joint-Velocity to Cartesian Adapter)
开源 VLA 策略（如π 0 -droid \pi_0\text{-droid} π 0 -droid
系统训练了一个 2 层 MLP 适配器，结合正运动学（Forward Kinematics, FK）搭建连接桥梁：
q t + 1 : t + H joint = Adapter ( q t joint , a t + 1 : t + H jv ) q_{t+1:t+H}^{\text{joint}} = \text{Adapter}\left( q_t^{\text{joint}}, \, a_{t+1:t+H}^{\text{jv}} \right) q t + 1 : t + H joint = Adapter ( q t joint , a t + 1 : t + H jv )
q t + 1 : t + H cartesian = FK ( q t + 1 : t + H joint ) q_{t+1:t+H}^{\text{cartesian}} = \text{FK}\left( q_{t+1:t+H}^{\text{joint}} \right) q t + 1 : t + H cartesian = FK ( q t + 1 : t + H joint )
转换后的笛卡尔位姿轨迹被直接作为世界模型的帧级动作条件输入。
核心架构与条件控制机制 (Ctrl-World Architecture)
Ctrl-World 初始化自 SVD 1.5B 时空 Transformer 骨干网络，仅新建一个 3 层 MLP 动作投影层（将 7 维笛卡尔动作映射至 1024 维隐空间），施加以下三项改进：
多视角联合并行预测 (Multi-View Joint Predictions)
针对第三方视角与手腕视角的协同生成，将N N N 8 × 8 8 \times 8 8 × 8 24 × 40 24 \times 40 24 × 40
Shape Input = [ B , ( k + H ′ ) , 3 × 24 × 40 ] \text{Shape}_{\text{Input}} = \left[ B, \, (k + H'), \, 3 \times 24 \times 40 \right] Shape Input = [ B , ( k + H ′ ) , 3 × 24 × 40 ]
在 Spatial-Temporal Transformer 中联合生成所有视角o t : t + H o_{t:t+H} o t : t + H
位姿条件记忆检索机制 (Pose-Conditioned Memory Retrieval)
为了缓解长时间自回归推演导致的漂移与积累误差，系统以步长m m m k k k
o t − k m , … , o t − m , o t o_{t-km}, \dots, o_{t-m}, o_t o t − k m , … , o t − m , o t
在 Spatial Transformer 内部，通过帧级 Cross-Attention 机制 将机器人历史关节位姿[ q t − k m , … , q t ] [q_{t-km}, \dots, q_t] [ q t − k m , … , q t ]
帧级动作条件注入 (Frame-Level Action Conditioning)
策略输出的未来 15 步笛卡尔动作在时间轴上降采样至H ′ = 5 H'=5 H ′ = 5 [ q t − k m , … , q t , a t + 1 , … , a t + H ′ ] [q_{t-km}, \dots, q_t, a_{t+1}, \dots, a_{t+H'}] [ q t − k m , … , q t , a t + 1 , … , a t + H ′ ]
未来时间步的视觉 Token 通过 Cross-Attention 关注其对应的未来动作位姿a t + k a_{t+k} a t + k
扩散去噪训练损失 (Diffusion Loss)
目标图像序列x 0 = o t + 1 : t + H x_0 = o_{t+1:t+H} x 0 = o t + 1 : t + H ϵ ∼ N ( 0 , I ) \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I}) ϵ ∼ N ( 0 , I ) x t ′ x_{t'} x t ′
L = E x 0 , ϵ , t ′ ∥ x ^ 0 ( x t ′ , t ′ , c ) − x 0 ∥ 2 2 \mathcal{L} = \mathbb{E}_{x_0, \epsilon, t'} \left\| \hat{x}_0\left( x_{t'}, t', c \right) - x_0 \right\|_2^2 L = E x 0 , ϵ , t ′ ∥ x ^ 0 ( x t ′ , t ′ , c ) − x 0 ∥ 2 2
c = [ q t − k m : t , a t + 1 : t + H ′ , o t − k m : t ] c = [q_{t-km:t}, \, a_{t+1:t+H'}, \, o_{t-km:t}] c = [ q t − k m : t , a t + 1 : t + H ′ , o t − k m : t ]
策略想象评估与合成数据策略进化 (Policy Evaluation & Self-Improvement)
在训练好 Ctrl-World 后，系统可在无物理机器人的情况下完成策略性能评估与合成数据驱动的策略微调。
想象空间中的策略评估 (Policy Evaluation in Imagination)
加载真实采样或验证集快照作为初始观察o 0 o_0 o 0 τ = [ o 0 , A 0 , o 1 , A 1 , … ] \tau = [o_0, A_0, o_1, A_1, \dots] τ = [ o 0 , A 0 , o 1 , A 1 , … ]
基于结构化扰动的合成数据收集与策略微调 (Policy Improvement Loop)
由于定型策略在固定初始状态下的行为趋于确定性，为了在想象空间中探索更大的策略空间，系统在自回归采样中引入结构化扰动 ：
指令改写 (Instruction Rephrasing) ：利用 VLA 策略对自然语言敏感的特性，通过改写同义指令（如将“Pick A”改写为“Grasp the object A”）诱导策略产生不同的动作轨迹。状态重置 (State Resetting) ：在世界模型内部将策略重置至随机的中途状态，激发多样化的初始动作模式。
策略进化算法的自动化流程如下：
对于给定的任务指令集与初始观察，以扰动策略采样动作A t : t + H ∼ π θ ( o t , l , ϵ a ) A_{t:t+H} \sim \pi_\theta(o_t, l, \epsilon_a) A t : t + H ∼ π θ ( o t , l , ϵ a )
世界模型基于历史 Context 与动作推演下一阶段视觉图像o t + 1 : t + H = W ( h , o t , A t : t + H ) o_{t+1:t+H} = W(h, o_t, A_{t:t+H}) o t + 1 : t + H = W ( h , o t , A t : t + H )
组合形成合成轨迹τ \tau τ D s \mathcal{D}_s D s
在合成成功数据集D s \mathcal{D}_s D s π θ \pi_\theta π θ
L θ = E o t , A t : t + H ∼ D s ∥ π θ ( o t , l ) − A t : t + H ∥ 2 2 \mathcal{L}_\theta = \mathbb{E}_{o_t, A_{t:t+H} \sim \mathcal{D}_s} \left\| \pi_\theta(o_t, l) - A_{t:t+H} \right\|_2^2 L θ = E o t , A t : t + H ∼ D s ∥ π θ ( o t , l ) − A t : t + H ∥ 2 2
独立世界模型、动作策略和奖励器，通过数据交换实现联合训练 (VLAW: Iterative Co-Improvement of Vision-Language-Action Policy and World Model)
VLAW 旨在解决传统机器人大模型在部署时面临的环境泛化性不足 、物理接触世界模型失真/过度乐观（Over-Optimism） ，以及在线强化学习（RL）算法过于复杂难以直接作用于 Flow-Matching 策略 等核心瓶颈。
系统构建了一个极简且高可扩展的交替协同进化（Co-Improvement）闭环 ：利用策略网络在真实物理世界中收集包含失败与接触的真实轨迹，端到端微调视频扩散世界模型（Ctrl-World）与视觉-语言奖励模型（Qwen3-VL-4B）；随后在更新后的世界模型中大规模采样虚拟轨迹，筛选成功样本并反向微调 Flow-Matching VLA 策略（如π 0.5 \pi_{0.5} π 0.5
整个系统由基于真实 Rollout 的世界模型与奖励模型 post-training 、基于合成轨迹过滤的策略 post-training ，以及正则化强化学习数学证明 三大核心部分构成。
阶段一：基于真实 Rollout 的世界模型与奖励模型协同微调 (World Model Learning with Real Roll-outs)
传统世界模型仅在专家演示数据上训练，缺乏对错误动作或复杂物理接触（如易变形物体、高频摩擦）的预测能力，容易导致过度乐观。VLAW 引入真实的交互反馈进行纠偏。
真实轨迹收集与双流加权 Post-Training
策略π θ \pi_\theta π θ K K K r τ ∈ { 0 , 1 } r_\tau \in \{0, 1\} r τ ∈ { 0 , 1 } D real = { τ real 1 , … , τ real K } \mathcal{D}_{\text{real}} = \{\tau_{\text{real}}^1, \dots, \tau_{\text{real}}^K\} D real = { τ real 1 , … , τ real K }
世界模型初始化自 Ctrl-World（基于全量 DROID 95k 轨迹预训练的扩散模型）。在微调时，为了防止世界模型在小规模真实线上数据上过拟合，将新收集的D real \mathcal{D}_{\text{real}} D real D DROID \mathcal{D}_{\text{DROID}} D DROID 正则化混合共训（Co-training） ：
L WM = L D real + λ L D DROID \mathcal{L}_{\text{WM}} = \mathcal{L}_{\mathcal{D}_{\text{real}}} + \lambda \mathcal{L}_{\mathcal{D}_{\text{DROID}}} L WM = L D real + λ L D DROID
L D real = E x 0 , ϵ , t ′ ∥ x ^ 0 ( x t ′ , t ′ , c ) − x 0 ∥ 2 2 \mathcal{L}_{\mathcal{D}_{\text{real}}} = \mathbb{E}_{x_0, \epsilon, t'} \left\Vert{} \hat{x}_0(x_{t'}, t', c) - x_0 \right\Vert{}_2^2 L D real = E x 0 , ϵ , t ′ ∥ x ^ 0 ( x t ′ , t ′ , c ) − x 0 ∥ 2 2
x 0 = o t + 1 : t + H x_0 = o_{t+1:t+H} x 0 = o t + 1 : t + H D real \mathcal{D}_{\text{real}} D real c = [ o t , a t : t + H ] c = [o_t, a_{t:t+H}] c = [ o t , a t : t + H ]
视觉-Language 奖励模型微调 (Reward Model Finetuning)
零样本（Zero-shot）VLM 在判断微妙操控任务成功与否时准确率不足。系统采用 Qwen3-VL-4B-Instruct 作为通用奖励模型R R R
在第一轮迭代中，直接使用D real \mathcal{D}_{\text{real}} D real r τ r_\tau r τ τ i \tau_i τ i "yes" Token 的后验概率，并施加保守门限α \alpha α
R ( τ i ) = [ P ( "yes" ∣ τ i , I i ) > α ] R(\tau_i) = \left[ P\left(\text{"yes"} \mid \tau_i, I_i\right) > \alpha \right] R ( τ i ) = [ P ( "yes" ∣ τ i , I i ) > α ]
阶段二：基于虚拟轨迹筛选的 VLA 策略自我进化 (Iterative Improvement for VLA Policy)
有了高物理保真度的世界模型与精准的奖励模型后，无需在物理世界中承担碰撞风险即可进行大规模策略升阶。
潜在空间自回归 Rollout 与成功集过滤
虚拟轨迹生成 ：策略π θ \pi_\theta π θ M ϕ M_\phi M ϕ N N N D syn = { τ syn 1 , … , τ syn N } \mathcal{D}_{\text{syn}} = \{\tau_{\text{syn}}^1, \dots, \tau_{\text{syn}}^N\} D syn = { τ syn 1 , … , τ syn N } 奖励模型过滤 ：利用微调后的奖励模型R R R D syn + = { τ syn i 1 , … , τ syn i n } \mathcal{D}_{\text{syn}}^+ = \{\tau_{\text{syn}}^{i_1}, \dots, \tau_{\text{syn}}^{i_n}\} D syn + = { τ syn i 1 , … , τ syn i n } D real + \mathcal{D}_{\text{real}}^+ D real +
策略 Flow-Matching 流匹配二值加权 Post-Training
由于 Flow-Matching 策略（如π 0.5 \pi_{0.5} π 0.5 ln π ( a ∣ o ) \ln \pi(a \mid o) ln π ( a ∣ o )
定义权值函数：成功轨迹转换样本w ( o , a ) = 1 w(o, a) = 1 w ( o , a ) = 1 w ( o , a ) = 0 w(o, a) = 0 w ( o , a ) = 0
L Policy ( θ ) = E ( o , a ) ∼ D syn ∪ D real [ w ( o , a ) L FM ( θ , o , a ) ] = E ( o , a ) ∼ D syn + ∪ D real + [ L FM ( θ , o , a ) ] \mathcal{L}_{\text{Policy}}(\theta) = \mathbb{E}_{(o, a) \sim \mathcal{D}_{\text{syn}} \cup \mathcal{D}_{\text{real}}} \left[ w(o, a) \mathcal{L}_{\text{FM}}(\theta, o, a) \right] = \mathbb{E}_{(o, a) \sim \mathcal{D}_{\text{syn}}^+ \cup \mathcal{D}_{\text{real}}^+} \left[ \mathcal{L}_{\text{FM}}(\theta, o, a) \right] L Policy ( θ ) = E ( o , a ) ∼ D syn ∪ D real [ w ( o , a ) L FM ( θ , o , a ) ] = E ( o , a ) ∼ D syn + ∪ D real + [ L FM ( θ , o , a ) ]
L FM ( θ , o , a ) \mathcal{L}_{\text{FM}}(\theta, o, a) L FM ( θ , o , a )
理论映射：正则化强化学习 (Regularized RL) 的流匹配等效证明
VLAW 采用的二值过滤 Flow-Matching 更新（公式 4），在数学上完全等价于**正则化强化学习（Regularized RL / AWR）**在流匹配概率空间上的代理投影。
正则化强化学习的闭环最优解
在带 KL 散度约束的正则化 RL 框架下，目标是寻找与参考策略π ref \pi_{\text{ref}} π ref π ⋆ \pi^\star π ⋆
J ( θ ) = E τ ∼ ρ π θ [ R ( τ ) ] − β E o ∼ ρ π θ [ D KL ( π θ ( ⋅ ∣ o ) ∥ π ref ( ⋅ ∣ o ) ) ] \mathcal{J}(\theta) = \mathbb{E}_{\tau \sim \rho_{\pi_\theta}} [R(\tau)] - \beta \mathbb{E}_{o \sim \rho_{\pi_\theta}} \left[ D_{\text{KL}}\left( \pi_\theta(\cdot \mid o) \parallel \pi_{\text{ref}}(\cdot \mid o) \right) \right] J ( θ ) = E τ ∼ ρ π θ [ R ( τ )] − β E o ∼ ρ π θ [ D KL ( π θ ( ⋅ ∣ o ) ∥ π ref ( ⋅ ∣ o ) ) ]
其闭环解析解（Closed-form Solution）形式为优势加权：
π ⋆ ( a ∣ o ) ∝ π ref ( a ∣ o ) exp ( A π ref ( o , a ) β ) = w ( o , a ) π ref ( a ∣ o ) \pi^\star(a \mid o) \propto \pi_{\text{ref}}(a \mid o) \exp\left( \frac{A^{\pi_{\text{ref}}}(o, a)}{\beta} \right) = w(o, a) \pi_{\text{ref}}(a \mid o) π ⋆ ( a ∣ o ) ∝ π ref ( a ∣ o ) exp ( β A π ref ( o , a ) ) = w ( o , a ) π ref ( a ∣ o )
流匹配代理散度 (Flow-Matching Surrogate Divergence) 投影
由于 Flow-Matching 无法解出标准的对数概率ln π θ ( a ∣ o ) \ln \pi_\theta(a \mid o) ln π θ ( a ∣ o ) D FM D_{\text{FM}} D FM π θ \pi_\theta π θ π ⋆ \pi^\star π ⋆
D FM ( π ⋆ ( ⋅ ∣ o ) , π θ ( ⋅ ∣ o ) ) ≜ E a ∼ π ⋆ ( ⋅ ∣ o ) [ L FM ( θ ; o , a ) ] D_{\text{FM}}\left( \pi^\star(\cdot \mid o), \, \pi_\theta(\cdot \mid o) \right) \triangleq \mathbb{E}_{a \sim \pi^\star(\cdot \mid o)} \left[ \mathcal{L}_{\text{FM}}(\theta; o, a) \right] D FM ( π ⋆ ( ⋅ ∣ o ) , π θ ( ⋅ ∣ o ) ) ≜ E a ∼ π ⋆ ( ⋅ ∣ o ) [ L FM ( θ ; o , a ) ]
通过将对于π ⋆ \pi^\star π ⋆ w ( o , a ) ∝ exp ( A π ref ( o , a ) β ) w(o, a) \propto \exp\left( \frac{A^{\pi_{\text{ref}}}(o, a)}{\beta} \right) w ( o , a ) ∝ exp ( β A π ref ( o , a ) )
θ ⋆ = arg min θ E o ∼ D [ D FM ( π ⋆ ( ⋅ ∣ o ) , π θ ( ⋅ ∣ o ) ) ] ≈ arg min θ E ( o , a ) ∼ D [ w ( o , a ) L FM ( θ , o , a ) ] \theta^\star = \arg\min_\theta \mathbb{E}_{o \sim \mathcal{D}} \left[ D_{\text{FM}}\left( \pi^\star(\cdot \mid o), \, \pi_\theta(\cdot \mid o) \right) \right] \approx \arg\min_\theta \mathbb{E}_{(o, a) \sim \mathcal{D}} \left[ w(o, a) \mathcal{L}_{\text{FM}}(\theta, o, a) \right] θ ⋆ = arg θ min E o ∼ D [ D FM ( π ⋆ ( ⋅ ∣ o ) , π θ ( ⋅ ∣ o ) ) ] ≈ arg θ min E ( o , a ) ∼ D [ w ( o , a ) L FM ( θ , o , a ) ]
当折扣因子γ → 1 \gamma \to 1 γ → 1
