VLA & Robot Foundation Models | XHT | Haotian Xue - AI Research & Robotics

$\pi_0$ 精读：从 Action Token 到 Flow Matching，VLA 开始学习灵巧控制

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Kevin Black et al., $\pi_0$: A Vision-Language-Action Flow Model for General Robot Control
arXiv:
PDF:
Project:

前面读完 RT-2 和 OpenVLA 后，VLA 的基本范式已经很清楚：

把视觉、语言和机器人动作放进一个统一模型，让模型根据 Image + Instruction 直接产生 Action。

RT-2 证明了这个方向可行；OpenVLA 又把它变成了一个开放、可微调的 7B VLA。

但它们都留下了一个非常现实的问题：

机器人动作真的应该像文本一样，被离散成 Token，然后一个一个自回归生成吗？

当任务变成折衣服、整理桌面、双臂协作、柔性物体操作，以及 20–50 Hz 的高频控制时，动作本质上仍然是连续轨迹。

$\pi_0$ 的核心就是重新思考这一点。

这条演进关系可以概括为：RT-2 建立 VLA，OpenVLA 推进开放与适配，而 $\pi_0$ 开始重点解决连续、高频、灵巧的 Action Generation。

所以，如果一句话概括：

$\pi_0$ 保留 VLM 负责“理解世界”，但不再强迫机器人动作完全遵循 Language Token 的生成方式，而是加入专门的 Action Expert，用 Flow Matching 生成连续动作序列。

1. 从 RT-2 / OpenVLA 到 $\pi_0$，到底变了什么？

先看最核心的区别：

	RT-2	OpenVLA	$\pi_0$
VLA	✓	✓	✓
Backbone	PaLI-X / PaLM-E	DINOv2 + SigLIP + Llama 2	PaliGemma
Action Representation	Discrete Token	Discrete Token	Continuous Action
Action Generation	Autoregressive	Autoregressive	Flow Matching
Action Chunking	非核心	No	H = 50
Robot-specific Module	无独立 Expert	无独立 Expert	Action Expert
Cross-Embodiment	有限	OpenX	核心训练设计
高频 Dexterity	有限	有限	核心目标

这三篇论文的研究重点其实在不断移动：

因此，$\pi_0$ 并不是简单扩大 OpenVLA，而是把研究重点从“开放 VLA”进一步推进到“连续动作生成与物理灵巧性”。

因此 $\pi_0$ 并不是“把 OpenVLA 再做大一点”。

恰恰相反，它开始重新设计 VLA 中 Action Generation 这一半。

2. 一张论文图看懂 $\pi_0$

$\pi_0$ 的整体结构。图片来自 arXiv HTML 版论文 Figure 3。

输入主要包括：

RGB Images；
Language Instruction；
Robot Proprioception。

模型则可以理解为两个主要部分：

flowchart TD I["RGB Images"] --> V["Pre-trained VLM
PaliGemma ~3B"] L["Language Instruction"] --> V V --> S["Shared Transformer Representation"] P["Robot Proprioception"] --> A["Action Expert
~300M"] N["Noisy Action Chunk"] --> A S --> A A --> F["Flow Matching"] F --> O["Continuous Action Chunk"]

整个模型大约 3.3B 参数：

PaliGemma VLM ≈ 3B
Action Expert ≈ 300M

这里最重要的不是参数量，而是职责发生了分工。

VLM Backbone

主要负责：

视觉理解；
语言理解；
物体与语义关系；
任务条件。

Action Expert

主要负责：

在机器人状态与 VLM 语义表示条件下，生成真正适合物理执行的连续动作。

这和 RT-2 / OpenVLA 有一个非常重要的区别：

Language 和 Action 可以共享 Transformer 表示，但不一定必须共享完全相同的输出机制。

3. 核心创新：Flow Matching Action Expert

RT-2 和 OpenVLA 的动作生成可以粗略写成：

RT-2 / OpenVLA 更接近“Image + Language → VLM → Autoregressive Action Tokens → Robot Action”的生成方式。

也就是说：

像生成文本一样，自回归地产生离散动作 Token。

$\pi_0$ 则改成：

flowchart LR A["Image + Language + State"] --> B["VLM Representation"] B --> C["Action Expert"] N["Random Noise"] --> C C --> D["Flow Matching"] D --> E["Continuous Action Trajectory"]

它不是直接预测一个固定动作，而是学习一个 velocity field：

怎样把初始随机噪声逐渐运输到真实机器人动作分布。

直观理解就是：

random action noise
 ↓
rough trajectory
 ↓
refined trajectory
 ↓
final robot action chunk

论文使用 10 个 flow integration steps 来完成推理。

所以 Flow Matching 在这里不是为了生成漂亮图像，而是在解决：

连续、多模态、高维机器人动作分布如何被高效建模。

4. Action Chunking：一次生成未来 50 个动作

$\pi_0$ 的另一个关键设计是 Action Chunking。

传统 single-step policy 更像：

observe → predict one action → execute → observe again

而 $\pi_0$ 一次预测：

$$ A_t = [a_t,a_{t+1},\ldots,a_{t+H-1}], $$

其中：

$$ H=50. $$

也就是一次产生最多 50 个未来动作。

flowchart LR A["Current Observation"] --> B["pi0"] B --> C["50-step Action Chunk"] C --> D["a_t"] C --> E["a_t+1"] C --> F["..."] C --> G["a_t+49"]

这意味着模型学习的不再是：

“下一步往哪动？”

而更接近：

“接下来这一小段运动轨迹应该是什么？”

对于折衣服、双臂协调、拿取柔性物体这类任务，这种 trajectory-level prediction 比单步动作自然得多。

5. 50 Hz 并不意味着 3.3B 模型每秒完整推理 50 次

这是论文中非常容易被误读的一点。

$\pi_0$ 支持最高约：

50 Hz robot control

但不等于：

50 × full VLA inference / second

对于 50 Hz 的机器人，论文采用的方式大致是：

每 0.5 秒重新 inference
→ 执行约 25 个 action
→ 再重新 inference

对于 20 Hz 的 UR5e / Franka：

每 0.8 秒 inference
→ 执行约 16 个 action

RTX 4090 上论文报告的一次完整推理约为：

Image encoder 14 ms
Observation pass 32 ms
10 × Flow steps 27 ms
-------------------------
On-board total 73 ms

所以真正的机制是：

flowchart LR A["Visual Observation"] --> B["Full pi0 Inference"] B --> C["Predict Action Chunk"] C --> D["High-frequency Robot Execution"] D --> E["Execute Several Actions Open-loop"] E --> F["New Observation"] F --> B

换句话说：

低频生成一小段未来轨迹，高频执行这段轨迹。

这也是 Action Chunking 为什么重要。

6. Action Chunking 的代价：Closed-loop Feedback 变少

Action Chunk 越长，效率越高。

但执行 chunk 中间的动作时，模型不会每一步都重新观察环境。

于是存在天然的 trade-off：

这个 trade-off 可以直接理解为：

Chunk	优点	代价
Larger chunk	执行效率更高	视觉反馈更稀疏
Smaller chunk	Closed-loop 更强	推理开销更大

这也是为什么 Action Chunking 并不是简单的“越长越好”。

在高度动态环境里，如果外界发生变化，而机器人仍然 open-loop 执行旧的 chunk，就可能产生误差。

因此这里其实留下了一个后续非常重要的问题：

如何同时获得高频执行与高频视觉反馈？

7. Cross-Embodiment：一个模型学习多种机器人

$\pi_0$ 的第二条大主线不是 Flow Matching，而是 Robot Data Scaling。

论文自己的数据覆盖：

7 robot configurations
68 broad tasks

包括：

UR5e
Franka
Bimanual UR5e
Bimanual Trossen
Bimanual ARX / AgileX
Mobile Trossen / ARX
Mobile Fibocom

同时又混入 Open X-Embodiment、BridgeV2、DROID 等开放机器人数据。

论文报告整个研究使用超过：

10,000 hours

的机器人数据，其自有数据约有：

903M timesteps

因此训练目标已经不只是：

“让一台机械臂学会很多任务。”

而是：

让一个模型吸收不同 embodiment 的物理经验。

flowchart TD A["Single-arm Robots"] --> G["Cross-Embodiment Training"] B["Dual-arm Robots"] --> G C["Mobile Manipulators"] --> G D["Open X-Embodiment"] --> G E["BridgeV2"] --> G F["DROID"] --> G G --> H["Shared VLA Representation"] H --> I["Generalist Robot Foundation Model"]

不同机器人 action space 并不一样。

$\pi_0$ 使用一个很工程化但有效的方法：

把 state/action vector 统一 padding 到最大 18 维。

缺少的维度补零；缺少的 camera slot 使用 mask。

这看起来不“炫”，但对于 Robot Foundation Model 来说非常关键：

统一数据接口往往和模型结构本身一样重要。

8. Pre-training + Post-training：机器人开始复制 LLM 的训练范式

$\pi_0$ 还进一步采用了很明显的 Foundation Model Training Recipe：

flowchart LR A["Diverse Robot Data"] --> B["Pre-training"] B --> C["General Capability"] C --> D["High-quality Task Data"] D --> E["Post-training"] E --> F["Specialized Robust Behavior"]

Pre-training

目标是覆盖尽可能多的：

robots；
objects；
tasks；
failures；
recovery behaviors。

这里的数据可以非常多样，甚至质量不完全一致。

它主要回答：

What can the robot do?

Post-training

再使用质量更高、更一致的数据，对具体任务进行专项训练。

例如：

laundry folding；
table bussing；
box assembly。

它回答的是：

How can the robot do this task well?

这和现代 LLM：

Pre-training → Post-training

的思路已经非常接近。

9. 实验：完整 $\pi_0$ 到底强在哪里？

论文首先进行 Out-of-Box 测试，也就是不针对测试任务专门 post-train。

$\pi_0$、$\pi_0$-small、OpenVLA 和 Octo 的直接提示实验。图片来自 arXiv HTML 版论文 Figure 7。

测试包括：

Shirt Folding；
Bussing Easy；
Bussing Hard；
Grocery Bagging；
Toast out of Toaster。

完整 $\pi_0$ 的 normalized task progress 大约为：

Task	$\pi_0$
Shirt Folding	1.000
Bussing Easy	0.971
Bussing Hard	0.875
Grocery Bagging	0.786
Toast out of Toaster	0.750

几个 baseline 很有代表性：

OpenVLA

Large VLA
+
Discrete autoregressive actions

Octo

Robot Foundation Model
+
Diffusion action generation

$\pi_0$-small

Continuous-action architecture
+
No large VLM initialization

所以这个实验真正说明的不是：

Flow Matching 单独解决了所有问题。

而是：

VLM semantic prior + large robot data + cross-embodiment training + continuous action generation 需要组合在一起。

10. $\pi_0$ 真正提升的是 Physical Dexterity

RT-2 更强调：

Semantic Generalization

比如：

What object can be used as a hammer?

模型需要理解物体、语义与常识，再把它 Ground 到机器人动作。

而 $\pi_0$ 更强调：

Physical Dexterity

例如：

fold crumpled clothes；
stack dishes；
manipulate deformable objects；
use two arms simultaneously；
recover from manipulation errors。

所以可以粗略理解：

因此可以粗略理解为：RT-2 / OpenVLA 更突出 semantic understanding → action，而 $\pi_0$ 进一步强调 semantic representation → continuous action distribution → physical dexterity。

因此：

RT-2 更突出“机器人应该做什么”，$\pi_0$ 开始更认真地解决“机器人具体应该怎么动”。

两者当然不是完全割裂，但这个视角非常适合快速理解技术演进。

11. $\pi_0$ 仍然没有彻底解决 Long-Horizon Planning

$\pi_0$ 展示了很多长时间任务：

laundry folding；
table bussing；
box assembly；
dryer unloading。

部分任务甚至持续：

5–20 minutes

但这里必须区分：

Low-level Dexterous Policy

和：

High-level Task Planning

在部分复杂任务中，论文仍然使用一个高层 VLM 产生中间语言指令：

在这种设置下，高层 VLM 负责把 "bus the table" 分解成 "pick up the napkin" 等子任务，再由 $\pi_0$ 把子任务转成连续机器人动作。

所以不能简单理解成：

“一个 $\pi_0$ 网络已经独立解决了 20 分钟 Long-Horizon Planning。”

更准确的是：

$\pi_0$ 显著提升了通用低层策略的灵巧性，但高层任务分解在部分设置中仍然依赖单独的 VLM。

12. 从 RT-1 到 OpenVLA，再到 $\pi_0$

现在把这几篇论文放在一起，路线就非常清楚：

flowchart LR A["RT-1
Scale Robot Data"] --> B["RT-2
Scale Semantic Knowledge"] --> C["OpenVLA
Scale Accessibility & Adaptation"] --> D["pi0
Scale Physical Dexterity"]

对应的问题分别是：

Paper	核心问题
RT-1	一个 Transformer 能否学习大量机器人任务？
RT-2	Web Knowledge 能否迁移到 Robot Action？
OpenVLA	VLA 能否开放、微调并部署？
$\pi_0$	VLA 如何产生连续、高频、灵巧的机器人动作？

这样再看 $\pi_0$ 的几个设计，就非常自然：

Action Expert
Flow Matching
Action Chunking
Cross-Embodiment Training
Pre-training + Post-training

它们都在回答同一个问题：

一个真正的 Robot Foundation Model，除了“看懂”和“听懂”，还需要怎样学会“动得好”？

13. 我认为 $\pi_0$ 真正重要在哪里？

如果只把 $\pi_0$ 理解成：

“把 Diffusion 换成 Flow Matching 的 VLA。”

其实低估了这篇论文。

它真正重要的是把此前几个方向组合到同一个 Robot Foundation Model 中：

从系统角度看，$\pi_0$ 把 Internet-pretrained VLM、Cross-Embodiment Robot Data、Action Expert、Flow Matching、Action Chunking 与 Pre-training/Post-training 组合成了一套更完整的 Robot Foundation Model recipe。

所以 $\pi_0$ 的贡献并不只是某一个模块。

它更像是在回答：

Robot Foundation Model 到底应该由哪些部分组成？

RT-2 建立了：

Vision + Language → Action

OpenVLA 让这个接口变得开放、可微调。

而 $\pi_0$ 开始重新设计：

Action Representation；
Action Generation；
Robot Data Scaling；
Embodiment Scaling；
Training Recipe；
Dexterity。

最后，用一句话理解 $\pi_0$

RT-2 告诉我们：

预训练 VLM 可以被 Ground 到 Robot Action。

OpenVLA 告诉我们：

VLA 可以成为开放、可适配的机器人基础模型。

$\pi_0$ 则进一步告诉我们：

机器人动作并不一定要完全按照 Language Token 的方式生成；可以保留 VLM 负责语义理解，再使用专门的 Action Expert 和 Flow Matching 生成连续 Action Chunk。

因此这条路线可以记成：

RT-1 → Robot Data
RT-2 → Semantic Knowledge
OpenVLA → Accessibility & Adaptation
pi0 → Physical Dexterity

而 $\pi_0$ 留下的下一道问题也非常自然：

如何把更强的 reasoning、long-horizon planning、实时 closed-loop feedback 和更大规模机器人数据继续整合进同一个 VLA？

OpenVLA 精读：把 RT-2 的 VLA 范式真正开源

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Moo Jin Kim et al., OpenVLA: An Open-Source Vision-Language-Action Model
arXiv:
PDF:
Project:
Code:

如果 RT-2 回答的是：

Vision-Language Model 能不能直接输出 Robot Action？

那么 OpenVLA 继续追问的是：

这样的 VLA 能不能真正开放出来，让普通机器人实验室下载、微调并部署到自己的机器人上？

这就是 OpenVLA 最值得关注的地方。

OpenVLA 并没有推翻 RT-2 的基本思路。相反，它保留了最核心的 Action Tokenization，然后把重点转向：

开源模型；
大规模跨机器人数据；
下游任务微调；
LoRA；
量化部署。

所以它是 RT-2 和后续 $\pi_0$ 之间非常自然的一块拼图。

1. RT-2 到 OpenVLA，真正发生了什么？

先把二者放在一起：

	RT-2	OpenVLA
时间	2023	2024
模型规模	12B / 55B	7B
Backbone	PaLI-X / PaLM-E	DINOv2 + SigLIP + Llama 2
Action	Discrete Tokens	Discrete Tokens
Robot Data	RT data / RT-X	970k OpenX trajectories
开源	否	是
下游 Fine-tuning	非核心	核心问题
LoRA / Quantization	非核心	系统研究

因此 OpenVLA 的主要贡献并不是：

提出一种全新的 VLA 架构。

而更接近：

把 RT-2 已经证明有效的 VLA 范式，做成一个开放、可适配的 Robot Foundation Model。

2. 一张图看懂 OpenVLA

OpenVLA 模型结构。图片来自 arXiv HTML 版论文 Figure 1。

如果把论文原图抽象一下，整个网络其实非常清楚：

flowchart TD I["RGB Image"] --> D["DINOv2"] I --> S["SigLIP"] D --> F["Fused Visual Features"] S --> F F --> P["MLP Projector"] P --> L["Llama 2 7B"] T["Language Instruction"] --> L L --> A["Action Tokens"] A --> Q["Action De-Tokenizer"] Q --> R["7D Continuous Robot Action"]

OpenVLA 建立在 Prismatic-7B VLM 上，主要由三个部分组成：

DINOv2 + SigLIP 双视觉编码器
MLP Projector
Llama 2 7B

为什么同时使用 DINOv2 和 SigLIP？

可以粗略理解为：

SigLIP 更擅长语义层面的视觉—语言对齐；
DINOv2 保留更丰富的空间和低层视觉信息。

对于机器人来说，只知道：

“这是一个杯子。”

还不够。

策略还需要判断：

“杯子具体在哪里？机械臂应该朝哪个方向移动？”

因此 OpenVLA 希望视觉表示同时包含：

这是它相比单一视觉编码器很重要的设计。

3. OpenVLA 仍然把 Action 当成 Language Token

这是 OpenVLA 和 RT-2 最直接的继承关系。

典型机器人动作可以写成一个 7 维向量：

Δx, Δy, Δz,
Δroll, Δpitch, Δyaw,
gripper

这些值本来都是连续量。

OpenVLA 不直接做连续回归，而是对每一个动作维度进行离散化：

flowchart LR A["Continuous Action"] --> B["Clip by 1st–99th Percentile"] B --> C["Quantize into 256 Bins"] C --> D["Discrete Action Index"] D --> E["Language Token"]

也就是说，对于某个动作维度：

$$ a_i \in \mathbb{R} $$

会被映射为：

$$ \hat a_i \in \{0,\ldots,255\}. $$

这里有一个很实用的细节。

OpenVLA 没有简单使用动作数据的绝对 min/max，而是采用：

1st percentile 到 99th percentile

作为主要离散范围。

原因是机器人数据中可能存在少量极端动作。如果直接使用最大值和最小值，256 个 bin 会被少数 outlier 拉得很宽，反而降低常见动作区域的分辨率。

4. Action Token 从哪里来？

OpenVLA 使用 Llama 2 tokenizer。

但机器人需要大约：

256 Action Tokens

作者采用了一个非常直接的方案：

于是训练时仍然可以使用标准语言模型的 Next-Token Prediction。

对于模型而言：

Image + "put eggplant in bowl"

经过 Llama 2 后输出的不是自然语言：

"The robot should move left..."

而是类似：

[action_132] [action_87] [action_201] ...

这些 Token 再经过 de-tokenization 恢复成连续机器人控制量。

因此 OpenVLA 本质上仍然是：

把机器人控制问题重新写成语言模型的 Token Prediction 问题。

这正是 RT-2 建立的 VLA 范式。

5. 真正让 OpenVLA 强起来的是 970k Robot Trajectories

OpenVLA 的另一个核心是 Open X-Embodiment。

论文最终整理了约：

970k robot trajectories

用于训练。

问题在于，不同机器人数据天然是异构的：

flowchart LR A["Different Robots"] --> G["OpenX Data Mixture"] B["Different Cameras"] --> G C["Different Action Spaces"] --> G D["Different Control Frequencies"] --> G E["Different Tasks"] --> G F["Different Data Quality"] --> G G --> H["Curate + Reweight"] H --> I["970k Training Trajectories"] I --> J["OpenVLA"]

所以 Robot Foundation Model 的问题已经不再只是：

“数据够不够多？”

而是：

不同 embodiment、任务、相机和控制空间的数据，怎样组成一个有效的训练分布？

OpenVLA 对 OpenX 数据进行了筛选和重新加权，更偏好多样性较高的数据，降低重复性较强的数据权重。

这也是后续跨 embodiment VLA 非常重要的一条经验。

6. OpenVLA 的训练方式其实很像 LLM Fine-tuning

OpenVLA 并不是从零训练一个 7B 模型。

它的训练路径非常直接：

论文训练规模大致为：

7B parameters
970k trajectories
27 epochs
64 × A100
≈ 2 weeks

一个很有意思的现象是：

机器人数据可以被重复训练很多个 epoch，而真实性能仍然继续提升。

作者最终训练约 27 epochs，直到 Action Token Accuracy 超过 95%。

这说明虽然 OpenVLA 使用的是语言模型形式的 Token Objective，但机器人 imitation learning 和互联网语言预训练的数据统计性质仍然非常不同。

7. 实验：OpenVLA 到底比 RT-2-X 强在哪里？

论文在多个真实机器人平台上进行评估。

OpenVLA 与 RT-1-X、Octo、RT-2-X 的真实机器人泛化对比。图片来自 arXiv HTML 版论文 Figure 2。

在 BridgeData V2 WidowX 测试中：

Model	Average Success
RT-1-X	18.5%
Octo	20.0%
RT-2-X	50.6%
OpenVLA	70.6%

分不同泛化维度看：

Generalization	RT-2-X	OpenVLA
Visual	52.0%	87.0%
Motion	55.0%	60.0%
Physical	26.7%	76.7%
Semantic	38.8%	36.3%
Language Grounding	85.0%	90.0%

这里最值得关注的反而不是 OpenVLA 全面领先。

因为：

Semantic Generalization 上 RT-2-X 仍然略强。

为什么？

RT-2-X 在训练机器人动作时继续混入互联网 Vision-Language Data，也就是 Co-Fine-Tuning。

而 OpenVLA 的路径更接近：

因此 OpenVLA 在机器人 Fine-tuning 后可能遗忘一部分原本的 Web Knowledge。

这与 RT-2 中的结论正好对应：

Co-Fine-Tuning 的一个重要作用，就是防止机器人训练把预训练语义知识冲掉。

8. OpenVLA 真正重要的贡献：Fine-tuning

如果你自己有一台 Franka，真正关心的问题通常不是：

OpenVLA 在作者实验室跑多少分？

而是：

我采几十条 demonstration，能不能让它学会我的任务？

OpenVLA 专门研究了这个问题。

作者在新的 Franka setup 上使用：

10–150 demonstrations

进行下游 Fine-tuning，并和：

Diffusion Policy
Octo
OpenVLA from scratch
pretrained OpenVLA

进行比较。

结果有一个很重要的规律：

Narrow Single-task

例如：

put carrot in bowl

这种非常窄、非常强调动作精度的任务，Diffusion Policy 依然很强。

Multi-task + Language Grounding

当环境开始包含：

多个物体；
多种语言指令；
需要根据语言选择目标；

OpenVLA 的优势会更加明显。

因此可以这样理解：

VLA 的优势不是一定体现在最窄的单技能控制，而是在任务分布、语言条件和物体组合逐渐复杂后出现。

9. LoRA：VLA 开始真正进入普通机器人实验室

Full Fine-tuning 一个 7B 模型依然很贵。

论文因此系统测试了参数高效微调。

Method	Success	Trainable Params
Full Fine-tuning	69.7%	7.19B
Last Layer	30.3%	465M
Frozen Vision	47.0%	6.76B
Sandwich	62.1%	914M
LoRA r=32	68.2%	97.6M

LoRA rank 32 只训练约：

1.4% parameters

却基本追平 Full Fine-tuning。

于是一个普通实验室第一次可以形成非常现实的工作流：

flowchart LR A["Download OpenVLA"] --> B["Collect Your Robot Data"] B --> C["LoRA Fine-tuning"] C --> D["New Task / New Setup"] D --> E["Deploy on Your Robot"]

这可能比某一个 benchmark 数字更重要。

因为 VLA 从：

大型实验室里的展示模型

开始变成：

机器人研究者真正可以拿来二次开发的基础模型。

10. Quantization：机器人模型不能只看模型大小

OpenVLA 原始 bfloat16 推理需要大约：

15–17 GB VRAM

在 RTX 4090 上大约可以达到：

6 Hz

作者又测试了 bfloat16、int8 和 int4。

Precision	Success	VRAM
bfloat16	71.3%	16.8 GB
int8	58.1%	10.2 GB
int4	71.9%	7.0 GB

一个很有意思的结果是：

int8 反而明显变差。

论文分析认为，一个关键因素并不是数值精度本身，而是量化实现导致推理速度变化，进而改变了机器人实际控制频率。

这暴露了 Robot Policy 和普通 LLM 的本质区别：

所以对于机器人而言：

Inference Latency 本身就是 Policy Performance 的一部分。

11. OpenVLA 的局限，几乎直接指向了后来的 $\pi_0$

这是这篇论文最值得和 $\pi_0$ 连起来读的地方。

OpenVLA 仍然存在几个非常明确的限制：

主要使用单帧 RGB；
缺乏更丰富的 observation history；
proprioception 使用有限；
基本是 single-step action prediction；
Action Token 自回归生成；
RTX 4090 上约 6 Hz；
对高频 dexterous control 仍然有限。

把这些问题放在一起，会得到非常自然的下一步：

flowchart LR subgraph A["OpenVLA Bottlenecks"] A1["Discrete Action Tokens"] A2["Single-step Prediction"] A3["Autoregressive Decoding"] A4["Low Control Frequency"] A5["Limited Dexterity"] end subgraph B["Later pi0 Direction"] B1["Continuous Actions"] B2["Action Chunking"] B3["Flow Matching"] B4["Action Expert"] B5["High-frequency Execution"] end A --> B

这也是为什么 $\pi_0$ 的 Action Expert、Flow Matching 和 Action Chunking 并不是突然出现的。

它们实际上是在回答 OpenVLA 已经暴露出来的问题：

当 VLA 已经能够理解视觉和语言以后，我们还应该继续像生成文字一样，一步一步生成机器人动作吗？

12. 把 OpenVLA 放回 VLA 的发展主线

现在这几篇论文的关系就非常清楚了：

flowchart LR A["RT-1
Robot Data Scaling"] --> B["RT-2
Web Knowledge → Action"] B --> C["Open X-Embodiment / RT-X
Cross-Embodiment Data"] C --> D["OpenVLA
Open + Fine-tunable VLA"] D --> E["pi0
Continuous Action + Flow Matching"]

对应的问题分别是：

Paper	最核心的问题
RT-1	一个 Transformer 能否学习大量机器人任务？
RT-2	Web Knowledge 能否迁移到 Robot Action？
Open X-Embodiment / RT-X	Robot Data 能否跨 embodiment 扩展？
OpenVLA	VLA 能否开放、可微调、可部署？
$\pi_0$	连续高频灵巧控制应该怎样建模？

所以我更愿意把 OpenVLA 的位置总结成：

RT-2 证明了 VLA；OpenVLA 把 VLA 变成了开放的研究基础设施；$\pi_0$ 开始重新设计 VLA 的 Action Generation。

最后，用一句话理解 OpenVLA

RT-2 告诉我们：

Vision-Language Model 可以通过 Action Token 直接变成 Robot Policy。

OpenVLA 进一步证明：

这种 VLA 可以建立在开放 VLM 和 Open X-Embodiment 上，并通过标准的 Fine-tuning、LoRA 和 Quantization 工具链适配到新的机器人和任务。

但它也留下了一个非常关键的问题：

离散、自回归、单步 Action Token，真的是机器人动作最合适的表示方式吗？

这个问题，正好把阅读路线自然地引向后面的：

$$ \pi_0. $$

RT-1 精读：Transformer 如何学会控制真实机器人

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Anthony Brohan et al., RT-1: Robotics Transformer for Real-World Control at Scale
arXiv:
PDF:
Project:
Code:

RT-1 是一篇非常适合作为 Robot Foundation Model / Vision-Language-Action（VLA） 入门的论文。

如果只用一句话概括：

RT-1 用大规模、多任务的真实机器人示范数据训练一个语言条件 Transformer，让同一个策略直接从图像和自然语言指令预测机器人动作。

它真正重要的地方并不是“Transformer 也可以控制机器人”，而是开始验证一个更大的问题：

机器人策略能不能像大语言模型一样，通过更大的数据规模、更高的任务多样性和足够强的模型容量，获得更好的泛化能力？

RT-1 的整体目标：从大规模真实机器人数据中学习一个可以泛化到新任务、新物体和新场景的统一策略。图片来自 RT-1 官方项目页。

1. RT-1 到底在做什么？

RT-1 学习的是一个端到端机器人策略。

输入主要包括：

最近 6 帧 RGB 图像；
一条自然语言指令，例如 pick apple、open the drawer。

输出是机器人当前应该执行的动作，包括机械臂位姿变化、夹爪开合、移动底盘动作和任务终止信号。

整个过程可以概括为：

flowchart LR A["Language Instruction"] --> C["FiLM-EfficientNet"] B["6-frame RGB History"] --> C C --> D["TokenLearner"] D --> E["Transformer"] E --> F["Action Tokens"] F --> G["Robot Execution"]

RT-1 没有显式地图，没有单独的路径规划器，也不像 Dreamer 一样先学习世界模型再 imagined rollout。

它做的事情很直接：

根据当前看到的图像和任务指令，直接预测下一步动作。

2. RT-1 最核心的东西其实是数据

RT-1 使用 13 台真实机器人，持续约 17 个月收集数据，最终得到约 13 万条真实机器人 episode，覆盖 700+ 个任务。

这些任务包括：

pick object
place object
open / close drawer
move object near another object
put object into drawer
knock object over
...

真正值得关注的不是“700”这个数字，而是：

这些任务之间存在大量可以复用的行为结构。

例如训练数据中可能出现：

pick coke can
pick apple
move apple near bottle

模型反复看到的是不同的：

skill + object + scene

组合。

因此测试时，即使某条完整指令没有在训练集中出现，模型仍然可能重新组合已经学过的 skill、object 和 scene。

这个过程可以这样理解：

flowchart TD A["Many Robot Demonstrations"] --> B["Reusable Skills"] A --> C["Object Concepts"] A --> D["Scene Context"] B --> E["Shared Multi-task Policy"] C --> E D --> E E --> F["New Skill–Object–Scene Combination"] F --> G["Compositional Generalization"]

所以 RT-1 并不是希望机器人“记住 700 个任务”。

它真正想验证的是：

一个统一策略能否从大量任务中学习到可以跨任务复用的行为表示。

3. 模型结构：其实只需要理解四步

RT-1 约有 35M 参数，并且需要在真实机器人上以大约 3 Hz 的频率进行闭环控制。

因此它不是简单堆一个更大的 Transformer，而是在：

模型容量 ↔ 实时推理速度

之间做平衡。

完整结构如下：

RT-1 的模型结构：语言指令通过 USE 编码，并通过 FiLM 调制 EfficientNet；视觉特征经 TokenLearner 压缩后送入 Transformer，最终输出离散动作 token。图片来自 Google Research 官方博客。

3.1 Language → Universal Sentence Encoder

自然语言指令首先经过预训练的 Universal Sentence Encoder（USE），得到语言 embedding。

RT-1 并没有依靠机器人数据从零学习语言，而是直接利用已经训练好的语言语义表示。

3.2 FiLM-EfficientNet：让视觉特征被任务条件化

每帧 RGB 图像经过 ImageNet 预训练的 EfficientNet-B3。

这里真正关键的是 FiLM。

语言 embedding 会直接调制 EfficientNet 中间的视觉特征：

flowchart LR A["Instruction
pick apple"] --> B["USE Language Embedding"] C["RGB Image"] --> D["EfficientNet-B3"] B --> E["FiLM Modulation"] D --> E E --> F["Task-conditioned Visual Features"] F --> G["Focus on Task-relevant Information"]

因此 RT-1 并不是：

先看图 → 最后再拼语言

而是一种明显的 early language fusion。

视觉编码过程本身就已经被当前任务条件化。

3.3 TokenLearner：81 → 8

EfficientNet 最终得到一个：

$$ 9\times9\times512 $$

的空间特征图。

展平以后，每帧有：

$$ 9\times9=81 $$

个视觉 token。

RT-1 一次输入 6 帧，因此如果不压缩：

$$ 6\times81=486 $$

个 token 会全部进入 Transformer。

为满足实时控制要求，RT-1 使用 TokenLearner，把每帧：

$$ 81\rightarrow8. $$

于是最终：

$$ 6\times8=48 $$

个视觉 token 进入 Transformer。

flowchart LR A["One Frame
9 × 9 = 81 Tokens"] --> B["TokenLearner"] B --> C["8 Learned Tokens / Frame"] C --> D["6 Frames"] D --> E["48 Tokens Total"] E --> F["Transformer"]

这一步非常关键。

TokenLearner 不是简单 resize 或 average pooling，而是学习：

当前任务中哪些视觉信息最值得保留。

所以它同时解决了两个问题：

保留任务相关视觉信息；
显著降低 Transformer 计算量。

3.4 Transformer → Action

最后，48 个视觉—语言 token 被送入一个 8 层 decoder-only Transformer。

Transformer 输出的不是文本，而是机器人动作。

因此 RT-1 本质上把机器人控制重新写成：

flowchart LR A["Task-conditioned Visual Tokens"] --> B["8-layer Decoder-only Transformer"] B --> C["Action Tokens"] C --> D["Robot Control"]

这就是 Robotics Transformer 这个名字最直接的含义：

把 Robot Policy 看成一个序列建模问题。

4. 为什么要把机器人动作也变成 Token？

这是 RT-1 中非常值得记住的设计。

机器人机械臂和移动底盘本来都是连续控制量，但 RT-1 没有直接进行连续值回归，而是把每一个连续动作维度划分为：

256 bins

整个过程可以写成：

flowchart LR A["Continuous Action"] --> B["Quantize"] B --> C["256 Discrete Bins"] C --> D["Categorical Prediction"] D --> E["Action Token"] E --> F["Robot Action"]

为什么这样设计？

一个重要原因是机器人示范数据具有明显的 multi-modality。

例如抓取同一个物体：

可以从左边接近；
可以从右边接近；
可以采用不同末端执行器姿态。

这些动作都可能是合理的。

如果使用简单的 Gaussian 去拟合连续动作，模型可能预测多个合理动作之间的“平均值”，而这个平均值反而可能不是一个好动作。

离散 categorical distribution 则可以更自然地表达多个可能的动作模式。

论文消融也显示，替换成连续动作输出后性能明显下降。

所以 RT-1 给出了一个后续 VLA 一直在讨论的问题：

Action Representation 并不是实现细节，而是会直接决定机器人策略能够表达怎样的行为分布。

这条线后来会继续演化：

flowchart LR A["RT-1 / RT-2
Discrete Action Tokens"] --> B["OpenVLA
Open Autoregressive Action Tokens"] B --> C["pi0
Continuous Action + Flow Matching"]

5. 实验结果：重点看泛化，而不是 Seen Task

论文在真实机器人上进行了超过 3000 次 rollout，主要测试：

Seen Tasks：训练中出现过；
Unseen Tasks：新的任务组合；
Distractors：加入额外干扰物；
Backgrounds：改变环境背景。

Model	Seen	Unseen	Distractors	Backgrounds
Gato	65%	52%	43%	35%
BC-Z	72%	19%	47%	41%
BC-Z XL	56%	43%	23%	35%
RT-1	97%	76%	83%	59%

论文的主要对比如下：

RT-1 与 Gato、BC-Z 和 BC-Z XL 在 Seen Tasks、Unseen Tasks、Distractors 与 Backgrounds 四类场景中的成功率对比。图片来自 RT-1 官方项目页。

真正值得看的并不是：

Seen = 97%

而是另外三个结果。

Unseen Tasks：76%

说明 RT-1 可以一定程度上重新组合训练中学到的技能、物体和任务结构，而不是只记忆完整指令。

Distractors：83%

说明加入额外无关物体后，策略仍具有较强鲁棒性。

Backgrounds：59%

这个结果一方面优于基线，另一方面也说明：

视觉环境发生较大变化后，RT-1 仍然明显受到 distribution shift 影响。

所以 RT-1 的泛化更准确地说是：

在大规模但仍有限的机器人数据分布附近，获得更好的组合泛化和场景鲁棒性。

而不是今天所说的完全开放世界泛化。

6. RT-1 真正重要的不是某一个模块，而是 Scaling 思想

如果只记：

EfficientNet
TokenLearner
8-layer Transformer
256 Action Bins

很容易错过这篇论文真正重要的地方。

RT-1 想验证的是：

flowchart LR A["More Diverse Robot Data"] --> B["One Shared Multi-task Policy"] B --> C["Knowledge Sharing Across Tasks"] C --> D["Better Generalization"] D --> E["Absorb More Data Sources"] E --> A

论文后面还测试了：

simulation data；
另一种 Kuka 机器人数据；
与 SayCan 的组合。

这些实验不是理解 RT-1 架构所必需的，但它们共同指向一个很重要的趋势：

统一机器人策略可能从不同任务、不同数据源，甚至不同机器人 embodiment 中吸收可迁移知识。

这就已经开始接近后来 Robot Foundation Model 的基本思想。

7. 把 RT-1 放回 VLA 的发展路线

从今天回头看 RT-1，会发现它是后续很多 VLA 工作的重要起点。

flowchart LR A["RT-1
2022
Scale Robot Data"] --> B["RT-2
2023
Web Knowledge → Action"] --> C["Open X-Embodiment / RT-X
Cross-Embodiment Data"] --> D["OpenVLA
2024
Open + Fine-tunable VLA"] --> E["pi0
2024
Continuous Dexterous Control"]

对应的核心问题也在不断变化：

Paper	核心问题
RT-1	一个统一策略能否从大规模机器人数据中学习大量任务？
RT-2	Web Vision-Language Knowledge 能否迁移到 Robot Action？
Open X-Embodiment / RT-X	Robot Data 能否跨 embodiment 扩展？
OpenVLA	VLA 能否开放、微调和部署？
$\pi_0$	VLA 如何实现连续、高频、灵巧控制？

所以 RT-1 的历史位置可以概括成：

它把“机器人策略能否随着数据和任务规模一起扩展”这个问题真正摆到了桌面上。

最后，用一句话重新理解 RT-1

读完整篇论文以后，我会把 RT-1 概括为：

RT-1 的核心不是提出一个特别复杂的机器人网络，而是证明：当真实机器人数据的规模和多样性足够大，并用一个能够有效吸收这些数据的统一 Transformer 策略进行训练时，机器人控制也开始出现类似 Foundation Model 的 scaling 与泛化趋势。

如果继续沿着这条路线读，下一篇最自然的是 RT-2：

flowchart LR A["RT-1
Learn from Robot Experience"] --> B["RT-2
Bring Web Knowledge into Action"]

RT-1 解决的是：

如何从大量机器人经验中学习统一策略？

RT-2 则进一步追问：

能不能把互联网规模的视觉—语言知识，直接带进机器人动作空间？

RT-2 精读：从 Vision-Language Model 到 Vision-Language-Action

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Anthony Brohan et al., RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control
arXiv:
PDF:
Project:
Blog:

如果 RT-1 解决的问题是：

能不能用一个统一的 Transformer，从大规模、多任务机器人数据中直接学习机器人策略？

那么 RT-2 继续追问：

能不能把互联网规模的视觉—语言知识，直接迁移到机器人动作空间？

RT-2 给出的答案非常直接：

把机器人动作也表示成 Token，然后让一个预训练 Vision-Language Model 同时学习“回答问题”和“输出机器人动作”。

这就是论文中提出的 Vision-Language-Action Model，VLA。

RT-2 的核心思路：将互联网视觉语言数据与机器人动作数据共同训练，使预训练 VLM 直接变成可以控制机器人的 VLA。图片来自 RT-2 官方项目页。

1. 从 RT-1 到 RT-2，真正发生了什么变化？

RT-1 已经证明：

大规模、多任务机器人数据可以训练出一个具有一定泛化能力的统一策略。

但 RT-1 有一个明显的边界：

它知道的世界，基本仍然来自机器人自己见过的数据。

即使 RT-1 已经收集了 13 台机器人、17 个月、约 13 万条示范，与互联网规模的图像和文本数据相比仍然非常小。

真实机器人很难通过亲自交互覆盖：

所有物体；
所有环境；
所有语言表达；
所有语义关系；
所有常识。

而大型 Vision-Language Model 已经通过互联网数据学到了大量这些知识。

所以 RT-2 的核心思路变成：

flowchart LR A["Internet-scale
Vision-Language Knowledge"] --> C["Pre-trained VLM"] B["Robot Experience"] --> C C --> D["Vision-Language-Action Model"] D --> E["Robot Control"]

RT-2 不再从头训练一个机器人 Transformer，而是直接从大型预训练 VLM 出发。

论文主要使用：

PaLI-X：5B 和 55B 版本；
PaLM-E：主要使用 12B 版本。

于是 RT-1 和 RT-2 的差别可以简单总结为：

	RT-1	RT-2
知识来源	Robot Data	Web Data + Robot Data
Backbone	Robot Transformer	Pre-trained VLM
输入	Image + Language	Image + Language
输出	Action Tokens	Text-form Action Tokens
重点	多任务 Robot Policy	Web Knowledge → Robot Action
核心概念	Robotics Transformer	Vision-Language-Action

2. RT-2 最关键的一步：把 Action 当成 Language

理解 RT-2，其实真正需要理解的只有一件事：

机器人动作怎样进入 VLM 的输出空间？

传统 VLM 做的是：

传统 VLM 可以概括为 Image + Text → VLM → Text Tokens。

例如：

Q: What is in the image?
A: A red apple.

而机器人策略需要：

而机器人策略需要的是 Robot Image + Instruction → Policy → Robot Action。

问题就在这里：

VLM 原本输出的是 Language Tokens，而机器人需要的是连续控制量。

RT-2 没有另外设计一个复杂的 Action Head。

它直接把 Robot Action 也编码成 Token。

RT-2 的动作表示：终止标志、三维位置变化、三维旋转变化和夹爪状态共同组成一个机器人动作。图片来自 RT-2 官方项目页。

RT-2 延续 RT-1 的动作空间：

Terminate / Continue
Δ Position X
Δ Position Y
Δ Position Z
Δ Rotation X
Δ Rotation Y
Δ Rotation Z
Gripper

连续动作维度被离散为 256 bins：

flowchart LR A["Continuous Robot Action"] --> B["Quantize Each Dimension"] B --> C["256 Bins"] C --> D["Integer Action IDs"] D --> E["Text-form Action Tokens"]

一个动作于是可以写成类似：

1 128 91 241 5 101 127 217

对于模型来说：

"The object is an apple."

和：

"1 128 91 241 5 101 127 217"

本质上都变成了同一件事：

Next-Token Prediction

这一步非常关键。

因为一旦 Action 和 Language 共享同一个 Token Interface：

因此，一个关键变化是让 Language 与 Action 共享同一种 Token Interface：VLM 既可以生成文本，也可以生成机器人动作 Token。

原本负责图像理解、视觉问答和语言推理的 VLM，就可以在不重构整个网络的情况下被训练成机器人策略。

这就是 Vision-Language-Action 的核心。

3. Co-Fine-Tuning：学会 Action 的同时不要忘掉 Web Knowledge

如果直接拿一个 VLM，只用机器人数据进行 Fine-tuning，会产生一个问题：

模型可能逐渐忘掉预训练阶段从互联网中学到的视觉和语言知识。

但 RT-2 的目的恰恰是利用这些知识。

因此论文采用 Co-Fine-Tuning：

训练后，同一个模型同时保留 Vision→Language、Semantic Reasoning 和 Vision+Language→Action 三类能力。

训练过程中同时存在两类样本。

普通 Vision-Language 数据

Image + Question
→ Natural Language Answer

Robot 数据

Robot Image + Instruction
→ Action Tokens

因此同一个模型同时保留：

flowchart LR A["Vision"] --> D["RT-2 Representation"] B["Language"] --> D C["Robot Experience"] --> D D --> E["Vision → Language"] D --> F["Semantic Reasoning"] D --> G["Vision + Language → Action"]

这也是 RT-2 与“拿一个预训练视觉 Encoder 接到 Robot Policy 前面”最大的不同：

RT-2 希望保留整个 VLM 已经学到的视觉—语言知识，而不只是借一个视觉特征提取器。

论文消融结果也很清楚：

RT-2-PaLI-X	Size	Training	Unseen Average
From scratch	5B	Robot data	9%
Fine-tuning	5B	Robot data	42%
Co-Fine-Tuning	5B	Web + Robot	44%
Fine-tuning	55B	Robot data	52%
Co-Fine-Tuning	55B	Web + Robot	63%

最值得记住的是三个趋势：

因此，预训练、Co-Fine-Tuning 和模型规模共同决定了 RT-2 的泛化能力。

RT-2 的泛化能力并不是简单来自“更多 Robot Data”，而是开始真正利用 Foundation Model Knowledge。

4. 实验到底证明了什么？

RT-2 做了超过 6000 次真实机器人 evaluation trials。

快速精读时不需要看完所有实验，只需要回答两个问题。

4.1 基本机器人控制有没有因为换成大 VLM 而变差？

Seen Tasks：

Model	Seen Tasks
RT-1	92%
RT-2-PaLI-X-55B	91%
RT-2-PaLM-E-12B	93%

基本没有。

所以引入大型 VLM 后，RT-2 仍然保持了与 RT-1 接近的机器人控制能力。

4.2 Web Knowledge 有没有真正迁移到机器人？

论文重点测试：

Unseen Objects
Unseen Backgrounds
Unseen Environments

平均结果：

Model	Unseen Average
R3M	12%
VC-1	10%
RT-1	32%
MOO	35%
RT-2-PaLI-X-55B	62%
RT-2-PaLM-E-12B	62%

最关键的变化是：

Seen Task 几乎没有损失，但 Unseen Average 从 RT-1 的 32% 提升到了 62%。

可以把 RT-2 的实验结论概括成：

实验上可以把 RT-2 理解为：Web 预训练提供语义/视觉知识，Robot Data 提供物理技能，两者在同一个 VLA 中结合。

所以 RT-2 的价值不是：

“把机器人已经会做的事情做得更准。”

而是：

让机器人可以利用 VLM 中已经存在的知识，处理机器人训练数据没有充分覆盖的新物体、新背景和新环境。

5. 什么叫 RT-2 的 Emergent Capability？

这是整篇论文最有意思的部分之一。

研究者故意给机器人一些在机器人训练数据中没有直接出现过的语义任务。

例如：

move apple to 3

模型必须先理解数字符号，然后把这个理解转成机器人动作。

或者：

move banana to the sum of two plus one

这里需要先完成：

2 + 1 = 3

然后再把 banana 移到数字 3。

再比如：

pick up the bag about to fall off the table

模型不仅要识别 bag，还需要理解：

哪个 bag 处于“快掉下桌子”的状态？

论文主要测试：

Symbol Understanding
Reasoning
Person Recognition

结果：

Model	Emergent Task Average
VC-1	11%
RT-1	17%
RT-2-PaLM-E-12B	40%
RT-2-PaLI-X-55B	60%

但这里必须注意一个非常重要的边界：

Web pre-training 并没有让机器人凭空学会新的运动技能。

真正迁移过来的主要是：

flowchart LR A["Web Pre-training"] --> B["Semantic Concepts"] A --> C["Visual Concepts"] A --> D["Relations"] A --> E["Reasoning"] A --> F["World Knowledge"] B --> G["New Semantic Conditions"] C --> G D --> G E --> G F --> G H["Robot Data"] --> I["Physical Motor Skills"] G --> J["RT-2 Behavior"] I --> J

也就是说：

RT-2 更像是在把已有的 Robot Skills 应用到过去没见过的语义条件上，而不是从 Web 数据里凭空学会新的 motor skill。

这个区别非常重要。

6. Chain-of-Thought 也开始进入机器人控制

RT-2 还尝试把中间的自然语言 Plan 和 Action 放在同一个生成序列中。

普通 RT-2：

Instruction → Action

加入 Plan 后：

flowchart LR A["Instruction"] --> B["VLA"] B --> C["Plan Tokens"] C --> D["Action Tokens"] D --> E["Robot Execution"]

例如：

Instruction:
I need to hammer a nail,
what object from the scene might be useful?

Plan:
rock

Action:
1 129 138 ...

RT-2 将自然语言 Plan 与 Action Token 放在同一个生成序列中，展示了将语义推理和机器人控制统一到同一个自回归模型中的可能性。图片来自 RT-2 官方项目页。

这和 SayCan 的思路并不一样。

SayCan 更接近：

LLM → High-level Skill Selection → Separate Low-level Policy

而 RT-2 尝试的是：

flowchart LR A["Vision + Language"] --> B["Single VLA"] B --> C["Reasoning / Plan Tokens"] C --> D["Action Tokens"] D --> E["Robot Control"]

也就是：

Reasoning → Planning → Action 开始有可能出现在同一个 token-generation framework 中。

7. RT-2 真正重要在哪里？

如果只看网络结构，RT-2 甚至没有特别复杂。

它最核心的操作其实只有：

相比 SayCan 的“LLM 选技能 + 独立低层策略”，RT-2 更进一步尝试把 Reasoning / Plan Tokens 与 Action Tokens 放进同一个生成模型。

但这个接口把两个以前相对分离的世界连接了起来：

RT-2 的方法可以概括为：Pre-trained VLM + Robot Action Tokens + Web/Robot Co-Fine-Tuning → VLA。

所以 RT-2 最重要的贡献不是某个 Transformer Block，而是一种范式变化：

机器人策略不一定要从头学习整个世界。可以先让 Foundation Model 从互联网中学习视觉、语言和常识，再通过机器人数据把这些知识 Ground 到 Action Space。

这也是后来 VLA 路线最核心的思想之一。

8. RT-2 的局限，也直接指向了后续 OpenVLA 和 $\pi_0$

RT-2 并没有解决所有问题。

第一，模型非常大

最大的 RT-2-PaLI-X 有：

55B parameters

模型需要运行在多 TPU Cloud Service 上，再通过网络给机器人提供推理。

控制频率大约：

55B → 1–3 Hz
5B → ~5 Hz

这暴露出一个非常现实的矛盾：

Foundation Model 越大，实时 Robot Control 越困难。

第二，Physical Skill 仍然依赖 Robot Data

RT-2 可以理解：

rock can be used as a hammer

但并不意味着它会自动学会一套从未示范过的复杂 hammering motion。

可以把这一边界理解为：

它真正连接的是两个世界：Foundation Model 提供 Vision、Language、World Knowledge 与 Reasoning；Robot Data 则把这些能力 Ground 到 Physical Action 和 Closed-loop Control。

所以 VLM 主要扩展的是：

语义与世界知识

而真正的 physical execution 仍然需要大量 Robot Data。

9. 把 RT-2 放回 VLA 的技术发展路线

现在可以把 RT-2 放到整个 VLA 演化中来看：

flowchart LR A["RT-1
2022
Scale Robot Data"] --> B["RT-2
2023
Web Knowledge → Action"] --> C["Open X-Embodiment / RT-X
Cross-Embodiment Robot Data"] --> D["OpenVLA
2024
Open + Fine-tunable VLA"] --> E["pi0
2024
Continuous Dexterous Control"]

这几篇论文分别在回答不同的问题：

Paper	核心问题
RT-1	Robot Policy 能否随着机器人数据和任务规模扩展？
RT-2	Web Knowledge 能否直接 Ground 到 Robot Action？
Open X-Embodiment / RT-X	Robot Data 能否跨 embodiment 扩展？
OpenVLA	VLA 能否开放、微调和部署？
$\pi_0$	VLA 如何实现连续、高频、灵巧控制？

所以从今天回头看，RT-2 的历史位置非常明确：

它真正建立了 Vision + Language → Action 这条 VLA 主线。

最后，用一句话理解 RT-2

如果 RT-1 的核心是：

让 Transformer 从大量机器人经验中学习统一策略。

那么 RT-2 的核心就是：

把 Robot Action 也变成一种 Token，使互联网规模 Vision-Language Pre-training 中获得的语义知识和推理能力，可以直接进入端到端机器人控制。

可以把这条递进关系记成：

flowchart LR A["RT-1
Learn from Robot Experience"] --> B["RT-2
Ground Web Knowledge into Action"] --> C["OpenVLA
Make VLA Open and Adaptable"] --> D["pi0
Rethink Continuous Action Generation"]

RT-1 让我们看到：

Robot Policy 可以开始 scale with robot data。

RT-2 则进一步告诉我们：

机器人真正需要扩大的，不只是 Robot Data，而是能够被 Ground 到 Action 上的整个 Foundation Model Knowledge。