World Models | XHT | Haotian Xue - AI Research & Robotics

DreamerV3 精读：在世界模型中想象未来，再学习策略

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Danijar Hafner et al., Mastering diverse control tasks through world models
Nature:
arXiv:
Code:

前面读 RT-1、RT-2、OpenVLA 和 $\pi_0$ 时，我们一直在研究一条路线：

Observation + Language → Action

DreamerV3 走的是另一条很重要的路线：

Observation + Action → World Model → Imagine Future → Learn Better Action

它不要求策略只从真实环境交互中直接学习。

相反，DreamerV3 先学习一个环境的 World Model，然后让 Actor 和 Critic 在这个学习出来的潜空间世界中反复“想象未来”，再利用 imagined trajectories 学习策略。

flowchart LR A["Real Environment"] --> B["Experience"] B --> C["Replay Buffer"] C --> D["World Model"] D --> E["Imagine Future Trajectories"] E --> F["Actor + Critic Learning"] F --> G["Improved Policy"] G --> A

如果只用一句话概括 DreamerV3：

不要只在真实世界里试错，而是先学会一个可以预测未来的世界模型，再在模型内部大量练习。

这就是 Dreamer 系列最核心的思想。

1. DreamerV3 真正想解决什么问题？

强化学习算法往往非常依赖 domain-specific tuning。

例如，同一个算法从：

Atari

换到：

Robot Control

再换到：

Minecraft

经常需要重新调整：

reward scale；
learning rate；
entropy coefficient；
network size；
normalization；
exploration strategy。

DreamerV3 的目标更加激进：

能不能使用同一套超参数，在非常不同的任务上直接学习？

论文最终在 8 个 domain、150+ 个任务上使用统一配置，包括：

Atari；
Atari100k；
ProcGen；
DMLab；
BSuite；
Proprio Control；
Visual Control；
Minecraft。

这些任务同时包含：

因此 DreamerV3 的难点不是只支持一种 observation/action，而是让同一套算法同时适应离散/连续动作、pixel/vector 输入、dense/sparse reward 和 2D/3D 环境。

所以这篇论文真正强调的不是：

“DreamerV3 在某一个 benchmark 上拿到最高分。”

而是：

一个 Model-Based RL 算法能否在完全不同的环境里保持稳定，而不依赖大量人工调参。

2. DreamerV3 的核心：World Model + Actor + Critic

DreamerV3 只有三个核心组件：

三个核心组件的职责很直接：World Model 预测未来，Critic 评价未来，Actor 选择通向高价值未来的动作。

World Model

负责学习：

如果当前处于某个状态，并执行某个动作，未来会发生什么？

Critic

负责判断：

这个 imagined future 到底有多好？

Actor

负责选择：

怎样行动才能到达价值更高的未来？

真正关键的是：

Actor 和 Critic 的主要训练数据，不是直接来自真实环境，而是来自 World Model 产生的 imagined trajectories。

这就是 Dreamer 与普通 Model-Free RL 最大的区别。

3. 一张图看懂 Dreamer 的 World Model

DreamerV3 的潜空间世界模型。图片来自 arXiv HTML 版论文。

DreamerV3 使用 Recurrent State-Space Model（RSSM）。

它的潜状态不是单一向量，而由两部分组成：

$$ s_t = \{h_t,z_t\}. $$

其中：

$h_t$：deterministic recurrent state；
$z_t$：stochastic discrete state。

可以这样理解：

flowchart LR X["Observation x_t"] --> E["Encoder"] H["Previous h_{t-1}"] --> R["Recurrent Dynamics"] Z0["Previous z_{t-1}"] --> R A["Previous Action a_{t-1}"] --> R R --> HT["Deterministic State h_t"] HT --> P["Prior p(z_t | h_t)"] HT --> Q["Posterior q(z_t | h_t, x_t)"] E --> Q Q --> Z["Stochastic State z_t"] HT --> S["Model State s_t"] Z --> S S --> RW["Reward Prediction"] S --> CT["Continue Prediction"] S --> DEC["Observation Reconstruction"]

这里最容易混淆的是 Prior 和 Posterior。

Posterior：训练时看到了真实 observation

$$ q_\phi(z_t\mid h_t,x_t) $$

它可以利用当前真实观测 $x_t$ 推断潜状态。

Prior：想象未来时看不到真实 observation

$$ p_\phi(z_t\mid h_t) $$

它只能依靠模型自己的 dynamics 来预测下一个潜状态。

所以训练 World Model 的核心任务之一就是：

让 Prior 学会逼近 Posterior。

这样到了 imagined rollout 阶段，即使没有真实未来图像，模型也能够继续往前预测。

4. 为什么要在 Latent Space 中想象，而不是直接生成未来视频？

DreamerV3 的 World Model 确实可以重建图像。

论文甚至展示了长时间 open-loop prediction：

给定前几个 context frames 和后续动作后，World Model 在不再读取真实中间图像的情况下预测后续画面。图片来自 arXiv HTML 版论文。

但 Dreamer 的真正目的不是：

生成好看的未来视频。

真正用于策略学习的是潜状态：

$$ s_t=\{h_t,z_t\}. $$

也就是说，策略学习发生在一个紧凑的 latent world 中：

flowchart LR A["Real Pixel Observation"] --> B["Encoder"] B --> C["Latent State"] C --> D["World Model Dynamics"] D --> E["Imagined Latent State"] E --> F["Imagined Latent State"] F --> G["..."] E --> R["Predicted Reward"] F --> R2["Predicted Reward"]

这样做的好处很直接：

不需要 Actor 直接处理完整高维图像；
imagination 不需要每一步都生成真实 pixel；
可以在 latent space 中快速 rollout；
世界模型可以复用真实经验很多次。

所以 Dreamer 更准确的理解不是：

“用视频生成模型做 RL。”

而是：

学习一个对控制有用的 latent dynamics model，然后在这个 latent dynamics 中训练策略。

5. World Model 到底学习什么？

World Model 从状态 $s_t=\{h_t,z_t\}$ 中预测三类关键信息：

flowchart TD S["Latent State s_t"] --> X["Observation Reconstruction"] S --> R["Reward Prediction"] S --> C["Continue Prediction"] A["Action a_t"] --> D["Dynamics"] S --> D D --> SN["Next Latent State"]

分别对应：

Observation

$$ \hat{x}_t $$

保证 latent representation 中仍然保留足够的环境信息。

Reward

$$ \hat r_t $$

告诉模型 imagined future 中发生的事情是否有价值。

Continue

$$ \hat c_t $$

预测 episode 是否继续。

World Model 的总训练目标可以概括成：

$$ \mathcal L_{\text{WM}}

\beta_{\text{pred}}\mathcal L_{\text{pred}} + \beta_{\text{dyn}}\mathcal L_{\text{dyn}} + \beta_{\text{rep}}\mathcal L_{\text{rep}}, $$

论文使用：

$$ \beta_{\text{pred}}=1,\qquad \beta_{\text{dyn}}=1,\qquad \beta_{\text{rep}}=0.1. $$

快速阅读时不用死记公式。

真正需要理解的是：

因此一个 latent state 既要保留足够的信息用于 reconstruction，也要能够预测 reward、episode continuation 和下一时刻 latent state。

模型既不能：

只会重建图像，但预测不了未来。

也不能：

未来特别容易预测，但 latent 里面什么有用信息都没有。

DreamerV3 的很多 robustness design，其实都在解决这个平衡问题。

6. 最关键的一步：在 World Model 中 Imagine

World Model 学好以后，Dreamer 并不会每次都去真实环境采集新轨迹。

它可以从 Replay Buffer 中取一个真实状态，然后开始：

Imagined Rollout

论文中 imagination horizon 为：

$$ T=16. $$

整个过程是：

flowchart LR A["Replay State s_0"] --> B["Actor selects a_0"] B --> C["World Model predicts s_1, r_1"] C --> D["Actor selects a_1"] D --> E["World Model predicts s_2, r_2"] E --> F["..."] F --> G["16-step Imagined Trajectory"]

这条 imagined trajectory 包含：

$$ (s_t,a_t,r_t,c_t). $$

然后：

Actor 从 imagined states 中选择动作；
Critic 评估 imagined states 的未来 return；
两者都不需要真实 environment step。

所以 Dreamer 的数据利用方式是：

一条真实经验可以被 Replay Buffer 和 World Model 反复利用，进一步产生大量 imagined trajectories 来更新 Actor-Critic。

这正是 Model-Based RL 提升 sample efficiency 的基本原因。

7. Critic：怎样评价 imagined future？

Critic 学习的是 return distribution。

DreamerV3 使用 bootstrapped $\lambda$-return：

$$ R_t^\lambda

r_t+ \gamma c_t \left[ (1-\lambda)v_t + \lambda R_{t+1}^{\lambda} \right]. $$

其中：

$$ \gamma=0.997. $$

不用死记这个式子。

它表达的核心就是：

短期相信 World Model 预测的 reward，长期则逐渐借助 Critic 的 value estimate。

Critic 将 predicted rewards 与自身的 value estimate 组合成 $\lambda$-return，用有限长度 imagination 近似更长期的未来价值。

因为 imagination horizon 只有 16 steps，不可能直接模拟无限未来。

Critic 的作用就是：

在有限 imagination 后面补上长期价值。

8. Actor：直接在 imagined trajectory 里学

Actor 的输入同样是：

$$ s_t=\{h_t,z_t\}. $$

它学习：

$$ a_t\sim\pi_\theta(a_t\mid s_t). $$

DreamerV3 对连续动作和离散动作统一采用 REINFORCE estimator，并加入 entropy regularization。

因此策略学习可以简单理解为：

Actor 直接在 imagined states 上学习动作，并通过 Critic 给出的 return signal 更新策略；DreamerV3 对连续和离散动作统一采用 REINFORCE estimator。

这里一个很漂亮的地方是：

同一个 Actor-Critic learning framework 同时支持 continuous 和 discrete action spaces。

这也是 DreamerV3 能跨很多 domain 使用一套配置的重要基础。

9. DreamerV3 真正的秘密：不是新架构，而是一整套 Robustness Tricks

如果只知道：

RSSM + Actor-Critic + Imagination

其实更像是在理解 Dreamer 系列，而不是 DreamerV3。

DreamerV3 真正解决的是：

怎样让这套算法不用针对每个 domain 重新调参？

论文加入了一整套 robustness techniques：

flowchart TD A["DreamerV3 Robustness"] --> B["KL Balancing + Free Bits"] A --> C["1% Uniform Mixing"] A --> D["Symlog / Symexp"] A --> E["Two-hot Prediction"] A --> F["Percentile Return Normalization"] B --> G["Stable World Model"] C --> G D --> H["Stable Prediction Across Scales"] E --> H F --> I["Stable Actor Learning"] G --> J["One Configuration Across Domains"] H --> J I --> J

其中最值得理解的是下面三个。

10. Symlog：不同任务的数值尺度差太大怎么办？

不同环境中的 observation、reward 和 return 可能差很多个数量级。

直接使用 squared loss 时：

大数值 target 会产生非常大的 gradient。

DreamerV3 使用：

$$ \operatorname{symlog}(x)

\operatorname{sign}(x)\ln(|x|+1). $$

它的逆变换是：

$$ \operatorname{symexp}(x)

\operatorname{sign}(x)(e^{|x|}-1). $$

Symlog 的作用可以直观理解成：

Symlog 会压缩绝对值很大的正负信号，同时在零附近近似恒等映射，因此可以缓解不同 domain 数值尺度差异造成的梯度不稳定。

它有两个重要特点：

正负值都可以处理；
小数值附近近似 identity，大数值则被 logarithmically compressed。

所以同一套 loss 不容易因为不同 domain 的数值尺度而崩掉。

11. Two-hot：为什么 Reward 和 Value 不直接做普通回归？

Reward 和 Return 往往：

noisy；
multi-modal；
跨环境尺度差异巨大。

DreamerV3 没有让 reward head 和 critic 简单输出一个 Gaussian mean。

而是：

把连续值投到 exponentially spaced bins 上，再使用 two-hot target。

例如某个 target 落在两个 bin 中间：

bin_k target bin_k+1
 |-----------|-------------|
 0.7 0.3

于是 target 不是 one-hot：

[0, 0, 1, 0, ...]

而是类似：

[0, 0, 0.7, 0.3, 0, ...]

这样最终仍可以恢复连续预测值，但训练变成更稳定的 categorical cross-entropy。

最重要的是：

gradient magnitude 不再直接由 target 的绝对数值大小决定。

这对跨 domain 学习非常重要。

12. KL Balancing + Free Bits：不要让 Latent Space 崩掉

RSSM 需要让：

$$ p_\phi(z_t\mid h_t) $$

预测：

$$ q_\phi(z_t\mid h_t,x_t). $$

但如果 KL regularization 太强，模型可能选择一个非常容易预测、却几乎不包含 observation information 的 latent representation。

DreamerV3 使用 free bits：

当 KL 已经低于 1 nat 时，不再继续强迫它变得更小。

flowchart LR A["Posterior q(z|h,x)"] --> C["KL Alignment"] B["Prior p(z|h)"] --> C C --> D{"KL > 1 nat?"} D -->|Yes| E["Continue Dynamics / Representation Alignment"] D -->|No| F["Stop Pushing KL Lower"] F --> G["Preserve Informative Latent Features"]

另外 categorical latent 还混入：

99% predicted distribution
+
1% uniform distribution

避免概率变成完全 deterministic，从而减少 KL spike。

论文消融显示：

KL balancing + free bits 是最重要的一组 robustness techniques。

13. Return Normalization：为什么 Actor 能跨不同 Reward Scale？

Actor 中 entropy regularization 的合理权重取决于 reward scale。

例如：

Environment A reward ≈ 1
Environment B reward ≈ 10000

如果直接用同一个 entropy coefficient，很难同时适配。

DreamerV3 不使用简单 min/max，而根据 batch 中 return 的：

$$ 95\%-5\% $$

percentile range 估计尺度：

$$ S= \operatorname{EMA} \left( \operatorname{Per}_{95}(R^\lambda)

\operatorname{Per}_{5}(R^\lambda) \right). $$

直观上：

Return normalization 使用 batch 中 5th–95th percentile 的范围而不是 min/max，从而降低 outlier 对 Actor 学习和 entropy trade-off 的影响。

使用 percentile 而不是 min/max，可以降低 outlier 的影响。

这也是 DreamerV3 能使用固定 entropy scale 跨 domain 工作的关键之一。

14. 实验真正厉害在哪里？

DreamerV3 最重要的实验结论不是某一个 benchmark 的单项 SOTA。

而是：

同一套超参数跨 8 个 domain、150+ tasks 工作。

论文的 benchmark summary：

DreamerV3 使用统一配置与多个针对特定 benchmark 调优的 expert algorithms 比较。图片来自 arXiv HTML 版论文。

论文覆盖：

Domain	主要挑战
Atari	离散动作、视觉输入
Atari100k	极低数据预算
ProcGen	Procedural generalization
DMLab	3D spatial / temporal reasoning
BSuite	Exploration、memory、reward scale
Proprio Control	连续控制、vector input
Visual Control	连续控制、pixel input
Minecraft	Sparse reward、long horizon、open world

DreamerV3 在这些 domain 上匹配或超过很多专门算法，并且在所有 domain 上明显优于论文使用的统一 PPO baseline。

15. Minecraft Diamond 为什么这么重要？

Minecraft 是 DreamerV3 最吸引人的实验。

获取 diamond 需要完成一连串前置行为：

Minecraft Diamond 任务需要探索、资源收集、工具制作和长时序 credit assignment；DreamerV3 在论文设置下不使用 human demonstrations 或 domain-specific curriculum，从 sparse rewards 学会获得 diamond。

困难在于：

sparse reward；
long horizon；
exploration；
每次都是 procedurally generated world；
从 pixels 开始学习。

论文报告 DreamerV3 在默认配置下、不使用 human demonstration，也不使用 domain-specific curriculum，能够从头学习获得 diamond。

但这里也需要注意论文的实验边界：

Minecraft 使用 MineRL competition action space，其中包含 abstract crafting actions；论文还沿用前人设置加速 block breaking。

所以它并不是：

“直接从原始键盘鼠标操作无任何环境设计地学会完整 Minecraft。”

这个边界在理解结果时很重要。

16. Scaling：World Model 也出现了规模效应

DreamerV3 还测试了从：

12M → 400M parameters

的多个模型规模。

结果显示：

模型越大，不仅最终 performance 更高，而且达到成功策略所需要的真实环境 interaction 更少。

也就是：

flowchart LR A["More Compute"] --> B["Larger World Model"] A --> C["Higher Replay Ratio"] B --> D["Better Prediction / Representation"] C --> E["More Learning per Real Experience"] D --> F["Higher Task Performance"] E --> F D --> G["Lower Environment Interaction"] E --> G

这点非常值得注意。

在 Model-Based RL 中，更多计算不仅可以提升性能，还可能直接换来：

更高的真实世界 sample efficiency。

对于机器人这种真实 interaction 昂贵的任务，这一点尤其重要。

17. DreamerV3 和 VLA 到底是什么关系？

这是我觉得最值得把 DreamerV3 放进前面阅读路线中的原因。

VLA 和 Dreamer 其实在解决不同的问题。

RT-2 / OpenVLA / $\pi_0$

更接近：

对于 RT-2 / OpenVLA / $\pi_0$，主要计算路径更接近 Vision + Language → Policy/VLA → Action。

核心问题是：

怎样直接从多模态 observation 产生泛化能力强的机器人动作？

DreamerV3

更接近：

DreamerV3 则更接近 Observation + Action → World Model → Future Prediction → Imagination → Actor-Critic → Action。

核心问题是：

怎样学习环境 dynamics，并利用 imagined future 提升策略学习效率？

两条路线的区别可以总结为：

	VLA	DreamerV3
核心	Direct Policy	Learned World Model
主要知识	Vision / Language / Robot Data	Environment Dynamics
策略训练	Demonstration / Policy Learning	Imagined Rollouts
Future Prediction	通常隐式	显式核心模块
强项	Semantic Generalization	Sample-efficient Control
关键问题	What action?	What happens if I take this action?

所以从研究角度看，两者并不是互斥路线。

反而非常自然地可以继续追问：

VLA 负责理解复杂语义和生成动作，World Model 负责预测动作之后未来会发生什么，二者能不能进一步结合？

这也是当前具身智能中非常值得研究的问题。

18. DreamerV3 的局限也要看清楚

DreamerV3 很强，但它并不是“已经学会通用世界知识”。

第一，它仍然需要 Environment Interaction

DreamerV3 不依赖 human demonstration，但数据仍然来自 agent 自己与环境交互。

也就是说：

No Human Data
≠
No Environment Data

第二，World Model 预测错误会影响 Policy

Actor 和 Critic 在 imagined trajectory 中训练。

因此：

如果 World Model 在策略关心的区域预测错了，Actor 就可能学习利用模型错误。

这一直是 Model-Based RL 的核心风险之一。

第三，它不是 Internet-pretrained World Model

DreamerV3 的 World Model 是针对当前 environment 从 agent experience 中学习的。

它和今天讨论的：

large video world model
internet-scale pretraining
general physical foundation model

还不是同一个概念。

论文的结论本身也把：

从 internet videos 学习 world knowledge，以及跨 domain 学习单一 world model

列为未来方向。

最后，用一句话理解 DreamerV3

如果 VLA 的问题是：

“看到现在，我应该做什么？”

那么 DreamerV3 的核心问题更像：

“如果我这样做，未来会发生什么？哪一种未来更值得去？”

整个算法可以最后压缩成：

所以 DreamerV3 的核心循环可以压缩成：Interact → Learn World Model → Imagine Futures → Improve Policy → Interact Again。

DreamerV3 真正重要的地方，不只是提出了一个 World Model。

而是证明：

通过 RSSM 潜空间建模、imagined Actor-Critic learning，以及 symlog、two-hot、KL balancing、free bits、return normalization 等一整套稳定化设计，Model-Based RL 可以用同一套超参数跨越非常不同的任务，并随着模型规模和计算量增加获得更好的性能与数据效率。

如果把它放到前面已经读过的具身智能路线中，我会这样记：

flowchart TD A["VLA Line
RT-1 → RT-2 → OpenVLA → pi0"] --> B["Understand Observation / Language
Generate Action"] C["World Model Line
DreamerV1 → DreamerV2 → DreamerV3"] --> D["Learn Dynamics
Imagine Future"] B --> E["Future Embodied Agent"] D --> E

真正有意思的下一步，正是在这两条线的交汇处：

让智能体既具备 Foundation Model 的语义理解能力，又具备 World Model 的未来预测和 imagined decision-making 能力。

GaussianDWM 精读：用 3D Gaussian 统一驾驶场景理解与生成

Fri, 07 Aug 2026 00:00:00 +0000

Paper: Tianchen Deng et al., GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation
Venue: CVPR 2026, pp. 10656–10667
arXiv:
CVPR:
Code:

前面读 DreamerV3 时，我们看到的 World Model 是：

学习环境 dynamics，然后在 latent world 中想象未来，用 imagined trajectories 训练 Actor-Critic。

GaussianDWM 虽然同样叫 World Model，但它走的是另一条路线。

它更关心：

能不能构建一个显式的三维世界表示，让模型不仅可以生成未来，还能够真正理解“场景里有什么、在哪里、应该怎么描述和规划”？

所以这篇论文最核心的关键词不是 RL，而是：

3D Gaussian + Language + Scene Understanding + Multi-Modal Generation

传统 Driving World Model 更偏向“预测未来画面”，而 GaussianDWM 进一步把目标扩展到显式 3D scene understanding、language reasoning 和 multi-modal generation。

如果只用一句话概括 GaussianDWM：

把语言增强的 3D Gaussian 作为统一 World Representation，让同一个世界模型既可以回答驾驶场景问题，也可以生成空间变化和未来时刻的 RGB-D 场景。

1. GaussianDWM 到底想解决什么问题？

很多 Driving World Model 的核心任务是：

Current Driving Scene
→ Future Video / Image / Point Cloud

例如预测：

车辆继续向前后画面会怎样变化；
自车移动以后新的视角是什么；
一两秒后的街景会是什么样。

这些模型在 generation 上越来越强，但论文认为还有一个明显问题：

会生成未来，不等于真正理解三维世界。

一个驾驶系统不仅需要生成：

“未来长什么样？”

还需要回答：

前方有哪些车？
某个目标的 3D 位置在哪里？
这个目标未来会怎样运动？
ego vehicle 应该怎么走？
不同 camera view 中的目标是不是同一个物体？

因此 GaussianDWM 想把两个长期相对独立的方向统一：

因此 GaussianDWM 想统一两件事：一边做 Scene Understanding，一边做 Scene Generation，并让两者共享同一套 3D world representation。

这也是论文标题里：

Unified Scene Understanding and Multi-Modal Generation

真正的含义。

2. 为什么是 3D Gaussian，而不是 BEV 或 Point Cloud？

在 GaussianDWM 之前，很多驾驶 VLM / World Model 会把三维信息表示成：

BEV Features
Point Clouds
Depth Features

然后再把这些特征投影到语言模型的 embedding space。

问题是：

这种对齐通常仍然停留在 feature-level，语言语义与真实三维空间之间缺乏显式对应。

GaussianDWM 的核心选择是 3D Gaussian Splatting（3DGS）。

一个 Gaussian primitive 本身带有明确的三维属性：

$$ G_i=(x_i,o_i,s_i,r_i,f_i), $$

其中可以粗略理解为：

$x_i$：3D position；
$o_i$：opacity；
$s_i$：scale；
$r_i$：rotation；
$f_i$：language / semantic feature。

最重要的是最后一个：

GaussianDWM 不只给 Gaussian 存 geometry 和 appearance，还把语言特征直接嵌入每一个 Gaussian primitive。

于是：

flowchart TD A["3D Gaussian Primitive"] --> B["3D Position"] A --> C["Scale"] A --> D["Rotation"] A --> E["Opacity"] A --> F["Language Feature"] B --> G["Geometry"] C --> G D --> G E --> H["Appearance / Rendering"] F --> I["Semantic Meaning"] G --> J["Language-aligned 3D World Representation"] H --> J I --> J

这一步非常重要。

它让“某个文本概念”和“真实三维空间中的 Gaussian”之间建立更加直接的 correspondence。

3. 一张图看懂 GaussianDWM

GaussianDWM 的整体框架。图片来自 arXiv HTML 版论文 Figure 2。

整篇论文其实可以拆成三个模块：

flowchart LR A["Multi-view Images + 3D Gaussians"] --> B["World Tokenizer"] Q["Text Query"] --> B B --> C["Compact 3D World Tokens"] C --> D["Scene Understanding LLM"] D --> E["Text Answer"] D --> F["High-level World Knowledge"] F --> G["Dual-condition Generator"] H["Low-level Image / Geometry Condition"] --> G G --> I["RGB Generation"] G --> J["Depth Generation"] G --> K["Spatial / Temporal Future"]

对应论文三部分：

World Tokenizer
Scene Understanding
Multi-modal Scene Generation

其中真正把整个系统串起来的是：

World Knowledge

理解模块不仅输出答案，还提取一个高层语言条件，继续指导后面的生成模型。

这也是 GaussianDWM 相比“一个 VLM + 一个独立视频生成器”更有意思的地方。

4. World Tokenizer：把真实三维世界变成 LLM 能读的 Token

这是整篇论文最值得理解的模块。

原始驾驶场景中的 3D Gaussians 非常多。

一个场景可能包含：

几十万级 Gaussian primitives

如果全部直接塞给 LLM：

hundreds of thousands of Gaussians
→ hundreds of thousands of tokens
→ impossible

所以 GaussianDWM 首先需要解决：

如何把一个稠密的 3D Gaussian World 压缩成少量但有用的 World Tokens？

整个过程是：

flowchart LR A["Dense 3D Gaussian Scene"] --> B["Language-augmented Gaussians"] B --> C["Gaussian Projector"] C --> D["Task-aware Sampling"] D --> E["Compact 3D Gaussian Tokens"] E --> F["LLM"]

这就是论文所谓的：

World Tokenizer

5. Language-Augmented Gaussian：先把语言放进 3D 世界

作者基于 LangSplat 构建 3D Gaussian language field。

语言特征来自：

SAM
↓
CLIP Semantic Features
↓
3D Gaussian Language Features

论文还做了一个很实际的压缩。

原始 CLIP feature：

$$ D=512. $$

通过 scene-wise language autoencoder 压到：

$$ d=3. $$

之后再通过 decoder 恢复到 CLIP feature space。

这说明作者面对的一个实际问题是：

3D Gaussian 数量极多，即使每个 Gaussian 只多存一点语义特征，总 memory 也会迅速膨胀。

因此这一步同时实现：

作者把 512 维 CLIP semantic feature 通过 scene-wise language autoencoder 压缩到 3 维后存入 Gaussian primitive，再通过 decoder 恢复语义表示，以显著降低 dense 3DGS 的 memory cost。

这里的“3D”指的是 3-dimensional feature vector，不是“三维空间”本身。

这是阅读论文时比较容易混淆的一点。

6. Gaussian Projector：Geometry + Appearance + Semantics 进入统一空间

仅仅把 language feature 放进 Gaussian 还不够。

LLM 需要的仍然是统一维度的 Token。

所以对于每个 Gaussian：

$$ G_i=(x_i,o_i,s_i,r_i,f_i), $$

作者分别编码：

position；
opacity；
scale；
rotation；
semantic feature。

其中 3D position 会先使用 Fourier embedding，论文设置：

$$ L=10. $$

然后不同属性经过各自的 MLP projector，被映射到统一的 4096-dimensional feature space。

最后利用可学习权重融合成一个 Gaussian token：

$$ \mathcal G_i

\sum_p \alpha_p h_i^p. $$

快速理解时不用记公式，记住这件事就够了：

最终，每个 Gaussian 的 position、opacity、scale、rotation 和 semantic feature 分别投影后融合成统一 Gaussian Token，再送入 LLM feature space。

所以一个 Gaussian Token 不只是：

“这里有一个三维点。”

而更接近：

“这里有一个具有位置、大小、朝向、可见性和语义信息的三维场景 primitive。”

7. Task-Aware Sampling：不是所有 Gaussian 都值得给 LLM 看

这是我认为论文第二个非常漂亮的设计。

即使完成 Gaussian Tokenization，场景中的 Gaussian 数量仍然太大。

所以作者不固定使用一种 sampling，而是根据任务来决定：

LLM 到底需要看全局，还是只需要看某一小块区域？

Scene Understanding / Planning

对于需要全局理解的任务：

scene caption
region description
planning

需要保留整体场景结构。

作者使用：

Uniform Sampling + Top-k Sampling

最终从大量 Gaussians 中选择：

$$ N=4096 $$

个 token 给 LLM。

2D / 3D Visual Grounding

如果问题是：

“后方相机里这辆车的 3D bounding box 是什么？”

真正有价值的是和这个 query 相关的 Gaussian。

因此进一步加入：

Language-Guided Similarity Sampling

flowchart TD A["Dense Gaussian Tokens"] --> B{"What task?"} B -->|"Global Understanding / Planning"| C["Uniform + Top-k Sampling"] C --> D["4096 Global Tokens"] B -->|"2D / 3D Grounding"| E["Text–Gaussian Similarity"] E --> F["Keep Query-relevant Gaussians"] D --> G["LLM"] F --> G

这其实和现代大模型里的 Token Pruning / Query-conditioned Retrieval 很像。

区别是：

这里被检索的不是文本 chunk，而是真实三维世界中的 Gaussian primitives。

8. Scene Understanding：让 LLM 直接“读”三维世界

Gaussian tokens 与 text tokens 进入 LLM。

论文最终使用：

Qwen3-8B

作为语言模型。

LLM 输出两类东西：

Qwen3-8B 同时输出文本答案和高层 World Knowledge feature；前者用于理解任务，后者继续作为 scene generation 的高层条件。

这里第二个输出尤其重要。

LLM 不只是回答：

“前面有几辆车？”

它内部提取出的高层世界知识还会继续传给 generation module。

这让：

Understanding

和：

Generation

真正发生了信息交互。

9. 它到底理解哪些 Driving Task？

论文在 NuInteract 上主要测试四类场景理解任务：

Task	模型需要做什么
RD&P	Region Description & Perception
2D VG	在图像中找到 query 对应目标
3D VG	给出目标的三维空间位置
Planning	根据当前场景判断 ego vehicle 行为

例如：

How should the ego car proceed?
→ Go Straight

或者：

Find all cars in CAM_BACK
and provide their 3D bounding boxes.

论文中的定性结果非常直观：

GaussianDWM 同时进行 2D/3D grounding、场景问答、规划以及 RGB-D 空间/时间生成。图片来自 arXiv HTML 版论文 Figure 3。

这张图其实非常适合概括论文：

同一个 3D Gaussian World 既能被“问问题”，也能被“向未来生成”。

如果只想生成未来场景，传统方法可以直接使用：

image
+
geometry / point cloud
+
camera pose

作为生成条件。

GaussianDWM 认为这仍然不够。

因为这些条件告诉生成器：

像素和几何应该在哪里。

但并没有显式告诉它：

这个世界正在发生什么。

所以论文提出 Dual-Condition Generation：

flowchart LR A["Low-level Condition
Image + Geometry"] --> D["Multi-modal Generator"] B["High-level Condition
LLM World Knowledge"] --> D C["Noisy RGB / Depth Latent"] --> D D --> E["RGB"] D --> F["Depth"] D --> G["Spatial Generation"] D --> H["Temporal Generation"]

可以把两个 condition 的职责理解为：

Low-level Condition

负责：

texture；
local geometry；
image style；
precise spatial constraint。

High-level World Knowledge

负责：

semantic context；
object relationships；
scene-level reasoning；
temporal intent / trajectory information。

这就是论文所谓：

high-level world knowledge + low-level image condition

联合指导生成。

11. Spatial Generation 与 Temporal Generation 是两件不同的事

GaussianDWM 同时支持两种“未来”。

Spatial Generation

不是时间变化，而是：

如果 camera / ego position 改变，场景应该长什么样？

论文测试 novel-view synthesis，例如：

±1 m
±2 m
±4 m

的 viewpoint shifts。

Temporal Generation

是真正的：

1 秒或 2 秒以后，场景会怎样变化？

论文方法部分支持：

+1 s
+2 s

未来预测。

整个区别可以表示成：

因此，Spatial Generation 回答“换一个位置会看到什么”，Temporal Generation 回答“过一段时间世界会变成什么样”。

这也是为什么 3D scene representation 很重要：

Spatial generation 需要 geometry，Temporal generation 又需要 world semantics 和 motion context。

12. 训练不是一次完成，而是三阶段

论文使用一个比较典型的模块化训练流程：

flowchart LR A["Stage 1
World Tokenizer + Projector + Sampling"] --> B["Integrate with LLM"] B --> C["Alignment + LoRA Fine-tuning"] C --> D["Stage 2
Multi-modal Generation"] D --> E["RGB → RGB-D → High-resolution RGB-D"] E --> F["Stage 3
End-to-End Joint Optimization"] F --> G["Unified Understanding + Generation"]

Scene Understanding 部分又包含：

Alignment Stage

冻结整个 VLM，训练 aligner：

5k warm-up steps

LLM Adaptation

再通过：

LoRA
30k steps

适配 LLM。

论文的第一阶段模型训练使用 16 NVIDIA A100 GPUs。

Generation 部分则逐步从：

224 × 400 RGB
↓
224 × 400 RGB-D
↓
424 × 800 RGB-D

训练到高分辨率生成，并使用 rectified-flow / v-prediction 目标。

13. 实验：3D Gaussian 对 Scene Understanding 到底有没有帮助？

在 NuInteract 上，GaussianDWM 的总体平均分：

Model	Avg.
InternVL2-8B	45.42
DriveMonkey	52.12
GaussianDWM	59.23

论文报告相对前一个 SOTA 的平均提升约 13.6%。

更有价值的是 ablation：

Setting	Avg.
Fine-tuned, no Gaussian	53.32
+ Gaussian, Random Sampling	55.21
+ Top-k + Uniform	58.93
+ Similarity Sampling	59.23

这个结果非常清楚：

flowchart LR A["2D / VLM Features Only
53.32"] --> B["+ 3D Gaussian
55.21"] B --> C["+ Better Global Sampling
58.93"] C --> D["+ Query-aware Similarity
59.23"]

也就是说，性能提升并不只来自：

“多塞一种 3D feature。”

更关键的是：

显式 3D Gaussian representation；
合理的 token selection；
query-conditioned semantic sampling。

14. Scene Generation：高层 World Knowledge 真的有用吗？

GaussianDWM 在 nuScenes 上测试 RGB-D novel-view synthesis。

论文 Table 3 中：

Method	FID ±1m ↓	FVD ±1m ↓	FID ±2m ↓	FVD ±2m ↓
StreetGaussian	32.12	153.45	43.24	256.91
OmniRe	31.48	152.01	43.31	254.52
DiST-S	10.12	45.14	12.97	68.80
GaussianDWM	8.36	44.50	11.27	68.17

在 $\pm1$m 和 $\pm2$m shift 下，GaussianDWM 的结果非常强。

论文还测试了 $\pm4$m：

GaussianDWM: FID 18.81 / FVD 116.40
DiST-S: FID 17.57 / FVD 105.29

这里有一个值得注意的小细节：

论文正文声称在 extreme viewpoint shifts 下整体优于已有方法，但 v3 Table 3 中 $\pm4$m 的 FID/FVD 数值实际上是 DiST-S 更低。

所以更稳妥的结论是：

GaussianDWM 在较大的 novel-view shift 下保持很强的生成质量，尤其在 $\pm1$m / $\pm2$m 上达到表中最佳结果；但不能简单概括成每一个 shift 和指标都绝对第一。

这类表格细节比只看论文摘要更值得注意。

15. 这篇论文真正重要的不是“3DGS + LLM”

如果只把 GaussianDWM 理解成：

“把 3D Gaussian 接到 Qwen 前面。”

其实会低估它。

真正的逻辑是：

GaussianDWM 真正形成的是一条 Represent the World → Understand the World → Use Understanding to Generate the World 的闭合信息链。

它试图构建的是一个闭合的信息链：

Represent the World → Understand the World → Use Understanding to Generate the World

所以“Understanding”和“Generation”不是两个独立任务。

理解模块得到的 World Knowledge 会反过来帮助 generation。

这才是论文里 Unified World Model 更核心的地方。

16. GaussianDWM 和 DreamerV3 都叫 World Model，但完全不是一类东西

这一点非常值得放到一起理解。

DreamerV3：Decision-centric World Model

DreamerV3 的核心是：

flowchart LR A["State + Action"] --> B["Latent Dynamics"] B --> C["Imagine Future States / Rewards"] C --> D["Actor-Critic"] D --> E["Better Action"]

它真正关心：

如果我采取这个动作，未来会发生什么？

World Model 的最终目标是 Decision Making。

GaussianDWM：Representation / Generation-centric World Model

GaussianDWM 的核心更接近：

flowchart LR A["Multi-view Observation"] --> B["3D Gaussian World"] B --> C["Scene Understanding"] B --> D["Language Reasoning"] B --> E["Spatial Generation"] B --> F["Temporal Generation"]

它真正关心：

世界是什么、在哪里、如何理解，以及未来视觉场景会怎样变化？

所以可以这样区分：

	DreamerV3	GaussianDWM
World Representation	Latent RSSM	Explicit 3D Gaussian
Action-conditioned Dynamics	核心	非核心
Future Prediction	Latent state / reward	RGB-D Scene
Policy Learning	Actor-Critic	无直接 RL policy
Language Understanding	无	LLM / Qwen3-8B
3D Scene Grounding	非核心	核心
Main Goal	Decision	Understanding + Generation

所以 GaussianDWM 不能简单理解成：

“自动驾驶版 DreamerV3。”

它属于另一类 World Model。

17. GaussianDWM 的边界也很明显

这篇论文非常有意思，但需要看清几个边界。

第一，它还不是闭环 Driving Policy

GaussianDWM 可以：

scene understanding；
planning QA；
trajectory prediction；
scene generation。

但论文核心没有像 DreamerV3 那样：

在 World Model 内 imagined rollout，再直接优化驾驶 Policy。

因此它更接近：

World Representation + Understanding + Generation

而不是完整的：

World Model + Decision Learning

第二，3D Gaussian 仍然很重

一个场景可以有几十万 Gaussian。

论文之所以要专门设计：

Top-k
Uniform Sampling
Similarity Sampling

本身就说明：

Explicit 3D World Representation 的代价是 token 数量和 memory 都非常大。

因此 World Tokenizer 的效率会成为这条路线非常重要的问题。

第三，当前验证仍集中在 Driving Domain

主要实验仍然是：

nuScenes
NuInteract

所以现在不能直接推断：

“同一种 Gaussian World Tokenizer 可以无缝迁移到机器人操作、UAV 或通用具身环境。”

但这个方向本身非常值得继续研究。

18. 开源代码和数据：这篇论文为什么比较适合继续做？

截至 CVPR release，官方仓库已经开放：

QA chain；
world-generation chain；
model weights；
GaussianDWM dataset。

仓库整理的数据规模约：

~1.9M training samples
~358K test samples

内容覆盖：

NuInteract QA；
2D / 3D visual grounding；
scene caption；
planning；
trajectory prediction；
OmniDrive VQA / conversation。

需要注意：

当前 CVPR release package 并不是论文与后续扩展的所有代码。

官方 README 明确说明，目前 release 不包含：

trajectory code；
VGGDrive journal extensions；
ViT-feature Gaussian variants；
attention-based Gaussian selection。

因此如果目标是完整复现所有潜在扩展，需要区分：

CVPR paper release

和：

后续 journal / internal extensions

最后，用一句话理解 GaussianDWM

DreamerV3 告诉我们：

可以学习一个 latent dynamics model，在模型内部想象未来并学习决策。

GaussianDWM 则展示了另一种 World Model：

把 geometry、appearance 和 language semantics 直接组织成一个显式 3D Gaussian World，再让这个世界表示同时支持理解、grounding、planning 和 RGB-D 时空生成。

整篇论文最后可以压缩成：

最终可以把整篇论文压缩成：Multi-view World → Language-aligned 3D Gaussians → Task-aware World Tokens → LLM Understanding → High-level World Knowledge + Low-level Geometry → Spatial / Future RGB-D Generation。

我认为 GaussianDWM 真正值得带走的不是：

3D Gaussian Splatting 本身。

而是一个更大的想法：

World Model 不应该只是“预测下一帧”的生成器。一个更完整的 World Model，应该拥有可以被语言查询的三维世界表示，并让 Understanding 和 Generation 共享同一套 World Knowledge。

这也是它和 DreamerV3 放在同一个 World Models 分类下最有价值的原因：

DreamerV3 在问：How will the world evolve under actions?
GaussianDWM 在问：How should the world be represented so that it can be both understood and generated?

而更进一步的方向，自然就是：

3D World Representation + Future Prediction + VLA / Policy Learning

也就是让机器人或自动驾驶系统不仅“看懂世界”和“生成世界”，还能够基于预测出来的未来真正做出闭环决策。