视频DiT直接「长」出 4D 世界！浙大仅用1K条数据打通统一接口

今天的视频生成模型，已经越来越像一个会拍电影的导演。

一句提示词，它能安排角色、动作和镜头；给它一张图，它能补出后续运动；再加入姿态、轨迹或外观控制，画面甚至可以按照人的意图发生变化。

可一旦离开这台「摄影机」，问题就暴露了。

你看到的仍是一段固定镜头下的二维视频：不能绕到物体背后，不能自由改变观察视角，更不能直接把其中的角色和场景交给游戏引擎、机器人仿真器或VR/AR系统。

视频看起来像一个世界，却还不是一个真正可被观察和操作的世界。

那么，视频模型在生成过程中已经学到的外观、运动与空间线索，能不能不经过像素，直接转化为动态三维几何？

来自ReLER、CCAI、浙江大学的研究人员给出了一个新的答案：Beyond Pixels——越过像素，直接从视频latent走向4D世界。

论文：https://arxiv.org/abs/2608.10744

项目主页：https://hayd-zju.github.io/Beyond-Pixels/

GitHub：https://github.com/hayd-zju/Beyond-Pixels

Hugging Face：https://huggingface.co/papers/2608.10744

文本、图像及其他视频控制条件产生的 latent，可以沿同一条路径转化为可从新视角观察的动态4D场景。

视频到4D

为何偏偏要绕一趟RGB？

利用视频生成先验构建4D内容，最自然的办法是「先生成，再重建」。

视频DiT首先在latent空间中完成去噪，VAE Decoder再把latent解码成RGB视频；随后，另一个独立训练的4D重建模型读取这些像素，恢复相机轨迹与动态几何。

这条路线看似顺理成章，却经历了一次多余的「翻译往返」：

生成latent→RGB视频→重建特征→4D几何

每跨过一次表示边界，都可能损失信息。

更麻烦的是，视频生成器与4D重建器通常见过完全不同的数据。前者面向开放世界内容，后者则多在规模更小、分布更窄的重建数据上训练。

当生成视频出现闪烁、遮挡错误、局部形变或时间伪影时，重建模型还会把这些像素问题进一步「固化」为几何孔洞、破碎表面和不稳定运动。

另一条路线，是直接把某个视频生成模型改造成4D模型，让它原生输出深度、点云或动态高斯。

这样虽然跳过了独立重建器，却往往把4D能力绑死在一个特定生成器上：更换DiT架构、参数规模或条件形式，可能就要重新进行昂贵的几何监督训练。

一边是可组合但容易误差传播，另一边是更直接却难以迁移。

Latent-to-4D想解决的，正是这个两难问题。

传统路线先将latent解码成RGB，再用独立模型进行4D重建；Latent-to-4D则通过L4AR直接把最终去噪latent转化为结构化4Dlatent。

不同DiT说着同一种「latent语言」

研究团队注意到，不同的视频DiT未必拥有相同的架构、参数量和条件输入，但它们可能共享同一个VAE。

只要VAE checkpoint、latent归一化、张量布局、压缩规范和latent shape保持一致，这些DiT最终生成的latent就处于同一种表示空间中。

换句话说：

DiT可以不同，但只要共用同一套VAE规范，它们在完成去噪后，就可能说着同一种「latent语言」。

而这个最终latent已经包含了上游条件所决定的内容：画面里是什么、主体怎样运动、镜头如何变化，都已经被写进其中。

更重要的是，它位于RGB解码之前。

于是，一个自然但此前没有被充分利用的接口出现了：把视频模型最终去噪的VAE latent，直接作为显式4D预测的输入。

基于这一思路，团队提出了Latent-to-4D，以及负责连接两种表示空间的核心网络——Latent-to-4D Alignment and Refinement（L4AR）。

L4AR

把视频latent翻译成4Dlatent

视频VAE latent不能直接塞进预训练4D解码器。

两者虽然都具有时空结构，但时间分辨率、空间网格与特征维度都不相同。L4AR的任务，就是完成这场跨表示的「同声传译」。

冻结的视频VAE提供输入latent，L4AR负责对齐与时空细化，预训练4D解码层级最终输出相机与动态世界空间点图。

整个过程可以拆成三步。

第一步：先让两个时空网格对上号

L4AR首先通过三线性重采样，把视频latent调整到4D解码层级所需的时空分辨率。

随后，一个可学习的3D卷积同时观察局部空间和相邻帧，将视频latent投影到4D token所需的特征维度。

它做的不只是改shape，还会在最初的对齐阶段聚合局部运动与外观证据。

第二步：一边盯住单帧细节，一边看完整段运动

局部对齐之后，模型还需要推理长距离对应、视角变化与动态结构。

L4AR交替使用两种注意力机制：

• FrameAttention在单帧内部整理空间结构；

• GlobalAttention在全部时空token之间交换信息。

前者守住物体轮廓和局部几何，后者把跨帧运动、镜头变化与长距离对应连接起来。

第三步：从4D latent解码出一个动态世界

经过多层细化后，4D Decoder会预测每一帧的相机、深度和世界空间射线，并将它们组合成统一坐标系中的动态点图。

结果不再只属于原始视频的固定镜头。用户可以改变视角，观察场景和物体在时间中的三维变化。

训练不用视频DiT，推理时完成一次「无缝换源」

Latent-to-4D还有一个很有意思的训练设计：训练阶段根本不需要运行视频DiT。

团队先用冻结的Wan VAE编码已有的重建视频，得到observed-video latent；然后利用这些视频已有的相机与几何标注，训练latent到4D的下游路径。

整个过程中，视频生成器、VAE和预训练4D模型的原始Transformer权重全部保持冻结。主要更新的是：

• latent对齐模块；

• 基于LoRA的轻量时空细化参数；

• 相机与几何预测头。

到了推理阶段，只需要进行一次替换：

把真实视频编码得到的latent，换成兼容视频DiT生成的最终去噪latent。

后面的L4AR和4D Decoder完全不变，也不进行测试时适配。

为什么文本、图像、姿态和轨迹可以共用同一条路径？

因为这些条件已经被视频模型「实现」在最终latent中。对于L4AR来说，它不需要额外知道上游执行的究竟是哪一种任务。

一个checkpoint横跨三种DiT

4D几何监督一向稀缺，但这项工作并没有重新采集一套巨型数据。

Latent-to-4D的最终训练阶段只使用了约1K条已有重建视频。在此基础上，同一个checkpoint被原样接入：

• Wan2.1-T2V-14B；

• Wan2.1-T2V-1.3B；

• Wan2.2-I2V-A14B。

它们覆盖不同参数规模的Text-to-Video模型和Image-to-Video模型，但共享同一套Wan VAE。

切换DiT后，不重新训练，不为条件任务增加分支，也不做测试时微调。

视频模型负责「想象内容和运动」，Latent-to-4D则提供一个统一的4D出口。

同一个latent，直接预测比「先解码RGB再重建」更稳

为了弄清提升究竟来自哪里，团队设计了严格的same-latent对比。

Latent-to-4D与Wan+4RC基线使用完全相同的生成latent。二者的唯一区别在于：

• Wan+4RC：latent→RGB→4D重建；

• Latent-to-4D：latent→L4AR→4D解码。

评测分别在200个文本条件案例构成的Text4D-200，以及200个图像条件案例构成的I4D-200上进行。

在Image-to-4D测试中，Latent-to-4D在论文报告的全部指标上排名第一。

更值得注意的是，14B和1.3B两个Text-to-Video DiT接入同一个checkpoint后，最终DINO-F1分别为57.01和57.09，结果非常接近。这为「共享VAE latent可以成为统一接口」提供了直接证据。

从机械师到火与水元素

RGB路线丢掉的结构被找回来了

定性结果更加直观。

在机械师检修汽车、火与水元素互动、阳台衣物摆动以及植物叶片等案例中，传统重建方法容易遗漏背景、细长结构或大面积表面。

Latent-to-4D则保留了更完整的主体和周围场景。

Text-to-4D对比。红色虚线框标出了其他方法中的结构缺失与破碎区域。

在Image-to-4D中，测试场景进一步覆盖室内瀑布、真实人物、自然景观与相机运动。

Image-to-4D对比。Latent-to-4D在多种开放场景中恢复出更完整的可见几何。

自动指标之外，50名参与者还进行了匿名、多视角的人类评估。每位参与者可以播放动态结果，并主动改变观察视角。

结果显示：

• Text-to-4D的几何与完整度偏好率达到66.8%，总体质量为65.7%；

• Image-to-4D的几何与完整度偏好率达到72.1%，总体质量为70.6%。

如果Latent-to-4D只能支持文本和图像，那么它仍然只是两个任务的组合。

真正有想象力的地方在于：L4AR读取的是条件已经生效后的最终latent。

因此，当兼容的视频模型获得新的控制方式时，这些能力也有机会沿同一接口进入4D世界。

论文展示了运动、外观、姿态和轨迹等多种控制结果：滑板运动、为蒙娜丽莎戴上墨镜、用姿态序列驱动机器人厨师，以及让角色沿指定路线移动。

同一个L4AR checkpoint可以继承上游模型中的运动、外观、姿态和轨迹控制。

研究团队还测试了更接近世界动作建模的案例：机器人用勺子舀取物体、把衣服放入篮筐、打开收纳箱，以及关闭消防柜门。

动作条件latent沿同一条路径转化为动态4D场景。

不是「任意DiT即插即用」

更不是物理世界模拟器

论文同时划出了清晰边界。

首先，Latent-to-4D的统一性建立在shared-VAE convention上。不同视频模型需要共享VAE checkpoint、normalization、tensor layout、compression convention，并具有受支持的latent shape。

因此，它并不是面对任意视频DiT都能无条件接入。

其次，论文中的投影DINO指标衡量的是从新视角观察时的可见几何一致性与完整性，不等同于生成场景已经达到度量级4D精度。

机器人操作、导航和轨迹案例验证的也是接口兼容性，而不是动作成功率或物理正确性。

这些限制并不削弱工作的核心结论，反而让它更明确：Latent-to-4D解决的是视频先验如何以统一、直接的方式进入显式4D预测，而不是一次性解决所有世界建模问题。

视频生成的下一个出口，可能藏在像素之前

过去，我们习惯把RGB当成不同视觉模型之间最通用的接口。

它直观、可显示，也方便被下一个模型读取。但RGB同样是一道信息瓶颈：生成模型已经压缩在latent中的运动与结构线索，需要先变回像素，再由另一个模型重新猜一遍。

Beyond Pixels提出了另一种可能——把共享的最终去噪latent，当作视频生成和4D几何之间的接口。

这样一来，视频DiT不必被改造成新的几何模型，4D解码路径也不必跟随每一种生成条件反复训练。

当视频模型继续获得更强的角色动画、相机控制、轨迹控制、世界动作和交互生成能力时，一个共享的latent-to-4D接口，也可能成为这些能力进入动态三维空间的「高速出口」。

视频生成的终点，或许从来不只是更逼真的一帧帧像素。

而是让像素背后的那个世界，真正拥有空间和时间。

参考资料：

https://arxiv.org/abs/2608.10744

编辑：LRST