RESEARCH ESSAY · EDITABLE WORLD MODELS

合理，不等于忠实

同一场景、四条重建路径：位姿、深度与程序化建模如何共同塑造一个可编辑三维世界。

1 个受控场景4 条重建路径可编辑 Blender 交付
From plausible scenes to faithful spaces: geometry and reference fidelity
Figure 1. 更多几何证据逐步约束空间结构，而参考外观仍然是另一条独立评价轴。

01 / RESULTS

一个场景可以看起来合理，却在空间上是错的。

图像生成奖励一张令人信服的画面；空间系统承担更严格的义务：当相机移动时，尺度、位置、遮挡与物体边界仍需保持一致，而且渲染结束后，结果还必须能够被编辑。

我们让同一个 World Lobby 沿四条完整工程路径重建：从纯 RGB 建模，逐步加入估计位姿、深度与真实相机位姿。每条路径交付的是冻结的 Blender 场景，而不只是点云或新视角渲染器。实验关注的不是谁生成了最漂亮的单帧，而是几何证据究竟带来了什么、没有解决什么，以及哪些误差会穿过对象化建模继续存在。

0.376 → 0.072 m双向表面误差
16.44% → 7.60%180 视角模型深度 AbsRel
没有单一赢家PSNR、SSIM 与 LPIPS 结论分化

M1 数值使用诊断性的 GT-assisted Sim(3)；所有结论仅适用于本次冻结的单场景研究。

02 / MOTIVATION

从“看起来不错”到“可以使用”的空间表示

可编辑世界模型的价值，在于其中的对象能够被选择、移动、隐藏、赋予材质、查询碰撞，并从已知相机重新访问。这些能力服务于设计、机器人与仿真，也会暴露一张漂亮图片可以掩盖的空间错误。

我们的工作假设是：测量不是生成推理的替代品，而是它的约束。位姿与深度应当缩小合理布局的解空间，建模系统则把噪声观测压缩为语义场景。这种转换可能正则化噪声，但同样是有损的：遗漏的表面、近似的材质，不会仅仅因为相机轨迹更准确而自动恢复。

本文贡献

  1. 一项受控的四路径研究：固定场景、180 张 RGB 身份、建模目标与可编辑交付格式，只改变可用的几何证据。
  2. 一份分解式测量契约：分别评估轨迹、原生深度、冻结场景深度、表面几何与渲染外观，而不是把它们压缩成一个总分。
  3. 可下载的冻结 Blend/GLB、确定性评测子集、公开哈希与交互对照，使读者能够检查平均指标在哪些区域成立、又在哪里失效。

03 / WORKFLOW

四条路径，一份冻结评测契约

四条路径使用相同的 180 张 RGB 身份和相同的 Astra–Blender 建模目标。M1 检验没有米制测量时视觉先验能走多远；M2 加入 RGB-only ViPE 位姿与 pose-conditioned DA3 深度；M3 使用 ORB-SLAM3 单目惯性位姿与同类 DA3 观测；M4 提供 GT 相机位姿，用于诊断剩余建模误差，但建模时不读取 GT 网格或 GT 深度。

Table 1.

Agentic 重建闭环

01 · 观察检查全部 180 张 RGB；在允许的方法中读取位姿条件下的 DA3 几何。
02 · 建模编写 Blender Python，将房间拆解为命名对象、材质、相机与碰撞代理。
03 · 验证在固定修订相机上比较成对 RGB 与 optical-Z 渲染，并在固定版本预算内修改。
04 · 冻结在作者看到任何 GT 评分前，导出 Blend/GLB、manifest、语义 ID 与哈希。
05 · 评测在同一冻结协议下分别测量位姿、原生深度、模型深度、表面距离与外观。

所有场景冻结后才引入真值。M2/M3 只使用一次全局 SE(3) 配准，尺度固定为 1；不进行 mesh ICP 或逐视角拟合。M1 没有原生米制轨迹，其模型空间指标使用由 5 个手工相机关联得到、冻结不变的 GT-assisted Sim(3)，因此只能解释形状与显示误差，不能视为米制恢复。

04 / MORE RESULTS AND ANALYSIS

比排行榜更重要的三个发现

FINDING 01

1. 更好的位姿不会机械地带来更好的原生深度

M3 的轨迹优于 M2：ATE 从 0.167 m 降至 0.121 m，旋转误差从 0.31° 降至 0.19°；但 M3 的原生 DA3 AbsRel 反而略差（20.38% 对 19.06%）。经过建模后，排序再次反转：M3 的模型深度 AbsRel 为 8.37%，优于 M2 的 9.29%。上游指标与最终场景忠实度相关，却不能彼此替代。

Table 2.
Trajectory, native depth, and model depth
Figure 2. 上游轨迹与原生深度的排序，并不会一一映射为冻结场景的深度排序。

FINDING 02

2. 几何证据把“合理布局”约束成更忠实的空间

在声明配准且不使用 mesh ICP 的条件下，双向表面误差从纯 RGB 诊断基线的 0.376 m，依次降至 ViPE 的 0.118 m、ORB-SLAM3 的 0.082 m 与 GT 位姿的 0.072 m。M4 在本案例中拥有最强几何，而 M3 依靠估计轨迹已经缩小了大部分差距。

Table 3.

FINDING 03

3. 几何忠实度与图像相似度是不同目标

外观指标没有统一冠军。在 100 视角检查中，M2 的 PSNR 最高（13.21 dB），M3 的 SSIM 最高（0.397），M4 的 LPIPS 最低（0.524）；与此同时，M4 的几何与模型深度最好。更忠实的空间仍可能因为近似材质、光照与简化物体边界而损失像素相似度。

Table 4.
Table 5.

不要只相信平均值——亲自检查冻结场景

在共享相机中将每个重建与 GT 对照：先从 M1 观察语义上合理的房间如何偏离米制布局；再比较 M2/M3，寻找几何改善但 RGB 相似度未同步提升的区域；最后检查 M4，把相机位姿不再是瓶颈后仍然存在的建模与材质误差分离出来。

旋转、缩放，检查冻结场景

M4GT

滚动到此处加载三维对比。

Figure 3. 所选冻结模型与 GT 共用同一相机和完整 viewport；网页运行时隐藏顶棚与四周墙体，以相同剖视方式检查，源模型文件保持不变。
Selected frozen model rendering

M1 / 视角 0

Input GT RGB

INPUT / GT RGB

Figure 4. 同一所选视角下的冻结模型渲染与输入 GT RGB。
M1 to M4 and input GT across five fixed views
Figure 5. M1–M4 与输入 GT 在五个固定视角下的并排比较。

网页只在运行时隐藏顶棚与四周墙体，以便剖视检查；运行时配准与显示选择不会修改可下载的冻结 GLB 或 Blend 文件。

这个案例对可编辑世界模型意味着什么

建模像一种结构化、同时有损的正则化

在共享的 180 视角协议下，M2–M4 的最终场景深度都显著接近 GT：相较原生 DA3，AbsRel 约下降 51–60%。一种可能解释是，对象级聚合抑制了局部不一致预测；但这仍是假说，而非受控因果结论。同一种抽象也可能删除真实表面与细节。

测量约束生成，却不会自动解决外观

几何最强的路径并未统治 PSNR 或 SSIM。位姿消除了一类不确定性，外观仍受材质估计、照明、物体细节与渲染器差异支配。只评 RGB 会漏掉空间进步，只评几何也会漏掉感知失败。

100 视角检查衡量一致性，而不是未见视角泛化

Table 5/7 使用同一组固定随机种子的 100 个相机，它们从固定 5 帧之外的 175 张建模帧中抽取。这些视角相对固定检查是额外视角，但其 RGB 在建模阶段可见。在该集合上，M4 的深度 AbsRel 最低（7.47%），M3 的 RMSE 最低（1.090 m）。

Model-depth error at five fixed evaluation views
Figure 6. 固定 5 视角检查中的模型深度误差；青绿色表示缺失或无效预测。
Table 6.
Table 7.

走出仿真大厅：手机采集空间中还剩下什么？

Office Café 不是 World Lobby 基准的第二次运行，也不构成同协议的定量验证。它是一个真实采集的外部案例，用于展示对象化场景、求解后的原视频相机轨迹、视频—模型对照与物理回放如何组合成一个可检查的空间产物。

全屏打开模型 ↗打开摇晃实验 ↗

06 / LIMITATIONS

边界本身也是结果的一部分

  • 一个合成场景、每条路径一次工程运行，不能建立一般优越性或统计显著性。
  • 四条路径是完整系统，而非严格的单变量消融；M2 与 M3 的差异不能只归因于 IMU。
  • M4 使用 GT 相机位姿，是诊断路线，不是可部署基线，也不是理论上界。
  • M1 模型空间指标依赖 GT-assisted Sim(3)，不能与原生米制恢复混为一谈。
  • 100 视角外观与深度集合包含建模 RGB 输入，不是 held-out novel-view benchmark。
  • 外观指标混合了几何、材质、照明与渲染误差；M4 revision 4 尚未完成完整独立视觉复审。

所有表格都由冻结资产生成；公开 manifest 提供模型哈希、配准、固定视角与固定随机评测索引。

M1 scene.blend ↓ · scene.glb ↓ · manifest ↗

M2 scene.blend ↓ · scene.glb ↓ · manifest ↗

M3 scene.blend ↓ · scene.glb ↓ · manifest ↗

M4 scene.blend ↓ · scene.glb ↓ · manifest ↗

Tables JSON · Scene manifest · Fixed views · Publication manifest · SHA256

07 / CITATION

引用本文

如果本研究的受控实验、冻结资产或评测协议对你的工作有帮助，请引用下面的交互式研究文章。

@misc{agentic_world_2026,
  title        = {Plausible Is Not Faithful: Pose, Depth, and Agentic Blender Reconstruction},
  author       = {Agentic World Contributors},
  year         = {2026},
  howpublished = {\url{https://wentingw.github.io/agentic-world-blog/}},
  note         = {Interactive research article and frozen evaluation assets}
}

08 / REFERENCES

参考文献

  1. AHa-3D: Agentic Tool Use for Real2Sim with GPT-6 Astra.
  2. ViPE: Video Pose Engine for camera motion and near-metric geometry.
  3. Campos et al. ORB-SLAM3: An Accurate Open-Source Library for Visual, Visual–Inertial, and Multimap SLAM. IEEE Transactions on Robotics, 2021.
  4. Depth Anything 3: Recovering the Visual Space from Any Views.
  5. Wang et al. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, 2004.
  6. Zhang et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric. CVPR, 2018.
  7. Blender Foundation. Blender: Free and Open Source 3D Creation Suite.