PhysEditWorld: A Large-Scale Dataset Toward Physics-Editable World Models
引入PhysEditWorld，基于UE5重放实现物理参数（如重力）可控的游戏场景数据集，支持物理编辑与模型评估。
核心发现
方法论
PhysEditWorld采用UE5引擎的重放与渲染管线，记录12个电影级场景，超过100小时游戏交互，生成超过6000万帧。每个样本同步RGB、深度、法线、音频、动作轨迹、摄像机轨迹、引擎状态和明确的重力标签。通过在相同场景、动作、摄像机条件下，变换重力参数，生成匹配的重放组，实现物理参数的可控性。该数据集支持多模态信号同步，便于研究物理编辑对动态行为的影响。
关键结果
- 模型在基于PhysEditWorld的训练后，能显著提升对重力变化的感知能力，生成的动作轨迹更符合物理规律。实验证明，经过微调的生成模型在重力条件下的运动一致性指标提升至100%，而未微调模型仅为33%。
- 在第一人称世界模型中，微调后模型能够根据不同重力参数，生成符合预期的自由落体和跳跃行为，表现出对重力的敏感性。
研究意义
该数据集突破了现有游戏和物理视频数据集在可控物理参数方面的限制，为研究可编辑世界模型提供了基础。支持开发者在虚拟环境中精确调节物理规则，推动游戏设计、虚拟仿真和机器人学等领域的创新。其多模态、多场景的设计，为深度学习模型理解和生成符合物理规律的动态场景提供了丰富资源，有望引领可控物理模拟的研究新方向。
技术贡献
提出基于UE5的重放-渲染管线，实现不同重力配置下的匹配重放，确保场景、动作、摄像机条件一致，仅物理参数变化。设计多模态同步采集机制，结合显式重力标签，增强模型对物理参数的感知能力。首次构建大规模、多场景、多模态的物理可控游戏数据集，为未来物理编辑和模型评估提供标准平台。
新颖性
首次提出以UE5重放机制为核心的多模态物理可控数据集，支持在相同场景下多重物理配置的匹配重放，弥补现有数据集在物理参数可控性方面的不足。区别于传统的物理视频或模拟平台，PhysEditWorld强调场景、交互和摄像机条件的一致性，突出物理参数的可编辑性，为游戏和虚拟环境中的物理调节提供实证基础。
局限性
- 目前仅涵盖重力参数，未来需扩展其他物理属性如摩擦、空气阻力等，以实现更全面的物理编辑能力。
- 重放过程依赖UE5引擎，存在一定的场景复杂度限制，可能影响大规模场景的采集效率。
- 模型对重力变化的理解仍有限，未来需结合物理引擎的显式模拟以提升准确性。
未来方向
未来将扩展多物理参数的支持，结合物理引擎的显式模拟，提升模型对复杂物理场景的理解能力。计划引入更丰富的场景类型和交互方式，推动可控物理模拟在虚拟现实、机器人控制等领域的应用。同时，优化数据采集流程，提升大规模场景的效率和多样性。
AI 总览摘要
随着虚拟环境和游戏世界的不断发展，构建具有可控物理属性的世界模型成为研究热点。现有模型多在数据中隐式学习物理规律，缺乏对物理参数的显式控制能力，限制了其在游戏设计和虚拟仿真中的应用。为解决这一问题，本文提出了PhysEditWorld——一个基于UE5引擎的多模态大规模数据集，专注于物理参数的可控性，尤其是重力。通过在相同场景、动作和摄像机条件下，变换重力参数，生成匹配的重放组，实现物理变化的可追溯性和可控性。该数据集包含12个电影级场景、超过100小时交互、6000万帧渲染内容，提供RGB、深度、法线、音频、动作轨迹、摄像机轨迹、引擎状态及重力标签等多模态同步信号。实验表明，利用该数据集微调的生成模型在重力感知和行为一致性方面表现优异，模型能根据不同重力参数生成符合物理规律的动作。该工作不仅为物理编辑和模型评估提供了标准平台，也为虚拟环境中的物理调节和游戏设计开辟了新路径。未来，计划扩展更多物理参数，结合显式物理引擎模拟，推动可控虚拟世界的发展。
深度分析
研究背景
虚拟环境中的游戏世界模型已从单一游戏的神经模拟器发展到支持多场景、多模态交互的生成系统。早期如GameGAN、Playable Video Generation等，主要关注可控的神经模拟和交互视频生成。近年来，Genie、DIAMOND、GameNGen等系统实现了大规模动作条件生成、长时序一致性和实时交互，但多依赖隐式学习物理规律，缺乏显式的物理参数控制。现有数据集如MineRL、Sekai、YUME等强调探索和交互，但未围绕物理参数的匹配调节展开。物理推理和生成基准（PHYRE、CLEVRER、Physion等）评估物理合理性，但缺乏场景中物理参数的显式调节能力。模拟平台如UE、CARLA支持高仿真，但多为静态环境，缺少多场景、多模态同步数据。综上，现有研究在物理参数可控性方面仍有空白，亟需新型数据集以支持可编辑的物理世界建模。
核心问题
核心问题在于，现有游戏和虚拟环境模型多在隐式学习物理规律，缺乏对物理参数（如重力、摩擦等）的显式控制能力。这限制了模型在游戏设计、虚拟仿真中的应用，因为开发者需要根据设计意图调整物理规则。现有数据集未能提供在相同场景、交互条件下，物理参数变化的匹配调节和评估机制，导致模型难以学习到物理参数的敏感性和可控性。这一缺陷阻碍了可编辑虚拟世界的实现，也限制了模型在物理调节和推理方面的应用潜力。
核心创新
本研究的核心创新在于提出基于UE5引擎的重放-渲染管线，支持在相同场景、交互和摄像机条件下，通过变换物理参数（如重力）生成匹配的重放组。这种设计确保物理变化的可控性和可追溯性，弥补了现有数据集在物理参数显式调节方面的不足。数据集涵盖多模态信号同步，包括RGB、深度、法线、音频和引擎状态，提供丰富的物理标签，为模型学习和评估提供了坚实基础。首次实现了大规模、多场景、多模态的物理可控游戏数据集，为未来物理编辑和模型评估奠定了基础。
方法详解
- �� 以UE5场景为基础，通过内置插件将场景转化为可重放的实验单元。
- �� 采集交互动作（人控、脚本或AI生成），利用UE5增强输入系统记录动作轨迹。
- �� 在UE5中，利用重放机制，固定场景、动作、摄像机条件，只变换物理参数（如重力）进行多次重放。
- �� 通过同步采集RGB、深度、法线、音频、动作、摄像机轨迹、引擎状态和重力标签，确保多模态信号一致。
- �� 利用UE5的渲染队列导出视频和渲染通道，结合引擎日志实现精确时间对齐。
- �� 进行语义标注和质量筛选，确保数据的高质量和一致性。
实验设计
在PhysEditWorld上训练和微调生成模型，评估其对不同重力条件的敏感性。设计匹配的训练和测试集，确保场景和交互一致，仅物理参数不同。采用VGGT轨迹恢复和落体速度指标，衡量模型对重力的感知能力。通过对比微调前后模型在重力变化下的动作一致性指标，验证模型对物理参数的响应。还在第一人称模型中测试模型能否根据不同重力生成合理的自由落体行为。实验结果显示，微调后模型在重力感知和行为一致性方面显著提升，响应符合预期。
结果分析
微调模型在重力变化条件下，动作轨迹的符合度由33%提升至100%，模型对重力的敏感性显著增强。在落体运动中，模型能根据不同重力参数，生成符合预期的速度变化，验证了模型对物理参数的理解。第一人称模型中，微调后能实现平台自由落体和跳跃行为，表现出对重力的敏感响应。这些结果证明PhysEditWorld在提升模型物理感知和可控性方面具有显著优势，为未来可编辑虚拟环境奠定基础。
应用场景
该数据集可用于训练和评估游戏引擎中的物理调节模块，支持虚拟现实、机器人仿真等场景的物理参数调节。开发者可以在虚拟环境中实现精确的物理编辑，提升虚拟场景的真实性和交互性。未来，结合显式物理引擎模拟，有望实现更复杂的物理规则调节，推动虚拟环境的个性化定制和智能交互。
局限与展望
目前仅支持重力参数的调节，未来需扩展其他物理属性如摩擦、空气阻力等。重放依赖UE5引擎，场景复杂度有限，可能影响大规模数据采集效率。模型对复杂物理变化的理解仍有限，需结合物理引擎的显式模拟以提升准确性。
通俗解读 非专业人士也能看懂
想象你在玩一个遥控车游戏，你可以调节车的引擎力度（就像调节重力一样），让它跑得快或慢。现在，传统的游戏模型就像是你只知道车跑得快或慢，但不知道为什么会这样，也不能随意改变引擎力度。而PhysEditWorld就像是给你一台可以调节引擎力度的遥控车，你可以在相同的场景下，改变引擎力度，观察车的表现。这样，你就可以学习到不同力度对车的影响，也可以让模型理解物理变化的原因。它提供了大量不同场景和动作的数据，让模型学会在不同“引擎力度”下，表现出符合物理规律的行为。这就像是在模拟真实世界中的重力变化，让虚拟环境变得更真实、更可控。
简单解释 像给14岁少年讲一样
你知道玩电子游戏时，有时候你会想让角色跳得更高或者更快？其实，那就像是在调节一个神奇的“重力开关”。以前的游戏模型就像是一个黑盒子，只能告诉你“跳得高或低”，但不能让你随意改变重力，或者知道重力变化后，角色会怎么反应。现在，这个研究就像是发明了一台可以调节重力的机器，让你在相同的场景里试不同的重力效果，比如让角色跳得更远或更慢。通过这个方法，模型学会了理解重力的作用，就像你在现实中知道重力让东西掉下来一样。这样一来，游戏变得更真实，也更容易设计出各种有趣的场景。未来，开发者可以用这个技术，创造出更丰富、更逼真的虚拟世界，就像在虚拟世界中玩“重力调节器”一样！
原文摘要
Recent game world models can synthesize visually plausible, action-conditioned rollouts. However, their interaction behaviors often remain limited to exploratory or wandering trajectories, and physical dynamics are typically learned as implicit correlations from data rather than as controllable variables. This limitation hinders their applicability to authored game environments, where physical rules are deliberately designed and require explicit manipulation. We introduce PhysEditWorld, a multimodal dataset with physical parameters, with a primary focus on gravity in this initial version. At its core, PhysEditWorld is built upon a replay paradigm implemented with a UE5 replay-and-rendering pipeline. Each scenario records a normalized action trace and replays the same initial state, character controller, action sequence, and camera policy under multiple gravity configurations, enabling controlled and attributable physical variation. PhysEditWorld contains 12 cinematic UE5 scenes, over 100 hours of gameplay interactions, and more than 60 million rendered rollout frames. Each sample provides synchronized multimodal signals, including RGB, depth, normals, audio, action traces, camera trajectory, engine states, semantic annotations, and explicit gravity labels. We further conduct initial utility studies on both generative video models and world understanding models, demonstrating that PhysEditWorld enables improved gravity-faithful dynamics modeling, enhances consistency under physical edits, and provides a scalable foundation for controllable world modeling research.