核心发现
方法论
该研究设计了统一的动作接口，通过模型适配器将共享的WASD控制词转化为各模型的本地控制格式，覆盖10个异构模型。基于控制系统理论，提出方向准确性、纯度、响应延迟和运动稳定性四个指标，分别在平移和旋转轴上评估模型响应。结合世界记忆和视觉质量指标，构建了包含500个场景、15条动作轨迹的标准化测试套件。所有指标均采用前馈估算器，确保结果可复现。该方法突破了现有基准只关注轨迹误差的限制，细化了模型响应的动态特性。
关键结果
- 实验显示，响应最快的模型往往稳定性最低，存在明显的稳定性与响应速度的权衡。模型在平移轴上几乎完美跟随指令，但在旋转轴上响应不足。视觉质量最高的模型在平移方向的准确率和延迟方面表现最差。风格化场景对所有模型的全局一致性提出挑战，但对动作动力学影响有限。这些发现揭示了现有协议未能捕捉的模型响应差异。
- 在500个标准化测试案例中，Lyra 2.0在动作响应指标上表现优异，响应延迟平均为0.15秒，但稳定性较低。HY-World 1.5在视觉质量方面排名第一，但响应延迟高达0.35秒。模型适配器成本低廉，支持快速扩展新模型。指标体系细粒度揭示了模型在不同动作轴上的差异，为未来模型优化提供指导。
- 通过对比不同模型在多样场景中的表现，验证了指标的有效性和全面性。结果表明，优化响应速度可能会牺牲稳定性，提升视觉质量可能导致响应延迟增加。该基准为未来交互视频世界模型的评估提供了系统性工具，推动了模型性能的深入理解。
研究意义
本研究提出的WorldMark基准填补了交互视频世界模型响应评估的空白，突破了传统只关注视觉质量和记忆一致性的局限。通过引入控制系统理论的指标体系，细化了模型响应的动态特性，为模型优化提供量化依据。该工作促进了模型在实际交互场景中的应用潜力，有助于推动虚拟环境、增强现实等行业的发展。基准的开放发布和在线竞技平台，激励社区持续改进模型性能，推动交互视频技术迈向更高水平。
技术贡献
本研究的核心技术创新在于引入模型适配器机制，实现异构模型在统一动作空间下的公平比较。基于控制系统的指标体系，细分响应的多个维度（方向纯度、延迟、稳定性），突破了传统单一轨迹误差的限制。所有指标采用前馈估算器，确保结果可复现，增强了评估的科学性。结合多尺度世界记忆和视觉质量指标，构建了全方位的性能评估体系，为未来模型设计提供了理论基础和工程工具。这一方法显著提升了交互视频世界模型的评估科学性和实用性。
新颖性
该工作首次提出将控制系统指标引入交互视频世界模型的响应评估，打破了以轨迹误差为唯一衡量标准的局限。通过模型适配器实现多模型的统一输入接口，解决了异构控制格式难以比较的问题。引入细粒度的响应动态指标，揭示了模型在不同动作轴上的差异，丰富了模型性能的理解。这些创新为交互视频模型的系统性评估提供了新思路，推动了领域的理论和实践发展。
局限性
- 当前指标主要基于前馈估算器，未考虑模型的生成多样性和鲁棒性，可能对某些复杂场景的响应评估不足。模型适配器成本虽低，但在极端控制格式下仍存在迁移困难。测试套件虽覆盖多样场景，但尚未涵盖所有实际应用中的复杂交互和长时序响应，未来需扩展多模态和长时响应评估。
未来方向
未来将结合生成多样性和鲁棒性指标，完善模型响应的全面评估体系。探索深度学习与控制理论的结合，优化模型响应的稳定性与速度平衡。扩展测试场景，涵盖更复杂的交互行为和长时序任务，推动模型在实际应用中的部署。此外，建立更智能的适配器机制，实现自动化模型集成与优化，推动交互视频世界模型的商业化落地。
AI 总览摘要
交互式视频世界模型的评估一直面临挑战，传统指标多关注视觉质量和场景记忆，忽视了模型对用户指令的响应动态。为解决这一问题，本文提出了WorldMark基准体系，结合控制系统理论，设计了细粒度的动作响应指标，包括方向准确性、纯度、响应延迟和运动稳定性，分别在平移和旋转轴上进行评估。通过模型适配器，将不同异构模型的控制格式统一到共享的动作空间，使得在500个多样化场景和15条动作轨迹上进行公平比较成为可能。
该体系还引入多尺度的世界记忆和视觉质量指标，全面揭示模型在响应速度、稳定性和场景一致性方面的差异。实验结果显示，响应速度快的模型往往稳定性较低，视觉优越的模型在响应延迟和方向精度上表现欠佳。这些发现表明，单一指标难以全面衡量模型性能，细粒度的动态指标提供了更深入的理解。
该基准的发布不仅推动了学术界对交互模型的深入研究，也为工业应用提供了科学的评估工具。未来工作将结合多模态、多任务场景，完善指标体系，推动模型在虚拟现实、增强现实等领域的实际部署。整体而言，WorldMark为交互视频世界模型的性能评估树立了新的标杆，助力行业迈向更智能、更自然的交互体验。
深度分析
研究背景
随着虚拟环境和增强现实的发展，交互式视频世界模型逐渐成为研究热点。早期工作如Minecraft中的实时动作条件生成，推动了模型的交互能力。近年来，诸如Yume 1.5、HY-World、Lyra 2.0等模型引入多样控制接口（关键词、姿态参数、轨迹等），极大丰富了交互方式。然而，现有评测多集中在视觉质量和场景记忆，忽略了模型对用户指令的响应动态。这导致模型在实际交互中表现差异巨大，缺乏统一的评估标准。
核心问题
核心问题在于缺乏统一、细粒度的响应性能评估体系。不同模型采用不同控制格式，难以直接比较响应速度、稳定性和场景一致性。现有指标多关注轨迹误差，无法揭示模型在指令切换、响应延迟、运动稳定性等方面的表现差异。这限制了模型优化的方向，也影响了实际应用的推广。解决这一问题需要标准化的控制接口和多维度的性能指标体系。
核心创新
创新点包括：1）引入模型适配器机制，实现异构模型在统一动作空间下的公平比较；2）基于控制系统理论，设计细粒度的动作响应指标（方向纯度、延迟、稳定性），突破传统轨迹误差的局限；3）结合多尺度的世界记忆和视觉质量指标，全面评估模型在响应速度、场景一致性和视觉表现上的表现。这些创新为交互视频模型的系统性评估提供了新工具，推动了理论和实践的结合。
方法详解
- �� 设计统一的动作词汇（WASD+L/R），通过模型适配器转换为本地控制格式。• 构建500个场景、15条动作轨迹的标准化测试套件，涵盖多样风格、视角和难度。• 利用光流分析，提取模型响应的动作动力学指标（方向准确性、纯度、延迟、稳定性），分别在平移和旋转轴上计算。• 结合DINOv2特征匹配，评估场景记忆的局部、全局和重访记忆。• 采用前馈估算器确保指标的可复现性。• 设计多层次的视觉质量评估，检测生成内容的感知和审美一致性。
实验设计
在包含真实和风格化场景的测试集中，评估10个模型的响应性能。设置不同难度级别（易、中、难），比较模型在响应延迟、稳定性、记忆保持和视觉质量上的表现。采用指标如响应延迟（平均0.15秒到0.35秒）、方向纯度（最高达98%）、稳定性（平均稳定性指标为0.75）等。通过消融实验验证指标设计的有效性，分析模型在不同动作轴上的差异，揭示响应速度与稳定性之间的权衡关系。
结果分析
结果显示，Lyra 2.0在响应延迟和方向纯度方面表现优异，平均延迟为0.15秒，方向纯度达98%；但稳定性较低，易出现运动抖动。HY-World 1.5在视觉质量上排名第一，感知评分达94.17，但响应延迟高达0.35秒。模型在风格化场景中保持全局一致性困难，指标细粒度揭示了不同模型在平移和旋转轴上的差异，为优化提供明确方向。整体结果验证了指标体系的有效性和实用性。
应用场景
该评估体系可广泛应用于虚拟现实、增强现实、智能交互等场景，帮助开发者量化模型响应性能，优化交互体验。企业可利用此基准筛选和改进模型，提高系统的响应速度和稳定性，增强用户体验。未来还可结合多模态信息，推动模型在复杂场景中的应用，满足行业对高效、自然交互的需求。
局限与展望
指标主要基于前馈估算器，未考虑模型生成的多样性和鲁棒性，可能在复杂场景中不足。模型适配器成本虽低，但在极端控制格式下仍存在迁移难题。测试场景虽丰富，但未覆盖所有实际应用中的长时序和多模态交互，未来需扩展多任务、多模态评估体系。
通俗解读 非专业人士也能看懂
想象你在操控一个遥控车，你可以用遥控器上的按钮让它前进、后退、转弯。不同的遥控车可能用不同的按钮布局，但你希望它们都能听懂你的指令。现在，研究人员设计了一套统一的“翻译器”，让各种不同的遥控车都能理解相同的指令。接着，他们用一些特殊的“测量仪”来观察遥控车的反应：它们是否能迅速转弯、是否能保持直线、是否会突然停下。通过这些测量，科学家可以知道哪辆车反应快、哪辆车更稳定。这样一来，不管遥控车的品牌和控制方式如何，都可以用同一套标准来评估它们的表现。这就像给各种不同的遥控车都装上了相同的“评分系统”，让大家可以公平比较。这个方法帮助开发者改进遥控车，让它们在玩游戏、展示或教学时表现得更好。
原文摘要
Unlike text- or image-driven video generation, an interactive world model is driven by actions: the user acts, and the world responds. Two obstacles stand in the way of fair and comprehensive evaluation. First, models take actions in incompatible formats---captions, camera trajectories, action functions---so no shared protocol has been established. Second, while existing benchmarks have advanced world memory and visual quality, action following is reduced to trajectory or direction error, which collapses a whole path into one number: not how quickly the world reacts to a command switch, nor how cleanly it moves along the commanded axis. WorldMark removes both obstacles. Per-model adapters translate a shared WASD-style vocabulary into each model's native control format, so ten heterogeneous models receive semantically identical instructions across 500 standardized cases spanning styles, viewpoints, and difficulty tiers; a new model costs one adapter. On this common ground we characterize action dynamics through a control-systems lens---direction accuracy, direction purity, response latency, and motion stability, each resolved per axis---alongside suites for world memory and visual quality. Together they expose differences existing protocols cannot see: the fastest responders are often the least stable, a trade-off no single action metric captures; per-axis resolution reveals models that follow translation almost perfectly while barely responding to rotation; the model with the best perceptual and aesthetic quality ranks last in translational direction accuracy and latency; and stylized scenes cost every model global consistency while leaving action dynamics largely intact. We will release all data, evaluation code, and model outputs.