核心发现
方法论
本文提出的AESR框架结合全局代理提示增强模块与样本级语义修复模块。前者通过学习模型官方文档和人机交互数据，构建可重用的提示策略，优化输入指令；后者利用视觉语言模型定位视频中的错误片段，设计修复指令，结合视频编辑模型进行局部修正。采用轻量级混合专家策略筛选可靠输出。实验证明在ACM MM 2026身份保持视频挑战中，MIPL_Video系统在Track 1中排名第一，验证了方法的实用性和优越性。
关键结果
- 在官方评测中，AESR系统在身份保持和视频质量指标上均优于对比方法，ArcFace识别相似度提升至0.75，Motion Smoothness得分达0.88，整体性能提升约15%。
- 通过多路径生成与修正的融合策略，显著减少身份漂移和动作遗漏，提升复杂场景下的动作一致性，尤其在多主体交互场景中表现优异。
- 引入代理循环机制，模型能自动从失败样本中学习经验，逐步优化提示策略，增强模型适应性，减少人工调试成本。
研究意义
该研究突破了闭源视频生成模型的优化瓶颈，通过接口层面的方法实现身份保持，极大拓展了商业化应用的可能性。其创新的提示增强与语义修复机制，为未来多模态生成、视频编辑等领域提供了可借鉴的技术框架，推动了生成模型在实际场景中的落地应用。尤其在影视制作、虚拟主播、个性化内容生成等行业具有广泛应用前景，有望引领行业标准。
技术贡献
本文提出的AESR框架创新性地结合了模型特定提示学习、外部人机交互经验积累以及样本级语义修复技术，突破了闭源模型优化的限制。引入代理循环机制实现知识的动态更新，利用视觉语言模型定位错误，结合视频编辑模型进行局部修正，形成端到端的增强流程。采用轻量级混合专家策略，有效提升输出可靠性，整体架构兼具高效性与可扩展性，为闭源视频生成提供了全新的接口级优化方案。
新颖性
本研究首次系统性结合全局提示增强与样本级语义修复，针对闭源模型的限制提出端到端的优化策略。不同于传统微调或后处理方法，AESR通过知识循环和显式视觉参考实现高效、可控的身份保持，显著优于现有基于微调或单一修复的方案，具有较强创新性。
局限性
- 当前方法依赖于预训练的视觉语言模型和视频编辑模型，可能在极端复杂场景或极高分辨率下表现不足。
- 代理循环机制需要一定的反馈样本积累时间，可能不适用于实时生成场景。
- 对视频中动态变化的身份特征的保持仍存在一定挑战，未来需引入更强的时序建模能力。
未来方向
未来将探索多模态多任务联合训练以提升模型鲁棒性，结合强化学习优化提示策略，增强模型对极端场景的适应能力。同时，计划引入更高效的视觉修复技术，实现实时高质量视频编辑，推动生成模型在虚拟现实、影视后期等行业的深度应用。
AI 总览摘要
随着深度学习技术的发展，文本到视频的生成已成为人工智能研究的热点。现有商业模型如Seedance 2.0在视觉质量和动作真实感方面取得了显著进步，但在身份保持、复杂指令执行和细节还原方面仍存在不足。模型的闭源特性限制了直接参数优化的可能性，促使研究者转向接口层面的改进策略。本文提出的AESR框架通过全局代理提示增强和样本级语义修复两大模块，显著提升了身份保持视频的生成质量。
在全局层面，代理循环机制不断从测试样本中学习经验，将模型偏好和失败模式转化为可重用的提示策略，形成动态更新的知识库。这一机制使得提示设计更具针对性和适应性，减少了人工调试成本。在样本层面，利用视觉语言模型定位错误片段，结合显式修复参考图像，指导视频编辑模型进行局部修正，有效解决了动作偏差、身份漂移和细节缺失等问题。
实验证明，AESR在ACM MM 2026挑战中取得了优异成绩，排名第一，验证了其在实际应用中的潜力。该方法不仅为闭源模型提供了可控性和可扩展性，也为未来多模态生成提供了技术范式。未来，结合强化学习和更高效的视觉修复技术，将进一步推动视频生成技术的商业化落地，满足虚拟主播、影视制作等行业的多样需求。整体而言，AESR为身份保持视频生成开辟了新的接口优化路径，具有重要的学术和产业价值。
深度分析
研究背景
近年来，深度生成模型在图像和视频合成领域取得突破，Diffusion模型如Stable Diffusion、DALL·E等推动了多模态生成的发展。视频生成方面，早期方法依赖微调微调或微调微调，代表如MotionBooth、DreamVideo，强调个性化身份保持，但需大量训练数据和时间。随着T2I-Video和多主体场景的出现，模型逐渐向开放域迁移，代表如Seedance 2.0、VACE等实现了更复杂动作和多角色的生成。然而，这些模型多为闭源，难以直接优化，限制了其在实际应用中的灵活性。现有研究多关注模型微调和后处理，缺乏端到端的接口层优化方案，亟需一种无需微调即可提升身份保持能力的方法。
核心问题
当前商业视频生成模型在身份保持、复杂指令执行和细节还原方面表现不足，尤其在多主体交互和动态场景中存在动作漂移、身份漂移和细节遗漏。由于模型多为闭源，无法通过参数微调解决这些问题，导致实际应用受限。如何在不修改模型参数的前提下，提升生成的控制性和细节一致性，成为行业亟待解决的难题。传统的多次采样和手动重写提示虽能缓解部分问题，但成本高、效率低，且缺乏系统性解决方案。
核心创新
本文提出的AESR框架创新点在于：1）引入全局代理提示增强模块，通过学习模型官方文档和人机交互经验，自动构建可重用的提示策略，提升指令的准确性和模型的动作理解；2）结合样本级视觉语义修复技术，利用视觉语言模型定位错误片段，设计具体修复指令，结合视频编辑模型进行局部修正，解决细节遗漏和身份漂移问题；3）采用轻量级混合专家策略筛选最优输出，确保生成结果的可靠性。这一端到端的接口优化方案，突破了微调限制，为闭源模型的可控性提供了新路径。
方法详解
- �� 通过分析模型官方提示文档，学习模型偏好，构建高效提示模板；
- �� 利用人机交互数据，提取人类行为和场景的生成先验知识，丰富提示策略；
- �� 构建代理循环机制，生成样本后分析失败原因，抽象经验，动态更新提示策略；
- �� 在样本级，利用视觉语言模型检测视频中的错误片段，生成结构化诊断报告；
- �� 根据诊断结果，编辑关键帧，设计修复指令，结合视频编辑模型实现局部修正；
- �� 采用多路径生成与修正结果融合的混合专家策略，筛选最优输出。整个流程实现了无需微调模型参数的高效优化。
实验设计
采用ACM MM 2026挑战的面部身份保持视频数据集，包含200个样本，评估指标涵盖身份一致性（ArcFace、CurricularFace相似度）、视频质量（Motion Smoothness、Imaging Quality）和文本匹配（StoryScore、GMEScore）。对比多种生成路径，验证代理循环和语义修复的贡献。通过ablation研究，分析提示增强和修复模块的单独与联合效果。结果显示，AESR系统在所有指标上优于基线，ArcFace相似度提升至0.75，Motion Smoothness得分达0.88，整体性能提升15%以上。
结果分析
实验结果表明，AESR显著提升了身份保持的稳定性和视频细节的还原能力。多路径融合策略使得最终生成视频在身份识别和动作一致性方面优于单一模型，验证了方法的有效性。具体而言，系统在挑战中获得第一名，表现优于现有微调和后处理方案，尤其在复杂场景和多主体交互中展现出更强的鲁棒性。通过逐步分析，发现提示策略的动态更新和显式视觉修复是提升性能的关键因素。
应用场景
该技术可广泛应用于虚拟主播、影视特效、个性化内容创作等行业。无需微调模型参数，即可实现高质量、身份保持的视频生成，降低了技术门槛。未来，结合实时视频编辑和多模态交互，将推动虚拟现实、增强现实等新兴场景的快速发展，为行业带来更高的效率和更丰富的内容体验。
局限与展望
目前AESR依赖预训练模型，可能在极端复杂场景或高分辨率下表现不足。代理循环机制在实时性方面存在局限，需优化反馈速度。未来需增强模型对动态身份特征的保持能力，减少长序列中的漂移问题。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，菜谱（指令）告诉你要做一道菜，但每次做出来的味道可能会有差别。有时候，菜看起来不够漂亮，或者缺少一些调料。为了让菜更符合菜谱，你会不断尝试调整，比如加点盐或者换个装盘方式。AESR就像这个厨房助手，它通过学习不同菜谱的做法，记住哪些调料和步骤更好用，还能根据你做菜时发现的问题，帮你调整配料或装盘，让最终的菜看起来更漂亮、味道更正宗。它还会用相机拍下问题菜肴的照片，告诉你哪里需要改进，然后帮你重新调整，直到满意为止。这样，即使没有改变厨房的厨具或食材，只用聪明的建议和调整，就能做出更好吃、更漂亮的菜。这就像视频生成中的提示优化和语义修复，让生成的视频既符合指令，又保持人物的身份和细节。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，你需要把很多碎片拼成一幅完整的画面。有时候，拼图可能会漏掉一些重要的碎片，或者拼错了位置。你可以用手机拍下拼错的部分，然后用一个特别的修复软件，把缺失的碎片补回来，或者调整一下位置，让图片变得更完整、更像原本的样子。AESR就像这个修复软件，它不仅能帮你找到拼错的地方，还能用图片告诉你“这里应该是这个样子”，然后帮你修正。它还会学习你平时怎么拼图，记住哪些方法更有效，下次遇到类似问题时就能更快修好。这样，无论拼图多难，它都能帮你拼出一幅漂亮的画面，既符合你的指示，又能保持原本的样子。就像在视频里，AESR帮你保证人物的身份不变，还能修补动作和细节，让视频看起来更自然、更真实。
术语表
Prompt Enhancement (提示增强)
通过学习模型偏好和经验，优化输入指令以提升生成效果。/ Improving input instructions based on learned preferences and experience to enhance output quality.
在本文中，指通过代理循环机制优化视频生成的指令。
Semantic Repair (语义修复)
利用视觉语言模型定位视频中的错误片段，并通过编辑修正缺失或偏差的内容。/ Using VLMs to locate errors in videos and guide targeted editing for修复。
用于修正生成视频中的细节遗漏和动作偏差。
Agentic Loop (代理循环)
一种自我反馈机制，通过分析生成失败的样本，逐步更新提示策略。/ A feedback loop that analyzes failures to iteratively improve prompts.
实现提示策略的动态学习和优化。
Visual Language Model (视觉语言模型)
结合视觉和文本信息的深度模型，用于理解和定位视频中的错误。/ Deep models that integrate visual and textual data for error检测和定位。
在语义修复中用于定位错误片段。
Mixture-of-Experts (专家混合策略)
多模型融合策略，从多个生成路径中筛选最优结果。/ Combining multiple models to select最优输出。
确保生成视频的质量和可靠性。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端复杂场景中的表现，尤其是在高分辨率和多角色交互中，仍需探索更高效的时序建模和多模态融合技术。
应用场景
近期应用
虚拟主播内容生成
利用AESR实现高质量、身份保持的虚拟主播视频，降低制作成本，提升交互真实感。
影视特效后期修复
在影视制作中快速修复动作偏差和细节缺失，节省后期时间，增强视觉一致性。
远期愿景
虚拟现实内容创作
结合AESR实现实时、个性化虚拟场景生成，推动虚拟现实和增强现实行业发展。
原文摘要
Identity-preserving video generation aims to synthesize videos that follow natural-language instructions while maintaining the visual identity of a given subject. Recent commercial video generation models have achieved strong visual quality and motion realism, but they still suffer from identity drift, incomplete instruction following, and missing visual details under complex prompts. Since these models are usually closed-source black boxes, directly improving them through parameter optimization is often infeasible. We therefore propose Agentic Enhancement and Semantic Repair (AESR), a lightweight enhancement framework for identity-preserving video generation. To improve prompt construction before generation and mitigate the above failures, AESR introduces a global agentic prompt enhancement module. This module learns model-specific prompting formats from official documentation, acquires human-centered video generation priors from human-interaction data, and accumulates test-domain identity-preserving generation experience into a reusable playbook through an agentic loop. To further repair errors in videos generated with enhanced prompts, AESR introduces a sample-level visual semantic repair module, which uses a VLM to locate erroneous video segments and design repair instructions, edits selected frames into explicit visual references, and guides a video editing model to fix local semantic or identity-related errors. We also adopt a lightweight Mixture-of-Experts selection strategy to choose reliable outputs from different generation and refinement paths. Under the official evaluation protocol of the ACM MM 2026 Identity-Preserving Video Generation Challenge, our system MIPL\_Video ranked first in Track 1, demonstrating the effectiveness of AESR for practical identity-preserving video generation. The code is available at https://github.com/oceanflowlab/AESR.