核心发现
方法论
GenAgent采用两阶段训练策略：首先通过监督微调（SFT）在高质量工具调用和反思数据上预热，建立基础行为；随后引入端到端的代理式强化学习（RL），结合点奖励（最终图像质量）和对比奖励（反思准确性），利用轨迹重采样增强多轮探索。模型核心为多模态推理链，能自主规划、调用外部图像生成工具、评估输出并反思，形成多轮交互。训练过程中引入多样化数据合成和过滤，确保工具调用的准确性与反思的深度。
关键结果
- 在GenEval++上，性能提升23.6%，从原始0.325提升至0.507；在WISE上提升14%，达0.69。使用Qwen-Image作为工具时，性能接近GPT-4o（0.72对比0.80），展现出跨工具泛化能力。多轮交互显著改善生成质量，且模型能自动调整推理策略以适应不同任务类型。
- 模型在不同生成任务中表现优异，超越多种端到端和模块化方法，尤其在复杂推理和创意生成方面表现出强大适应性。通过多轮反思与工具调用，模型实现了性能持续提升，验证了多轮自主推理的有效性。
- 引入混合奖励机制（点奖励与对比奖励）和轨迹重采样策略，增强模型探索能力，提升多轮交互中的决策质量。实验还验证了模型的跨工具适应性和任务自适应推理能力，为未来多模态系统的可扩展性提供新思路。
研究意义
该研究突破了传统单一模型在理解与生成中的权衡，通过代理式多模态推理框架实现理解与生成的解耦，极大提升了文本到图像的生成性能。其多轮自主交互能力为复杂场景中的多模态推理提供新范式，推动了AI在多任务、多工具融合方面的应用前沿。模型的泛化能力和可扩展性，为未来智能系统实现更高层次的自主性和适应性奠定基础，具有重要的学术价值和产业潜力。
技术贡献
本研究提出了基于代理式多模态模型的创新架构，区别于现有端到端和模块化系统。引入多轮自主推理机制，结合工具调用与反思，构建动态决策流程。采用两阶段训练策略：第一阶段通过高质量合成数据进行监督微调，第二阶段引入混合奖励的强化学习，结合轨迹重采样实现多轮探索。模型实现了跨工具泛化、任务自适应推理和测试时规模扩展，为多模态AI提供了新设计范式。
新颖性
本工作首次将代理式多模态推理引入文本到图像生成任务，突破了静态流水线的限制，实现多轮自主交互和工具调用的动态调度。与传统端到端模型或静态模块系统不同，GenAgent通过链式推理与反思机制，显著提升了复杂场景下的理解与生成能力，展现出强大的泛化和扩展潜力。
局限性
- 当前模型对高复杂度场景的推理仍存在一定局限，尤其在多轮反思中可能受限于工具调用的准确率和反思深度，导致部分生成偏离用户意图。
- 训练过程依赖大量高质量合成数据，数据采集和过滤成本较高，且对不同任务的适应性仍需进一步验证。
- 模型在极端场景或极长交互中可能出现推理失控或效率下降，未来需优化决策策略和推理深度。
未来方向
未来将探索更高效的数据合成与增强策略，提升模型在复杂多模态任务中的鲁棒性。还计划引入多任务学习框架，增强模型的任务自适应能力，并结合更强大的外部工具实现更丰富的推理与生成能力，推动多模态AI向更高层次的自主性发展。
AI 总览摘要
在多模态人工智能领域，理解与生成一直是核心难题。传统方法多采用端到端或静态模块架构，面临高昂的训练成本和能力限制。本文提出的GenAgent通过引入代理式多模态推理框架，巧妙地解耦理解与生成，显著提升文本到图像的生成性能。该模型基于多轮自主交互，形成链式推理链，能自主规划、调用外部图像生成工具、评估输出并反思，逐步优化结果。
核心创新在于两阶段训练策略：首先通过高质量合成数据进行监督微调，建立基础行为；随后引入混合奖励的强化学习，结合轨迹重采样，增强多轮探索能力。实验结果显示，GenAgent在GenEval++和WISE数据集上分别实现23.6%和14%的性能提升，使用Qwen-Image工具时，性能逼近GPT-4o（0.72对比0.80），展现出强大的跨工具泛化和任务适应能力。
该方法不仅在性能上优于多种端到端和模块化方法，还展现出跨工具泛化、多轮交互规模扩展和任务自适应推理的三大特性，为多模态AI的未来发展提供了新思路。其深度融合推理与生成的设计，有望推动智能系统在复杂场景中的自主性和扩展性，具有重要的学术和产业价值。未来，模型将继续优化推理深度、数据效率和工具整合能力，朝着更高水平的自主智能迈进。
深度分析
研究背景
多模态AI的发展经历了从单一视觉或文本模型到融合理解与生成的演变。早期模型如CLIP、DALL·E实现了基础的跨模态对齐，但在复杂推理和多轮交互方面仍有限。近年来，端到端模型（如Florence、Gato）追求一体化，但面临训练成本高和能力瓶颈。模块化方法（如PromptEnhancer、ReflectionFlow）引入工具调用和反思机制，提升灵活性，但受限于静态流程。本文所提出的GenAgent结合多轮自主推理与工具调用，旨在突破这些限制，推动多模态理解与生成的深度融合。
核心问题
现有模型在多轮推理、工具调用和反思方面仍存在不足，难以实现高效、灵活的自主交互。端到端模型虽性能优越，但训练成本高，难以扩展；模块化系统虽灵活，但多为静态流程，缺乏动态决策能力。如何实现理解与生成的高效解耦、提升多轮交互的自主性，成为关键难题。
核心创新
1) 引入代理式多模态推理架构，将理解与生成解耦，提升模型灵活性；2) 设计多轮自主交互机制，支持链式推理、工具调用、反思与决策；3) 两阶段训练：监督微调结合强化学习，利用混合奖励和轨迹重采样，增强多轮探索能力。这些创新突破了静态流程的限制，显著提升模型的泛化和适应性。
方法详解
- �� 输入用户查询q，模型生成推理链T1和提示P1。• 调用图像生成工具生成图像I1。• 评估I1是否满足需求，若不满意，模型生成判断J1，识别不足，规划下一轮T2、P2。• 反复进行推理、调用、评估、反思，形成完整轨迹o。• 训练包括：第一阶段的监督微调，确保工具调用和反思的准确性；第二阶段的强化学习，结合点奖励（图像质量）和对比奖励（反思改进），通过轨迹重采样实现多轮探索。• 使用多样化合成数据，过滤不良样本，确保训练质量。
实验设计
采用GenEval++、WISE和Imagine三大基准，评估模型在指令遵循、知识推理和创意生成方面的性能。对比多种基线模型（如Qwen-Image、GPT-4o、PromptEnhancer），在不同交互轮数和工具能力下进行测试。超参数包括：批量大小256、学习率1e-5、最大交互轮数3。通过消融实验验证训练阶段和奖励机制的贡献。
结果分析
在GenEval++上，性能提升23.6%，从0.325到0.507；在WISE上提升14%，达0.69。使用Qwen-Image工具时，性能逼近GPT-4o（0.72对比0.80）。多轮交互持续改善输出质量，模型能自动调整推理策略。验证模型跨工具泛化能力，显示其在不同生成器间的迁移性。
应用场景
该模型适用于高质量图像生成、复杂场景理解、创意设计等多模态任务。可在内容创作、虚拟现实、智能助手等行业中应用，提升自动化水平和用户体验。未来还可结合更多外部工具，实现更丰富的推理与生成能力。
局限与展望
模型在极端复杂场景下仍存在推理失误，工具调用的准确性和反思深度有限，训练成本较高，数据合成依赖较大，未来需优化推理深度和多任务能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，准备一道复杂菜肴。你会先看食谱（理解），然后准备食材（生成）。如果发现食材不够，你会去买（调用工具），做完后还会反复尝试，调整调料（反思）。这个过程不断循环，直到菜肴满意。这就像GenAgent一样，它能自主规划每一步，调用不同“厨房工具”，不断改进，最终做出理想的“菜肴”。它的每个步骤都像厨师一样聪明，会自己决定下一步该做什么，反复试验，直到满意。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏。你先看一眼拼图的说明（理解），然后开始拼部分（生成图片）。如果发现拼错了，你会退回来重新调整（反思），还会用放大镜检查细节（工具调用），不断试错直到拼出完美的图案。这就像GenAgent一样，它可以自己规划每一步，决定用哪个工具帮忙，反复检查和改正，直到拼出满意的图像。它就像一个聪明的拼图高手，知道什么时候该换角度，什么时候该用放大镜，能自己学习、调整，变得越来越厉害。
术语表
Agentic Multimodal Model (代理式多模态模型)
一种能自主规划、多轮交互、调用外部工具的多模态系统，区别于传统单一模型，具备推理和生成的解耦能力。
论文中描述的核心架构，用于实现多轮自主推理和生成。
Tool Invocation (工具调用)
模型主动调用外部图像生成工具，作为实现复杂生成任务的手段，提升灵活性和可扩展性。
模型在多轮交互中调用图像生成模型，优化输出。
Hybrid Reward (混合奖励)
结合点奖励（最终图像质量）和过程奖励（反思准确性），引导模型在多轮中自主优化。
强化学习训练中的奖励机制，提升模型推理和生成能力。
Trajectory Resampling (轨迹重采样)
在训练中对不同交互轮数的推理轨迹进行采样，增强模型多轮探索能力。
提升模型在多轮交互中的决策多样性和泛化能力。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在极端复杂场景中的推理深度和准确性，仍是未来研究的重点。模型在多轮反思中可能受限于工具调用的误差和反思深度，尚未完全实现自主推理的极限。
- 2 多模态工具的多样性和调用效率仍需优化，如何在保证效果的同时降低成本，是未来发展的方向。
应用场景
近期应用
高质量内容创作
可用于自动生成符合复杂描述的图像，帮助设计师、内容创作者快速实现创意，提升效率。
虚拟现实与游戏开发
支持自动生成丰富场景和角色，减少人工设计成本，增强虚拟环境的多样性。
远期愿景
自主智能设计系统
未来模型能自主规划设计方案，结合多模态推理实现自动化创作，推动工业设计、动画制作等行业变革。
原文摘要
We introduce GenAgent, unifying visual understanding and generation through an agentic multimodal model. Unlike unified models that face expensive training costs and understanding-generation trade-offs, GenAgent decouples these capabilities through an agentic framework: understanding is handled by the multimodal model itself, while generation is achieved by treating image generation models as invokable tools. Crucially, unlike existing modular systems constrained by static pipelines, this design enables autonomous multi-turn interactions where the agent generates multimodal chains-of-thought encompassing reasoning, tool invocation, judgment, and reflection to iteratively refine outputs. We employ a two-stage training strategy: first, cold-start with supervised fine-tuning on high-quality tool invocation and reflection data to bootstrap agent behaviors; second, end-to-end agentic reinforcement learning combining pointwise rewards (final image quality) and pairwise rewards (reflection accuracy), with trajectory resampling for enhanced multi-turn exploration. GenAgent significantly boosts base generator(FLUX.1-dev) performance on GenEval++ (+23.6\%) and WISE (+14\%). Beyond performance gains, our framework demonstrates three key properties: 1) cross-tool generalization to generators with varying capabilities, 2) test-time scaling with consistent improvements across interaction rounds, and 3) task-adaptive reasoning that automatically adjusts to different tasks. Our code will be available at \href{https://github.com/deep-kaixun/GenAgent}{this url}.