GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation

TL;DR

GenEvolve通过工具协调的视觉经验蒸馏实现自我进化图像生成,提升生成质量。

cs.CV 🔴 高级 2026-05-21 41 次浏览
Sixiang Chen Zhaohu Xing Tian Ye Xinyu Geng Yunlong Lin Jianyu Lai Xuanhua He Fuxiang Zhai Jialin Gao Lei Zhu
图像生成 自我进化 视觉经验 工具协调 深度学习

核心发现

方法论

GenEvolve采用工具协调的视觉经验蒸馏框架,将每次生成尝试建模为工具协调的轨迹。代理通过收集证据、选择参考、调用生成技能,并将其组合成提示参考程序。该方法通过对比同一请求的多条轨迹,将最佳-最差差异抽象为结构化视觉经验,仅提供给特权教师分支。

关键结果

  • 在GENEVOLVE-BENCH上,GenEvolve在KScore和四个评判维度上均超越现有基准,显示出显著的性能提升。
  • 在WISE基准测试中,GenEvolve持续优于SOTA直接生成器和近期代理基准。
  • 通过视觉经验蒸馏,学生模型在搜索、知识激活、参考选择和提示构建方面表现更佳。

研究意义

GenEvolve在图像生成领域具有重要意义,解决了现有方法在多样化和复杂请求下的局限性。通过工具协调和视觉经验蒸馏,该方法提高了生成质量和适应性,推动了图像生成技术的发展。

技术贡献

GenEvolve的技术贡献在于重新定义了开放式图像生成问题,将其视为代理轨迹学习问题。通过工具协调和视觉经验蒸馏,优化了工具使用、参考选择、知识激活和提示程序构建。

新颖性

GenEvolve首次将工具协调和视觉经验蒸馏结合,用于图像生成代理的自我进化。与现有方法相比,它在工具使用和经验内化方面具有创新性。

局限性

  • 可能在处理极端复杂的请求时表现不佳,因为需要更复杂的工具协调。
  • 对工具和参考的依赖可能导致在缺乏外部资源时性能下降。

未来方向

未来的研究方向包括扩展工具集成能力,提高对复杂请求的适应性,以及探索更多的视觉经验蒸馏策略。

AI 总览摘要

GenEvolve通过工具协调的视觉经验蒸馏框架,重新定义了开放式图像生成问题。传统的图像生成方法通常依赖于单一的提示到图像转换,而GenEvolve通过多轨迹比较和视觉经验蒸馏,提升了生成质量和适应性。

在实验中,GenEvolve在GENEVOLVE-BENCH和WISE基准测试中表现出色,超越了现有的图像生成框架。其核心技术包括工具协调和视觉经验蒸馏,通过对比多条轨迹,优化了工具使用、参考选择和知识激活。

尽管GenEvolve在图像生成领域取得了显著进展,但在处理极端复杂请求时仍面临挑战。未来的研究将集中在扩展工具集成能力和探索更多的视觉经验蒸馏策略,以进一步提升生成性能。

深度分析

研究背景

近年来,图像生成技术取得了显著进展,但在处理开放式和复杂请求时仍面临挑战。传统方法通常依赖于单一的提示到图像转换,难以满足多样化的生成需求。GenEvolve通过工具协调和视觉经验蒸馏,提供了一种新的解决方案。

核心问题

开放式图像生成问题的核心在于如何有效地协调内部生成能力与外部资源。现有方法在处理多样化和复杂请求时,往往难以充分利用外部参考和生成知识。

核心创新

GenEvolve的核心创新在于将每次生成尝试建模为工具协调的轨迹,并通过视觉经验蒸馏优化生成过程。这种方法不仅提高了生成质量,还增强了系统的适应性。

方法详解

  • �� 每次生成尝试建模为工具协调的轨迹
  • �� 代理收集证据、选择参考、调用生成技能
  • �� 将这些元素组合成提示参考程序
  • �� 通过视觉经验蒸馏优化学生模型

实验设计

实验在GENEVOLVE-BENCH和WISE基准测试上进行,使用Nano Banana Pro和Qwen-Image-Edit作为下游生成器。评估指标包括KScore和四个评判维度。

结果分析

实验结果显示,GenEvolve在GENEVOLVE-BENCH和WISE基准测试中均超越现有基准,尤其在复杂请求下表现优异。

应用场景

GenEvolve可用于建筑设计、科学插图、创意转移等领域,尤其适合需要高质量和复杂生成的场景。

局限与展望

尽管GenEvolve在生成质量上表现出色,但在处理极端复杂请求时仍面临挑战。此外,对外部工具和参考的依赖可能限制其在资源匮乏环境中的应用。

通俗解读 非专业人士也能看懂

想象你在厨房里做饭。GenEvolve就像一个聪明的厨师助手,它不仅能根据食谱做菜,还能根据你的口味调整配料。它会先查找食材信息,选择合适的调料,然后结合厨艺技巧,最终做出一道美味佳肴。这个过程就像GenEvolve在图像生成中,通过工具协调和视觉经验蒸馏,优化生成过程,提升图像质量。

简单解释 像给14岁少年讲一样

嘿,小伙伴!想象一下你在玩一个超级酷的游戏,里面有个助手帮你设计游戏角色。这个助手就像GenEvolve,它不只是简单地根据你的描述画出角色,而是会查找资料、选择参考图片,然后用自己的技能来优化角色设计。这样,你的角色就会变得超级炫酷!

术语表

GenEvolve (自我进化)

一种通过工具协调和视觉经验蒸馏实现自我进化的图像生成框架。

用于提升图像生成质量和适应性。

视觉经验蒸馏

通过对比多条生成轨迹,将最佳-最差差异抽象为视觉经验。

用于优化学生模型的生成过程。

工具协调

在生成过程中有效利用外部工具和参考资源。

帮助代理在复杂请求下提高生成质量。

轨迹学习

将生成过程建模为一系列工具调用和决策。

用于优化生成过程的关键技术。

Nano Banana Pro

一种高质量图像生成和编辑工具。

用于实验中的下游生成器。

开放问题 这项研究留下的未解疑问

  • 1 如何在资源匮乏环境中优化工具协调和参考选择?
  • 2 如何进一步提升复杂请求下的生成质量?

应用场景

近期应用

建筑设计

GenEvolve可用于生成复杂建筑设计图,帮助设计师更好地实现创意构思。

远期愿景

智能创意助手

未来,GenEvolve可发展为智能创意助手,支持多领域的创意生成和优化。

原文摘要

Open-ended image generation is no longer a simple prompt-to-image problem. High-quality generation often requires an agent to combine a model's internal generative ability with external resources. As requests become more diverse and demanding, we aim to develop a general image-generation agent that can self-evolve through trajectories and use tools more effectively across varied generation challenges. To this end, we propose GenEvolve, a self-evolving framework based on Tool-Orchestrated Visual Experience Distillation. In GenEvolve, each generation attempt is modeled as a tool-orchestrated trajectory, where the agent gathers evidence, selects references, invokes generation skills, and composes them into a prompt-reference program. Unlike existing agentic generation methods that mainly rely on image-level scalar rewards, GenEvolve compares multiple trajectories for the same request and abstracts best-worst differences into structured visual experience, provided only to a privileged teacher branch. Inspired by on-policy self-distillation, Visual Experience Distillation provides dense token-level supervision, helping the student internalize better search, knowledge activation, reference selection, and prompt construction. We further construct GenEvolve-Data and GenEvolve-Bench. Experiments on public benchmarks and GenEvolve-Bench show substantial gains over strong baselines, achieving state-of-the-art performance among current image-generation frameworks. Our website is as follows: https://ephemeral182.github.io/GenEvolve/

cs.CV