AutoDesign: Meta-Harness Optimization for Long-Horizon Agentic Design

随着人工智能技术的快速发展，多模态内容生成已成为研究热点。从早期的单模态文本生成到近年来结合视觉、语音等多模态信息的复杂系统，研究者不断探索如何提升生成内容的质量、连贯性和实用性。代表性工作包括OpenAI的GPT系列、DeepMind的Perceiver模型，以及微软的CoCa（Contrastive Captioners）等。这些系统在自然语言理解、视觉理解和多模态融合方面取得了显著突破。然而，现有方法多依赖静态模型或单轮优化，难以实现持续的自我改进，特别是在复杂的设计任务中表现有限。近年来，元学习和强化学习的引入，为系统的自我优化提供了新思路，但在多模态内容生成中的应用仍处于探索阶段。学术论文到海报的转换任务，作为多模态设计的典型代表，融合了文本、图像、布局等多源信息，具有高度的复杂性和挑战性。此前的评测大多关注布局合理性、内容忠实度或视觉效果，缺乏对整体设计质量的全面衡量。本文提出的AutoDesign，旨在通过元优化机制，实现系统的持续自我改进，推动多模态设计向智能化、自动化方向迈进。

多模态内容生成的核心难题在于如何在保证信息忠实的基础上，实现内容的密集表达和视觉的协调统一。传统系统多依赖预训练模型或静态规则，难以适应多样化的设计需求和偏好，且缺乏持续学习能力。具体而言，现有方法在源信息提取、内容组织、视觉布局和细节修正等环节存在信息碎片化、缺乏全局优化、难以实现个性化定制等瓶颈。这些问题导致生成的内容在忠实度、连贯性和美观性方面难以兼顾，限制了多模态设计的实际应用效果。更严重的是，缺乏一种系统化的机制，将人类偏好、结构约束和反馈信息转化为持续优化的设计知识，导致系统难以实现长远的自我提升。解决这一问题，要求设计一种具有自我学习和递归优化能力的系统架构，能够在多轮交互中不断积累经验，逐步提升内容质量和用户满意度。

AutoDesign的核心创新在于引入元优化（Meta-Optimization）框架，将系统设计（DesignHarness）作为可优化的目标，而非仅仅微调模型参数。具体创新点包括：

• �� 双层反馈循环：内层为设计系统，负责内容生成和修正；外层为元-harness，分析多轮轨迹和评估指标，指导系统组件的有限范围更新。
• �� 模块化设计：将系统划分为五个核心功能模块（上下文、工具、执行环境、调度、反馈），实现灵活扩展和定制。
• �� 任务驱动的评估机制：构建PosterBench评测协议，涵盖忠实度、覆盖度、密度、视觉证据、布局、可读性和美学，提供多维度性能指标。
• �� 递归自我改进：通过有限范围的系统组件更新，逐步积累设计知识，实现持续优化，避免模型参数的微调带来的灾难性遗忘。
• �� 全自动化长远循环：在无需人工干预的情况下，完成多轮内容生成、修正和优化，显著提升效率和内容质量。

• �� 设计系统（DesignHarness）由五个核心模块组成：上下文与记忆、工具与规范、执行环境、调度机制、评估反馈。
• �� 内层循环：由设计者模型（如GPT-4）和批评者（Critic）协作，生成候选内容并根据规则和视觉批评进行局部修正，形成执行轨迹。
• �� 外层循环：利用评估器（结合规则和视觉语言模型）对多轮轨迹进行评分，分析失败模式，提出有限范围的系统组件更新建议。
• �� 更新提议由元优化器（如贝叶斯优化或强化学习策略）实现，确保每次更新都在训练集上提升性能且不损害验证集表现。
• �� 采用接受门控机制，只接受在训练集上表现提升且验证集不退步的系统组件更新。
• �� 通过多轮迭代，逐步优化设计系统，使其在学术论文到海报的任务中实现端到端自动化，从源信息提取到视觉布局再到细节修正，形成闭环优化体系。

• �� 数据集：使用PosterBench，包括100篇跨五个学科的论文主赛道和10篇控制子集，涵盖多模态信息和结构化内容。
• �� 基线：比较静态系统（如Claude Design）和不同配置的AutoDesign系统（共7个配置），评估指标包括PosterBench得分、内容忠实度、视觉质量等。
• �� 评估指标：采用多维度评分体系，包括规则检测、视觉语言模型评价和人类偏好调查。
• �� 超参数：训练轮次、轨迹采样次数、组件更新范围、评估器阈值等，详细调优以确保系统稳定性。
• �� Ablation研究：分析不同模块（如评估器、反馈机制、更新策略）对最终性能的影响，验证递归优化的有效性。

• �� AutoDesign在PosterBench主赛道中获得78.32分，超越Claude Design（71.87分）7.45分，显示出其在多模态学术海报生成中的优势。
• �� 在七个不同配置中引入学习到的DesignHarness，平均得分由54.99提升至67.39，验证了系统的稳定性和迁移能力。
• �� 完全自主循环中，40分钟内完成253次工具调用和11轮编辑，成本低于3美元，生成的海报在人工评审中达到了会议标准，验证了其实用性和效率。
• �� 用户偏好调查显示，AutoDesign在所有被评系统中偏好比例达64.0%，特别在视觉连贯性和内容完整性方面表现优异。

• �� 立即应用：科研人员可以利用AutoDesign自动生成会议海报，减少手工设计时间，提高效率；内容创作者可以用其快速制作多模态内容，提升产出质量；教育行业可借助其自动化生成教学演示材料，增强教学效果。
• �� 长期愿景：推动智能设计系统的普及，实现从文本到视觉内容的全自动化，降低内容创作门槛，促进跨领域知识传播，最终实现个性化、实时化的内容定制与优化。

• �� 目前系统主要针对学术论文到海报的场景，泛化到其他多模态内容生成任务仍需验证，存在任务特定依赖。
• �� 递归优化过程计算成本较高，尤其在更大规模任务中可能面临效率瓶颈。
• �� 完全自动化仍存在偏差和误导风险，未来需增强模型的鲁棒性和可解释性，确保生成内容的可靠性和透明度。