核心发现
方法论
该方法采用两阶段架构：首先，基于RGBA多模态模型的协议生成器将用户指令、资产和约束转化为JSON格式的设计协议，详细描述每个图层（内容、位置、样式、顺序）及背景说明；其次，前景感知背景合成器（MM-DiT backbone）在保持前景元素不变的基础上，生成与前景协调的背景。协议生成器通过自监督训练实现多任务协议补全，支持prompt-only、资产条件、画布条件和重布局等多种模式。背景合成器利用多模态条件编码，将前景信息融入背景生成，确保视觉一致性。整个流程确保设计元素的可编辑性和资产的完整性，突破了传统模板依赖。
关键结果
- 在新提出的多层设计基准上，CreatiPoster在自动化指标和人工评估中均优于开源和商业系统，平均评分超出对比方法约0.5分（满分5分）;在多任务场景中，协议模型实现prompt补全、资产布局和画布重排，表现出良好的泛化能力。
- 通过100,000个无版权限制的多层设计样本，验证模型在多样化设计任务中的适应性和稳定性，显著提升设计的个性化和可控性。
- 在多应用场景中（如画布编辑、文字覆盖、多语言支持、动画海报），系统均表现出优异的可编辑性和视觉质量，满足实际设计需求。
研究意义
该研究为AI辅助图形设计提供了全新范式，将设计过程抽象为可编辑的协议程序，极大增强了设计的灵活性和可控性，推动了个性化、智能化设计工具的发展。其突破在于实现资产的完整保留和元素的层级编辑，解决了传统模板和像素生成的局限性，为未来智能设计系统奠定基础。此技术不仅提升了设计效率，也降低了非专业用户的门槛，推动设计民主化，具有深远的产业和学术价值。
技术贡献
创新点包括：提出多层协议模型，将设计内容、布局、样式等细节以JSON协议形式表达，实现全流程可编辑；引入前景感知背景合成器，利用MM-DiT架构在保持前景不变的同时，生成协调背景，确保设计整体一致性；采用协议补全训练策略，支持多模态条件下的任务泛化；以及构建面向多场景的应用框架，支持画布重排、文字叠加、多语言和动画，突破了现有图形生成的像素限制和模板依赖。这些贡献共同推动了AI在图形设计中的可控性和可编辑性。
新颖性
本研究首次将图形设计任务转化为可编辑的协议程序生成，结合多模态模型实现多任务支持，突破了传统基于模板或像素的限制。提出的协议模型支持多场景、多任务的统一控制，背景合成器实现前景感知的背景生成，显著提升设计的灵活性和专业性。这在学术上填补了多层次、多模态设计生成的空白，技术上实现了端到端的协议补全过程，具有较强创新性。
局限性
- 当前模型对复杂场景的布局仍存在一定局限，尤其在多元素交互和动态动画生成方面表现不足，原因在于训练数据和模型容量限制。
- 背景合成依赖静态场景，难以实现动态变化或复杂光影效果，未来需引入时序建模。
- 模型训练成本较高，需大量GPU资源，限制了大规模推广应用。
未来方向
未来将探索引入时序信息实现动态动画效果，增强背景的交互性；优化模型结构以降低计算成本，提升效率；丰富多模态输入，提高多语言、多风格的适应能力；同时，结合用户交互设计，推动个性化定制与实时编辑功能的发展。
AI 总览摘要
CreatiPoster是一种创新的多层图形设计生成框架，旨在解决传统AI设计工具在可编辑性和专业性方面的局限。该系统采用两阶段架构：协议生成器基于RGBA多模态模型，将用户指令、资产和约束转化为详细的JSON设计协议，描述每个图层的内容、位置、样式和顺序；背景合成器则在保持前景元素不变的基础上，生成协调一致的背景，确保整体视觉效果。通过端到端训练，协议模型支持prompt-only、资产条件、画布重排等多任务，极大增强了设计的灵活性和可控性。实验结果显示，CreatiPoster在自动化指标和人工评估中均优于现有开源和商业系统，特别是在复杂布局和多场景应用中表现出色。其生成的设计元素保持高度可编辑，支持画布调整、文字叠加、多语言和动画等多样化应用，推动了AI辅助设计的民主化。该方法不仅提升了设计效率，也为未来智能设计工具提供了新的技术路径，具有广泛的产业和学术价值。
深度分析
研究背景
随着AI技术在图形设计中的应用不断深化，早期主要依赖规则和模板，如Adobe Spark、Canva等商业平台。近年来，深度学习模型如GAN和Transformer在图像生成和布局优化中取得突破，但多任务、多场景的可控设计仍面临资产保护和编辑灵活性不足的问题。多模态大模型（如Stable Diffusion、MM-DiT）推动了多层次生成，但多资产、多层级编辑仍未解决。CreatiPoster结合协议表达和前景感知背景合成，填补了多场景、多任务设计的空白，推动了AI在个性化和专业化设计中的应用。
核心问题
现有AI设计工具难以同时满足高质量、可编辑、资产完整和专业审美的需求。模板依赖限制创新，像素生成缺乏层级和结构，难以进行后续编辑。多资产融合和多任务支持不足，限制了设计的多样性和实用性。如何在保证资产完整的基础上，实现多场景、多任务的灵活控制，是当前亟待解决的核心问题。
核心创新
提出多层协议模型，将设计内容、布局、样式等信息以JSON协议表达，支持多任务端到端补全。引入前景感知背景合成器，利用MM-DiT架构在保持前景不变的同时，生成协调背景，确保整体一致性。采用协议补全训练策略，支持prompt-only、资产布局和重布局等多场景操作。构建多应用场景支持体系，实现画布重排、多语言和动画，突破传统像素限制，推动设计的可控性和可编辑性。
方法详解
- �� 输入：用户指令、资产、画布尺寸、约束。• 协议生成：利用RGBA多模态模型，将内容、位置、样式转化为JSON协议。• 协议补全：训练模型在部分信息缺失时补全完整协议，支持多任务。• 背景合成：在保持前景元素不变的基础上，利用MM-DiT生成协调背景。• 渲染：将协议转化为可编辑图层，支持后续修改。• 训练：端到端多任务训练，结合多模态条件，优化协议补全和背景合成。• 应用：支持画布调整、文字叠加、多语言和动画等多场景操作。
实验设计
采用自制的多层设计基准，包含45个prompt-only、39个资产条件和6个多资产任务。指标包括布局、色彩、风格和符合度，由GPT-4和人类评审评分。模型在自动指标和主观评价中优于OpenCOLE、Microsoft Designer和Canva。 Ablation研究验证协议模型的多任务能力和背景合成的协调性。模型在不同场景下表现出良好的泛化能力和稳定性。
结果分析
CreatiPoster在布局、色彩、风格和符合度方面均优于对比系统，平均评分提升0.4-0.6分（满分5）。在多场景应用中，支持多语言、动画和响应式调整，效果自然流畅。100,000样本验证了模型的多样性和稳定性，显示出强大的适应能力。用户和评审均认可其设计质量和编辑便利性，显著推动AI设计的实用化。
应用场景
支持画布重排、文字叠加、多语言生成和动画海报，适用于广告、社交媒体、电子商务等场景。用户只需提供基本指令和资产，即可快速生成高质量设计。系统可集成到设计软件中，提升设计效率和个性化水平。未来，结合实时交互和智能推荐，将实现更智能、更个性化的设计体验。
局限与展望
模型对复杂动态场景和多元素交互仍有局限，背景合成在光影和动画方面表现不足。训练成本较高，需大量GPU资源，限制大规模推广。未来需引入时序建模和优化算法，提升动态效果和效率。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，准备各种食材、调料和厨具。传统的做菜方法可能需要你逐一准备每样东西，花费时间。而现在，有个智能厨师可以根据你的菜单建议，自动准备好所有食材和调料，把它们按照最佳顺序摆放好，还能根据你的偏好调整味道和摆盘。这就像CreatiPoster一样，它用一种特别的“菜谱”——协议程序，把设计的每个元素、位置、样式都写下来。你只需告诉它想要什么风格，它就能自动帮你安排好所有内容，背景也会根据前景元素自动生成，整体协调又漂亮。而且，你还可以随时修改某个菜品或摆放方式，它都能快速调整，整个过程既高效又灵活。这种智能“厨师”让设计变得像做菜一样简单、快捷、个性化。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的拼图游戏，你有很多不同的拼图块，比如图片、文字和背景。以前，要拼出一张漂亮的海报，你得自己一块一块拼，还要保证颜色搭配、排版合理，非常难。而现在，有个智能帮手，它可以根据你的想法，自动告诉你每个拼图块应该放在哪里，还能帮你生成漂亮的背景，让整个海报看起来很专业。你只要说出你的主题，比如“科技未来”，它就会帮你安排好所有元素，还能让背景和前景协调一致。你可以随时改变某个元素的位置或内容，它会立刻帮你调整。就像你有了一个超级聪明的拼图助手，让你轻松做出漂亮的海报，不用担心复杂的排版问题。这就是CreatiPoster带来的魔法！
原文摘要
Graphic design plays a crucial role in both commercial and personal contexts, yet creating high-quality, editable, and aesthetically pleasing graphic compositions remains a time-consuming and skill-intensive task, especially for beginners. Current AI tools automate parts of the workflow, but struggle to accurately incorporate user-supplied assets, maintain editability, and achieve professional visual appeal. Commercial systems, like Canva Magic Design, rely on vast template libraries, which are impractical for replicate. In this paper, we introduce CreatiPoster, a framework that generates editable, multi-layer compositions from optional natural-language instructions or assets. A protocol model, an RGBA large multimodal model, first produces a JSON specification detailing every layer (text or asset) with precise layout, hierarchy, content and style, plus a concise background prompt. A conditional background model then synthesizes a coherent background conditioned on this rendered foreground layers. We construct a benchmark with automated metrics for graphic-design generation and show that CreatiPoster surpasses leading open-source approaches and proprietary commercial systems. To catalyze further research, we release a copyright-free corpus of 100,000 multi-layer designs. CreatiPoster supports diverse applications such as canvas editing, text overlay, responsive resizing, multilingual adaptation, and animated posters, advancing the democratization of AI-assisted graphic design. Project homepage: https://github.com/graphic-design-ai/creatiposter