核心发现
方法论
本文提出基于扩散变换器（DiT）的两阶段管线，结合参数高效微调（TC-FT）和文字无关风格适配器（SCA），实现字级字体和风格控制。通过引入封闭式排版控制标记（ETC-tokens）和HTML渲染数据增强，构建首个字级可控数据集。训练过程中，TC-FT仅调节模型5%的关键参数，确保高效性。SCA模块在保持内容不泄露的同时，增强风格一致性。整个流程融合多模态信息，兼顾场景文本和艺术文本的控制需求。
关键结果
- 在字级字体控制方面，模型实现了对单词字体、粗细、斜体等属性的精准调节，字体一致性指标提升至96.98%。在风格控制方面，风格一致性指标达63.64%，优于多项基线。OCR识别准确率在场景文本中提升至82.85%，在艺术文本中，风格与内容的平衡显著优于对比方法。用户评估显示，本文方法在字级控制和风格一致性方面优于Glyph-ByT5和Flux模型。
- 通过引入HTML渲染和字级数据集，有效解决了字体不一致和风格漂移问题。AB实验验证，参数微调和ETC-tokens显著提升了字级控制能力，SCA模块增强了风格的稳定性。多模态融合机制确保了场景文本与艺术文本的双重控制能力，展现出良好的泛化性。
- 在多场景文本生成任务中，模型表现出优异的控制精度和一致性，特别是在复杂字体和风格变化场景下，性能稳定，误差显著低于现有方法。
研究意义
该研究突破了文本渲染中的字级控制瓶颈，填补了风格一致性不足的空白，为自动化排版、个性化字体设计提供了技术基础。其高效微调策略和多模态数据融合，为未来个性化内容生成和多样化艺术设计开辟新路径。模型在学术和工业界具有广泛应用潜力，特别是在广告、品牌设计和数字内容创作中，能显著提升效率和表现力，推动AI在视觉内容生成领域的创新发展。
技术贡献
本文提出的两阶段DiT管线结合参数高效微调（TC-FT）和文字无关风格适配器（SCA），实现了字级字体和风格的精细控制。创新点包括引入封闭式排版控制标记（ETC-tokens）用于位置精确的属性调节，以及HTML渲染数据增强策略，构建首个字级可控数据集。通过优化模型参数微调，仅调节模型5%的参数，有效保持场景文本能力，同时实现细粒度控制。SCA模块通过解耦内容和风格，增强风格一致性，避免内容泄露。这一体系结构显著优于现有的单模态和全参数微调方法，为多模态文本生成提供了新范式。
新颖性
本研究首次实现了字级字体和风格控制的结合，提出封闭式排版控制标记（ETC-tokens）和HTML渲染数据增强策略，填补了现有DiT模型在细粒度控制方面的空白。与传统微调方法不同，本文仅调节模型少量参数，兼顾效率与效果。引入多模态融合机制和文字无关的风格适配器，显著提升风格一致性，突破了风格漂移和语义混淆的难题。这些创新为文本渲染和内容生成提供了全新解决方案。
局限性
- 模型在极端字体变化或复杂排版场景下仍存在控制不够精细的问题，部分字体属性调节可能受限于训练数据的多样性。
- 风格一致性虽有提升，但在极端风格迁移场景中仍存在一定的漂移，尤其是在多模态风格融合时。
- 训练和微调过程依赖大量高质量数据，数据采集和标注成本较高，模型泛化能力仍需在更复杂场景中验证。
未来方向
未来将探索多模态数据的更深层次融合，提升模型在复杂排版和多风格迁移中的表现。还计划引入自监督学习策略，减少对高质量标注数据的依赖。同时，优化模型结构以降低计算成本，增强模型在边缘设备上的部署能力，推动个性化和实时文本生成技术的发展。
AI 总览摘要
视觉文本渲染在广告、品牌和数字内容中扮演着关键角色。传统方法依赖人工设计，费时费力，且难以实现细粒度控制。近年来，基于扩散变换器（DiT）的文本到图像（T2I）模型展现出自动化潜力，但在字体一致性、风格控制和字级调节方面仍存在不足。为解决这些问题，本文提出了FonTS，一种结合两阶段DiT管线的创新方法。
核心创新包括引入参数高效微调（TC-FT）和封闭式排版控制标记（ETC-tokens），实现对单词字体属性的精准调节。通过HTML渲染数据增强，构建了首个字级可控数据集。为了提升风格一致性，设计了文字无关的风格适配器（SCA），有效防止内容泄露。整个系统在保持场景文本能力的同时，显著提升了字级控制和风格一致性。
大量实验证明，该方法在字体和风格控制方面优于现有技术，OCR识别率提升至82.85%，风格一致性达63.64%。用户评估也验证了其优越性。该研究不仅推动了自动化文本排版的发展，也为个性化内容生成提供了新工具。未来，将继续优化模型效率，扩展多模态融合能力，推动AI在视觉内容创作中的应用普及。
深度分析
研究背景
视觉文本在广告、UI设计和数字内容中需求不断增长。早期方法多依赖手工排版和规则式生成，效率低且缺乏灵活性。近年来，深度学习尤其是扩散模型（如SD3、Flux）推动了自动化文本渲染，但在字体一致性和细粒度控制方面仍有限。现有DiT模型虽能生成艺术风格文本，但缺乏字级控制能力，且风格漂移严重。多模态融合和参数微调技术逐渐兴起，为实现更精细的控制提供可能。
核心问题
现有文本渲染模型在字体一致性和风格控制上表现不足，尤其在字级细节调节方面缺乏有效机制。传统微调方法调节参数成本高，且难以实现精确位置控制。风格迁移易引起内容泄露或风格漂移，影响生成质量。如何在保证场景文本能力的同时，实现字级字体和风格的精准调控，成为亟待解决的难题。
核心创新
首先，提出基于DiT的两阶段管线，结合参数微调（TC-FT）和文字无关的风格适配器（SCA），实现细粒度控制。其次，设计封闭式排版控制标记（ETC-tokens），允许在字级别调节字体属性。再次，利用HTML渲染构建字级数据集，提升模型对字级属性的学习能力。最后，采用多模态融合机制，确保场景文本和艺术文本的双重控制能力。这些创新突破了现有模型在细节控制和风格一致性上的局限。
方法详解
- �� 构建两阶段DiT管线：第一阶段进行参数高效微调（TC-FT），只调节模型5%的关键参数；第二阶段训练风格适配器（SCA），增强风格一致性。
- �� 设计封闭式排版控制标记（ETC-tokens），在文本中嵌入起止标记，实现字级字体属性调节。
- �� 采用HTML渲染技术，合成多样化高质量字级数据集（TC-Dataset），提升模型对字级属性的学习能力。
- �� 在训练中，结合多模态信息，优化模型的字级控制和风格迁移能力。
- �� 在模型微调后，利用SCA模块解耦内容与风格，避免内容泄露同时增强风格一致性。
实验设计
采用自制的字级控制数据集（TC-Dataset）和风格数据集（SC-general、SC-artext），在BTR和ATR基准上评估。指标包括字体一致性（FontCLIP-I）、风格一致性（Style-Con）、OCR识别率（OCR-Acc）。对比Glyph-ByT5、Flux等模型，进行AB测试和用户评估。参数微调在8×A100上进行，训练步数分别为40k（TC-FT）和100k（SCA），确保模型在多场景下的泛化能力。
结果分析
模型在字级字体控制中，字体一致性指标达96.98%，风格一致性63.64%，OCR识别率82.85%。在艺术文本中，风格保持稳定，内容准确。用户评估显示，本文方法在字体和风格控制方面优于Glyph-ByT5和Flux，且在复杂场景中表现出更强的鲁棒性。AB实验验证，参数微调和ETC-tokens显著提升了控制精度，风格适配器有效缓解了内容泄露问题。
应用场景
该技术可广泛应用于广告设计、个性化字体生成、数字内容排版和艺术创作。只需提供文本内容和风格偏好，即可自动生成符合要求的高质量文本图像。未来，结合实时交互和边缘计算，有望实现个性化定制和动态排版，极大提升内容创作效率。
局限与展望
模型在极端字体变化和复杂排版场景中仍存在控制不足的问题，部分字体属性调节受限。风格迁移在极端风格下可能出现漂移，且训练数据依赖高质量标注，成本较高。未来需优化模型结构，降低计算成本，并增强在多样化场景下的泛化能力。
通俗解读 非专业人士也能看懂
想象你在做一本书的排版。以前，编辑需要手工选择字体、调整大小和风格，非常繁琐。而现在，有了智能排版助手，它可以自动帮你选择字体、调整样式，还能让每个单词都变得特别，比如加粗、斜体或下划线。这个助手通过学习大量排版样例，理解不同字体和风格的搭配，然后根据你的指令，精准地在每个单词上应用这些效果。它还能确保整本书的风格一致，不会出现字体乱七八糟的情况。这样一来，设计师可以节省很多时间，作品也更漂亮。这项技术就像一个聪明的排版机器人，帮你把文字变得更有趣、更专业。
简单解释 像给14岁少年讲一样
想象你在用电脑做一个海报，你可以告诉它：“让‘快乐’这个词变得又粗又大，颜色是红色，还带点斜体。”以前，要做到这些需要花很多时间调字体、调整样式，但现在有了这个新技术，它可以一秒钟帮你搞定！这个系统学会了很多不同的字体和风格，然后根据你的指令，把每个单词变成你想要的样子。它还能保证整个海报的风格一致，不会出现乱七八糟的字体。就像你有一个超级厉害的设计助手，帮你快速做出漂亮的作品。未来，这个技术还能帮广告公司、设计师们节省大量时间，让每个人都能轻松做出酷炫的文字效果！
原文摘要
Visual text rendering are widespread in various real-world applications, requiring careful font selection and typographic choices. Recent progress in diffusion transformer (DiT)-based text-to-image (T2I) models show promise in automating these processes. However, these methods still encounter challenges like inconsistent fonts, style variation, and limited fine-grained control, particularly at the word-level. This paper proposes a two-stage DiT-based pipeline to address these problems by enhancing controllability over typography and style in text rendering. We introduce typography control fine-tuning (TC-FT), an parameter-efficient fine-tuning method (on $5\%$ key parameters) with enclosing typography control tokens (ETC-tokens), which enables precise word-level application of typographic features. To further address style inconsistency in text rendering, we propose a text-agnostic style control adapter (SCA) that prevents content leakage while enhancing style consistency. To implement TC-FT and SCA effectively, we incorporated HTML-render into the data synthesis pipeline and proposed the first word-level controllable dataset. Through comprehensive experiments, we demonstrate the effectiveness of our approach in achieving superior word-level typographic control, font consistency, and style consistency in text rendering tasks. The datasets and models will be available for academic use.