核心发现
方法论
TextGrad通过将复杂AI系统转化为计算图，利用大语言模型（LLMs）提供的自然语言反馈作为“梯度”，实现对变量的反向传播。框架模仿PyTorch的语法，支持多种任务，包括代码优化、分子设计和放疗计划。核心机制在于用LLMs生成有关变量改进的自然语言建议，并通过反向传播机制将反馈传递到变量，结合TGD（Textual Gradient Descent）进行参数更新。该方法无需调节提示或组件，极大简化了多模态系统的自动优化流程。
关键结果
- 在Google-Proof Question Answering任务中，GPT-4的零-shot准确率由51%提升至55%；在LeetCode难题中，性能提升20%；通过优化提示改善推理能力，使GPT-3.5的表现逼近GPT-4；在药物设计中，成功生成具有理想结合能力的小分子；放疗计划优化中，实现高特异性和目标剂量控制。
- 在多领域应用中，TextGrad展现出强大适应性和效果提升，验证其作为自动微分工具的潜力。
- 无需修改框架，即可实现不同任务的优化，显示出极高的通用性和易用性。
研究意义
该研究突破了传统自动微分的局限，将梯度概念引入自然语言反馈，开启了利用LLMs进行系统级优化的新途径。它解决了多模态、多任务系统中难以定义明确梯度的问题，为未来AI系统的自动调优提供了理论基础和实践工具，有望推动AI在科学研究、医疗、化学等领域的深度应用。
技术贡献
提出基于自然语言的“梯度”反向传播机制，创新性地将文本反馈作为优化信号，结合PyTorch风格的API实现框架。引入TGD（Textual Gradient Descent）算法，支持复杂系统的端到端优化。该方法突破了传统自动微分的数值限制，兼容非连续、非微分的目标函数，极大扩展了自动微分的应用范围。框架设计简洁，易于集成多种外部工具，推动多模态AI系统的自动调优技术发展。
新颖性
首次提出利用大语言模型生成的自然语言反馈作为“梯度”信号，进行系统反向传播。不同于传统数值梯度或符号微分，TextGrad实现了对非微分目标的优化，具有高度通用性和灵活性。这一创新突破了自动微分的技术边界，为多模态、多任务AI系统的自动调优提供了全新思路。
局限性
- 目前依赖LLMs的推理能力，若模型偏差或错误，可能影响梯度质量。
- 在极端复杂或高维系统中，反馈的准确性和效率仍需验证。
- 计算成本较高，特别是在多次反向传播和大规模系统中，需优化算法效率。
未来方向
未来将探索多模态反馈机制，结合视觉、语音等多源信息，提升梯度的丰富性与准确性。同时，优化算法的效率和鲁棒性，降低计算成本，推动在大规模工业级系统中的应用。还将结合强化学习，增强系统自主调优能力，拓展到更多实际场景。
AI 总览摘要
TextGrad引入了一种创新的自动微分机制，利用大语言模型（LLMs）生成的自然语言反馈作为“梯度”，实现对复杂多模态AI系统的端到端优化。传统自动微分依赖数值或符号微分，难以应用于非微分目标或多源异构数据。本文提出的框架模仿PyTorch的API，支持多任务、多目标的系统反向传播，极大简化了系统调优流程。核心技术在于用LLMs生成关于变量改进的自然语言建议，并通过Textual Gradient Descent（TGD）算法，将反馈转化为参数更新信号。在多个应用场景中，TextGrad表现出优异的性能提升：在问答、代码、药物设计和放疗计划中均取得显著效果。该方法不仅突破了自动微分的技术边界，还为未来多模态、多任务AI系统的自动调优提供了理论基础和实践工具。未来，结合多源信息和强化学习，TextGrad有望推动AI系统的自主优化迈向新高度。
深度分析
研究背景
随着大规模语言模型（LLMs）如GPT-4、PaLM的兴起，AI系统逐渐演变为多模态、多任务的复合结构。传统优化方法依赖梯度信息，难以应对非微分或复杂目标，限制了系统的自动调优能力。早期的自动微分技术如反向传播极大推动了神经网络发展，但在多源异构系统中应用受限。近年来，研究者开始探索利用自然语言作为反馈信号的可能性，但缺乏系统化方法。TextGrad的提出，正是在此背景下，试图用自然语言反馈实现类似梯度的反向传播，填补现有技术空白，推动多模态系统的自主优化。
核心问题
多模态、多任务AI系统中，变量的优化缺乏统一、自动化的机制。传统方法难以处理非微分目标，且调优过程繁琐，依赖大量手工调节。如何利用大语言模型提供的丰富自然语言反馈，作为系统的“梯度”信号，实现端到端的自动优化，成为亟待解决的核心问题。这不仅关系到模型性能提升，也影响系统的泛化能力和应用范围。解决这一难题，将极大推动AI系统的智能化和自主化发展。
核心创新
第一，提出用自然语言反馈作为“梯度”，突破数值微分的限制，支持非微分目标的优化。第二，设计了模仿PyTorch的API，使得框架易于集成和使用。第三，引入Textual Gradient Descent（TGD）算法，将文本反馈转化为参数更新信号。第四，支持多源、多任务、多目标的系统反向传播，极大扩展了自动微分的适用范围。第五，验证在问答、代码、药物设计和放疗等多个领域的效果，展现出极强的适应性和实用性。
方法详解
- �� 将复杂AI系统转化为计算图，变量代表输入或中间状态。• 利用大语言模型（如GPT-4）对变量进行自然语言反馈，描述改进措施。• 设计反向传播机制，将反馈作为“梯度”传递到变量。• 使用Textual Gradient Descent（TGD）算法，根据反馈更新变量。• 支持多源信息融合，结合外部工具（模拟器、搜索引擎）实现多任务优化。• 框架模仿PyTorch API，支持批量处理和约束条件。• 反馈生成机制依赖LLMs的推理能力，确保建议的合理性。• 通过多轮迭代，逐步优化系统性能。• 实现无需调节提示或组件，极大简化调优流程。
实验设计
在问答任务中，利用GPQA和MMLU数据集，验证TextGrad提升GPT-4的准确率，从51%提升至55%。在LeetCode难题中，性能提升20%。在药物设计中，成功生成具有理想结合能力的小分子。在放疗计划中，实现目标剂量和副作用的平衡。所有实验均采用多轮迭代，比较不同优化策略的效果，验证框架的通用性和效率。对比基线方法如反思（Reflexion）和零-shot策略，突出TextGrad的优势。
结果分析
在问答任务中，GPT-4的准确率由51%提升至55%，在LeetCode中性能提升20%，药物设计中生成的分子显示出更优的结合能力，放疗计划中实现了更高的目标达成率。这些结果验证了用自然语言反馈进行系统优化的有效性。多任务、多场景的实验显示，TextGrad具有极强的适应性和扩展性，显著优于传统优化方法。
应用场景
该框架适用于多模态AI系统的自动调优，包括问答、代码、药物设计和医疗方案优化。只需提供目标函数，无需调节提示或组件，即可实现性能提升。未来可应用于工业自动化、科学研究和个性化医疗，推动AI系统自主学习和优化的广泛落地。
局限与展望
依赖LLMs的推理能力，模型偏差可能影响反馈质量。复杂系统中，反馈的准确性和效率仍需验证。计算成本较高，尤其在多轮反向传播中。未来需优化算法，提高效率和鲁棒性，降低成本，同时探索多模态反馈融合机制。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，菜谱就像AI系统的目标。传统方法就像用手试味道，调整调料（参数）直到满意。而TextGrad则像请一位厨师（大语言模型）用自然语言告诉你：“多放点盐，少放点糖”，然后你根据建议调整。每次厨师的建议都像“梯度”，帮助你一步步做出更好吃的菜。这个过程不需要你自己试错很多次，只要听取厨师的建议，反复调整，就能做出最美味的菜。这就是用自然语言反馈实现自动优化的直观比喻。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，但你不知道怎么赢。你可以请你的朋友（大语言模型）告诉你：“试试这样做，可能会更好。”每次你听完建议，调整一下策略，然后再问朋友。这样反复几次，你的游戏水平就会变得更高。这就像TextGrad用大模型告诉你怎么改进你的方案，让你变得更厉害。它不用你自己试很多次，只要听取建议，逐步改进，就能达到目标。这种方法让复杂的系统变得更聪明、更会自己调节，就像有个聪明的朋友一直在帮你优化策略一样！
原文摘要
AI is undergoing a paradigm shift, with breakthroughs achieved by systems orchestrating multiple large language models (LLMs) and other complex components. As a result, developing principled and automated optimization methods for compound AI systems is one of the most important new challenges. Neural networks faced a similar challenge in its early days until backpropagation and automatic differentiation transformed the field by making optimization turn-key. Inspired by this, we introduce TextGrad, a powerful framework performing automatic ``differentiation'' via text. TextGrad backpropagates textual feedback provided by LLMs to improve individual components of a compound AI system. In our framework, LLMs provide rich, general, natural language suggestions to optimize variables in computation graphs, ranging from code snippets to molecular structures. TextGrad follows PyTorch's syntax and abstraction and is flexible and easy-to-use. It works out-of-the-box for a variety of tasks, where the users only provide the objective function without tuning components or prompts of the framework. We showcase TextGrad's effectiveness and generality across a diverse range of applications, from question answering and molecule optimization to radiotherapy treatment planning. Without modifying the framework, TextGrad improves the zero-shot accuracy of GPT-4o in Google-Proof Question Answering from $51\%$ to $55\%$, yields $20\%$ relative performance gain in optimizing LeetCode-Hard coding problem solutions, improves prompts for reasoning, designs new druglike small molecules with desirable in silico binding, and designs radiation oncology treatment plans with high specificity. TextGrad lays a foundation to accelerate the development of the next-generation of AI systems.