CommBench: Can LLMs Write Correct and Efficient GPU Communication Code?

GPU通信技术经历了从基础点对点传输到复杂集体操作的演变，NCCL、NVSHMEM等库成为行业标准。随着大模型对通信的依赖日益增强，定制化优化和异构硬件支持成为研究热点。近年来，深度学习模型在代码生成方面取得显著进展，但在GPU通信领域的应用仍受限于缺乏真实复杂任务的评测基准。现有评测工具多集中在单GPU或简单通信场景，难以反映实际工业需求。随着新兴通信模式（如专家并行、通信融合）的出现，行业亟需更具代表性和挑战性的基准，以推动模型在真实系统中的应用能力。

当前大模型在GPU通信代码生成方面表现有限，尤其在复杂异构环境下的正确性和性能保障不足。缺乏系统化的评测基准限制了技术进步，模型难以理解和调用专业API，导致生成代码的可靠性和效率难以保证。复杂通信模式（如稀疏专家并行、通信与计算融合）对模型提出了更高的要求，但现有模型训练数据覆盖不足，导致在实际应用中表现不佳。这一问题阻碍了AI在高性能计算系统中的广泛应用，也限制了自动化系统优化的潜力。

本研究的核心创新在于设计了涵盖多类别、多平台、多难度任务的CommBench基准，结合专家设计和生产代码，提供真实场景的评测环境。引入自动化验证框架，确保代码正确性和性能的可信评估。多轮自我修正机制显著提升模型表现，首次系统性分析了模型在专业API和复杂通信模式中的能力差异。该工作还提出了联合正确性与性能的指标体系，为未来模型训练提供明确目标，推动GPU通信编程的自动化与优化。

• �� 构建多样化GPU通信任务集，涵盖点对点、集体、专家并行、通信融合和工具函数类别。
• �� 采集专家设计和生产代码，确保任务的真实性和复杂性。
• �� 开发自动化评估框架，包括任务定义、参考实现、编译执行验证和性能测量。
• �� 采用多平台硬件（NVLink、RDMA、RoCE）进行模型测试，确保环境多样性。
• �� 设计多轮自我修正流程，通过反馈优化生成代码。
• �� 统计模型成功率、性能提升和库覆盖情况，分析模型能力与局限。

采用真实硬件平台（NVIDIA B300、GH200、AMD MI325X）进行模型测试，比较GPT-5.5、DeepSeek-V4-Pro等模型的表现。指标包括成功率、性能比（GM-Speedup）、正确性覆盖和库调用情况。设置不同难度级别任务，进行多轮修正实验，分析模型在专业API和复杂通信场景中的表现差异。还通过对比不同模型在相同预算下的效果，验证多轮修正的有效性。实验结果揭示模型在高难度任务中的不足，强调了数据和训练策略的改进空间。

GPT-5.5在100任务中仅成功实现30.7%，成功率明显低于专家代码。模型在专业库（如MSCCL++、ThunderKittens）上的调用覆盖不足，导致在涉及复杂API的任务中失败率高达70%。多轮自我修正显著提升了DeepSeek-V4-Pro的成功率，从20%提升至41.6%，但对高难度任务仍表现欠佳。模型在简单任务中表现较好，但在稀疏通信和通信融合等复杂场景中差距明显。整体来看，模型在复杂GPU通信任务中的能力仍有巨大提升空间。

该基准可用于训练和评估AI模型在高性能计算中的通信编程能力，帮助工业界自动生成优化的GPU通信代码，减少人力成本。未来可推广到异构硬件环境中的自动调优、系统级优化等场景，推动深度学习在大规模分布式系统中的应用。行业内，模型可辅助开发高效的通信原语库，提升大模型训练和推理的整体性能，降低能耗与成本。

模型在高复杂度任务（如自定义通信原语、稀疏专家并行）中的成功率仍偏低，反映出训练数据中专业API和复杂通信模式的不足。硬件环境限制了模型在大规模分布式场景中的表现评估，未来需扩展多样化硬件平台。多轮修正虽提升了成功率，但成本较高，且对极端复杂场景的适应性仍有限。