Harness Engineering for LLM-Driven GPU Kernel Generation

近年来，深度学习模型不断扩大，GPU硬件成为推理的核心平台。传统核优化依赖手工调优，效率低且难以应对复杂操作符。早期工作如KernelBench、KernelEvolve通过生成-评估-选择循环探索优化空间，但缺乏系统工程支持。随着大语言模型（LLM）崛起，利用其生成能力辅助核设计成为新趋势。现有研究多集中于自动化搜索，但缺乏工程化的可控性和验证机制，导致生成核在实际应用中难以保证正确性和性能。本文在此背景下提出Harness工程思想，结合Profile-backed状态管理和人类专家的技能定义，构建了一个可控、可追溯的核生成系统，填补了自动化与工程实践的空白。

GPU核优化面临多重挑战：一是核的正确性必须严格保证，否则会引发错误；二是性能提升需在多样化工作负载中实现，而非单一指标；三是工程实现复杂，容易出现基线漂移、验证不充分等问题。传统方法难以兼顾这些需求，导致优化效果不稳定。如何在保证正确性的同时，系统性地提升核性能，成为亟待解决的问题。特别是在多操作符、多硬件环境下，如何实现高效、可靠的自动化核生成，仍是研究难点。

本研究的核心创新包括：1）引入Harness工程思想，将人类设计的技能封装为可复用的约束和操作规则，确保生成核符合工程要求；2）采用Profile-backed状态管理，将Profiler信息作为搜索的基础，提升搜索的可追溯性和稳定性；3）多语言支持（CUDA、Triton、CuTe），满足不同硬件和微调需求；4）结合多轮迭代和Latency-first promotion策略，有效平衡性能与正确性，避免优化停滞。这些创新使系统在保证核正确性的基础上，显著提升了性能，突破了传统自动优化的局限。

• �� 设计评估工具（Harness）与优化控制器（Controller），将工作负载、Profile信息、候选核封装为结构化上下文；
• �� 利用人类专家定义的技能捕获操作符约束、参考代码、推广规则，确保核的工程可控性；
• �� 采用Profile-backed状态管理，记录每轮候选核的性能、正确性和Profiler证据，作为下一轮搜索的基础；
• �� 多语言支持：CUDA C++、Triton、CuTe，满足不同硬件需求；
• �� 结合二阶段搜索策略：候选生成（模型/模型新）、验证（正确性、性能）、推广（Latency-first）；
• �� 设计多轮迭代流程：识别瓶颈、生成候选、编译验证、Profiler测量、轨迹存储、人工引导plateau recovery。
• �� 通过多任务、多工作负载、多轮优化，确保核在不同场景下的性能提升与正确性。

实验在NVIDIA Blackwell B200 GPU上进行，使用CUDA 13.2、PyTorch 2.12、Triton 3.6环境，评估五个操作符定义（MoE FP8、DSA top-k、DSA attention、GDN decode、GDN prefill），对比基础FlashInfer基线。每个定义采用不同工作负载（如19、128、23、54、100个），验证核的正确性和性能提升。多轮优化中，结合Profiler信息和人工引导，筛选出最优候选核。通过对比Agent-Assisted与Full-Agent方法，验证了系统的有效性。指标包括平均延迟、速度提升（最高达29.68倍）和正确性保证。还进行了微调和高试验轮次验证，确保核的稳健性。

在五个操作符定义中，Retained artifacts的平均速度提升分别为1.62x、18.05x、29.68x、1.12x和13.70x，显著优于基础基线。Agent-Assisted核在所有定义中优于Full-Agent核，特别是在稀疏注意力和门控网络中表现出极大优势。多轮优化结合Profiler信息，有效避免了微调中的错误，验证了Shape-aware dispatch和Workload-grounded promotion的有效性。实验结果显示，结合人类专家引导的系统架构，核生成的性能提升具有高度稳定性和可控性，为GPU核自动化生成提供了新范式。

该系统适用于深度学习模型部署中的GPU核优化，特别是在大规模模型推理、稀疏注意力、门控网络等场景。通过结合Profile信息和工程化技能，能显著缩短核开发周期，提升推理速度，降低能耗。未来可扩展到多硬件平台，支持自动化调优，推动深度学习硬件加速产业升级。

系统依赖人类专家设计的技能，自动化程度有限，难以完全自主。多轮优化耗时较长，实际部署需权衡时间成本。对极端或新颖操作符的适应性不足，未来需增强泛化能力和迁移性。