尽管生成式 AI 正在越来越多地融入编程工作流程，但微软的最新研究表明，在调试方面，大型语言模型仍然难以满足要求。
研究表明，即便是先进的模型，在处理对于经验丰富的开发者来说相当简单的调试任务时，依然存在困难，这突显了人类程序员的重要性。
然而，AI 似乎确实有着可靠的应用场景，谷歌现在声称，大约 25% 的新代码是 AI 生成的。Meta 也指出了 AI 在编码中的广泛部署。
AI 擅长代码创作，但不擅长调试 报告探讨了 11 名微软研究人员如何在 SWE-bench Lite（一种流行的调试基准测试工具）上测试 9 种 AI 模型。Claude 3.7 Sonnet 的成功率最高，但仅为 48.4%，而 OpenAI 的 o1 和 o3-mini 分别以 30.2% 和 22.1% 的较低成功率排在其后。
“即便使用调试工具，我们基于简单提示的代理也很少能解决超过一半的 SWE-bench Lite 问题，”研究人员写道，并将这一不理想的表现归咎于缺乏代表顺序决策行为的数据。
不过，并非一切都没有希望。“我们认为，训练或微调大型语言模型可以增强其交互式调试能力，”他们补充道。研究人员计划微调一个专门用于收集必要信息以解决 bugs 的信息获取模型，但与此同时，他们承诺开源 debug-gym，以便其他人能够开展类似的研究。
debug-gym 被描述为一个“允许代码修复代理访问用于主动信息获取行为的工具的环境。”
