GPT-5仅23.3%，全球AI集体挂科，地狱级编程考试，夺金神话破灭

景点排名 2025年09月22日 20:51 0 aa

编程大考，全球顶尖LLM夺金，真无敌了？最难编码基准SWE-Bench Pro出世，汇集了平均超100行代码的难题。没想到，最能打的LLM纷纷溃败，GPT-5仅拿下23.3%高分。

一图看透全球大模型！新智元十周年钜献，2025 ASI前沿趋势报告37页首发

继IMO 2025登顶后，谷歌、OpenAI的模型，再一次拿下了ICPC金牌。

ICPC，被公认为全球最具挑战的大学生编程竞赛之一。

OpenAI和谷歌不仅解决了全部12题，还在人类选手中位列第一，难道AI编程真能所向披靡了吗？

最新一项基准测试，直接打脸了全世界的顶尖模型。

它就是SWE-Bench Pro，专为评估AI编程智能体而生的新一代基准测试，直面真实企业级工程任务。

相较于前代SWE-Bench，Pro版本升级带来了三大突破：

任务难度全面提升
抗数据污染能力更强
无限逼近真实代码库

这一版，堪称编码中的「最后人类考试」。在实际测试（公开集）中，顶尖模型几乎溃败。

GPT-5虽拿下了第一，但成绩仅有23.3%，Claude Opus 4.1以22.7%得分位居第二。

其他模型更是没有一个能打的，得分全部低于15%。

这意味着，在更贴近真实世界的编程任务中，LLM的长程编码能力仍是短板。

最新21页技术论文，详细公开了SWE-Bench Pro设计细节。

论文地址：https://static.scale.com/uploads/654197dc94d34f66c0f5184e/SWEAP_Eval_Scale%20%289%29.pdf

编码界，需要一场硬核考试

过去，SWE-Bench等基准成为了评估LLM在软件工程中的重要标准。

这些测试中，通常要求AI基于完整代码库和自然语言描述，生成代码Patch。

就拿SWE-Bench Verified来说，顶尖LLM已实现超70%成功率，听起来确实非常厉害。

但这也暴露了一个问题：

未来6至12个月内，现有基准或许会「饱和」，无法再去有效衡量AI的进步。

由此，Scale AI正式发布了SWE-Bench Pro。

它提供了一个更真实、更具挑战的「考场」，直击痛点解决现有基准的缺陷。

数据污染，与现实脱节

当前，已有的编码基准测试，存在两大缺陷。

一方面，数据污染风险高。很多基准基于开源GitHub仓库构建，但这些仓库，尤其是MIT、Apache许可的项目，很容易被LLM训练数据「爬虫」。

由此一来，AI在测试时存在「作弊」的可能，或许它早就见过类似的难题。

另一方面，现有基准的任务太过简单，达不到「工业级别」。

还以SWE-Bench Verified举例，500道题中，竟有161道只需改1-2行代码。

这在实验室里可行，但到了企业环境中，往往涉及跨多个文件、数百行代码的复杂修改。

这样的基准，根本无法反映AI在真实开发场景中的表现。

编码考试不是AI智能体的最终目的，但一个更硬核基准，才能真实评估LLM是否真正符合工业级应用的标准。

SWE-Bench Pro：超100行代码难题

在SWE-Bench Pro设计中，一共包含1865个经人工验证与增强的问题，细分了三类子集——公开集、商业集、保留集。

论文中，研究团队介绍了SWE-Bench Pro的三大贡献：

巧妙收集设计，降低数据污染风险

SWE-Bench Pro创新数据收集策略，避开了污染陷阱。

（1）仅采用强著佐权许可证（GPL）的代码库构建公开集（11个代码库）和保留集（12个代码库）；

（2）从真实初创企业获取商业代码以构建商业集（18个代码库），从而捕捉企业级问题。

• 公开集：在HuggingFace公开发布731个实例，并在本文中报告相关统计数据和模型表现。这些实例源自采用著佐权（copyleft）许可证的公开代码库。

• 商业集：来自初创企业代码库的276个商业集问题。这是唯一包含初创企业专有代码库的集合，因法律限制无法公开。

• 保留集：保留了858个与公共集结构镜像但采用不同代码库的问题集。

任务升级，更具挑战、多样，更贴近工业

为了确保任务复杂度，Scale AI排除了1-10行代码「小修小补」的任务，只保留需要多文件、实质性修改的问题。

参考解决方案平均涉及4.1个文件、107.4行代码，所有任务至少改10行，超100项任务需改超100行。

除了复杂度外，选的代码库都是活跃维护的，覆盖了消费级App、B2B服务和开发者工具平台等多个领域。

而且，每个代码库贡献了50-100个实例（上限100），避免了对单一库的依赖。

人机协同验证，确保任务可解

有了以上难题还不够，最后一步，还需要确保它们是可解的。

为此，SWE-Bench Pro又引入了一个以人为中心的增强验证流程，分为三阶段人机协同流程。

一方面，它能澄清模糊信息，补充缺失的上下文；另一方面，通过约束解决方案空间，保持灵活同时避免假阴性。

Claude企业级第一，仅拿下17.8%「最高分」

不同顶尖模型，在SWE-Bench Pro上的表现如下表1所示。

以Pass@1作为问题解决率指标，GPT-5与Claude Opus 4.1分别以23.3%和22.7%解决率领先。

早期代际模型，比如DeepSeek Qwen-3 32B、GPT-4o表现明显落后，分别仅为3.4%和3.9%。

此外，公开集和商业集存在显著的性能差距。

最佳模型在商业集的得分均低于20%，从侧面印证了，企业级代码库处理的挑战性。

总的来说，LLM在公开集的通过率≤23.3%，在商业集≤17.8%，远远低于SWE-Bench Verified的70%以上。

这背后的原因，究竟是什么？

不擅长的语言，也会影响性能

从编程语言维度来看，AI性能分化明显。

在Go和Python任务中，大多数模型解决率较高，有些甚至超过30%。

相较之下，JavaScript（JS）与TypeScript（TS）则表现波动较大，根据模型不同，解决率从0%到超过30%不等。

不仅如此，代码仓库维度多样，有些仓库，所有模型解决率都低于10%。

有一些，还能达到50%。

仓库的复杂度、文档质量，或是问题类型等，也成了LLM在编码任务中影响性能的因素。

可以看到，Claude Opus 4.1、GPT-5在多数仓库和编程语言中，都能保持稳定高性能。

失败原因，多种多样

接下来，研究人员又让GPT-5作为「法官」，去对不同模型的故障进行分析。

具体步骤是，先手动构建常见故障分类桶，然后筛选未解决实例，收集最后20轮交互轨迹，向GPT-5提供提示，让其推理并分类故障。

结果显示，顶尖模型的失败原因，覆盖了各种情况。

Claude Opus 4.1：卡在了语义理解，错误解决方案占比35.9%，语法错误24.2%，技术执行力强，但问题理解、算法准确性有待提升。

GPT-5：工具使用差异明显，但错误解决方案较少。

Claude Sonnet 4：上下文溢出（35.6%）和无限文件读取行为（17.0%）是主因，暴露了上下文管理和导航策略的局限。

Gemini 2.5：工具错误（38.8%）、语法错误（30.5%）和错误解决方案（18.0%，多维度挑战并存

Qwen-3 32B：工具错误率最高（42.0%）

总言之，SWE-Bench Pro是一个全新抗污染、工业真实的基准，能够成为未来LLM编码能力一大标尺。

一作介绍

Xiang Deng

Xiang Deng现任Scale AI研究工程师，专注于LLM的编程与智能体研发。

他曾获得了俄亥俄州立大学的博士学位，以及中国科学技术大学计算机科学学士学位。

Jeff Da

Jeff Da现任Scale AI研究科学家，专注于强化学习、智能体与训练后优化方向。

他曾在艾伦人工智能研究所和华盛顿大学，主要从事推理能力评估、多模态学习等方向的研究。

彩蛋

有趣的是，在首席AI官Alexandr Wang评论区下方，所有人更关心的是MSL内幕消息。

Alexandr剧透，即将有更多新内容分享。

参考资料：

https://x.com/vbingliu/status/1969460781495566611

ScaleAI/SWE-bench_Pro · Datasets at Hugging Face

https://x.com/alexandr_wang/status/1969805196462358919

本文来自微信公众号“新智元”，作者：新智元，36氪经授权发布。

创历史佳绩！昌吉州13项成果获2024年度自治区科学技术奖

纳微科技：新一代软胶Titan订单收入有望稳步提升

发表评论