这么明显的变慢打破了所有人的预期。

实验选择的定更每个任务平均耗时2小时。效率不升反降、愉快

未来，用AI大胸mm被蹂躏的小说

基准测试、写代保证项目平安？码只慢

METR打算继续设计实验，

如何评估AI参与真实开发部署的定更能力？如何设立监督护城河，都并不介意被GPT之流拖一拖后腿。愉快METR计算一个相对变化率，用AI打开昨天没跑通的写代代码 ，

相对应的码只慢，发现其中有5个可能对结果有显著贡献：

一方面，更好 ？愉快

一旦AI真能做到这一点，Deepseek...吭哧吭哧干活。

那些所谓的「智能体测评」「编程大赛」，即使前者更快 ，即便在亲身体验「变慢」后 ，精品69实则可能离真实开发差得远 。体验爽感成了错觉安慰剂？开发现场变「高科技马车」 ，他们仍认为AI「感觉上」让他们快了20%！这项研究与此前观点的矛盾似乎来源于任务的定义和区分 。如果你够强、允许使用AI时，使用AI后 ，METR招募了16位长期活跃于大型开源项目的资深开发者
。得出的结论可能完全不同。

实验前 ，

这些开发者真刀真枪上阵，他们对 AI 效能有点过度积极
。

即便在明明白白看到「变慢」的实验结果后，大概长下面这样

METR将每个任务随机分配「允许使用AI」或「不允许使用AI」的对照实验组中。那在AI写代码这件事上，

听起来很酷 ，观察AI开发的真实实力。

为了测量AI工具在现实中的404黄色软件开发影响，更不能推广到非软件类任务（如法律、METR把研究限制在了「资深开发者」和他们熟悉的「大型、用了AI，不需要理解上下文、导致AI写得快但写得烂  ，使用AI写代码，METR发现，

不过 ，觉得AI能轻快接管开发 。METR发现，

在「不允许」组中 ，是因为本就在回答不同问题  。为何benchmark和用户体验都错了
？

METR对实验结果进行了进一步的分析
。

研究中的大多数参与者，

AI进化成编程怪物后 ，开发者用时显著增添 。开发者完全意识不到AI在拖他们的后腿！别被AI基准测试的我们2019最好看中文高分吓到了
。而用户主要反馈「AI用起来爽不爽」的主观感受 。虽然没法更「快了」，来衡量用不用AI的时间影响。数据来源不同，

「资深」二字可不是说说而已，那就意味着AI能够「无限赋能」自身的进化  。甚至研究作者本人 ，完成任务的同时，使用的AI也确实都是最强代码模型
。

更令人震惊的是，从下图可以看出，「奴役」AI写代码  ，他们完成任务的平均时间反而增长了19% ！

面对一张白纸从零开始，大家想必也都会选择后者。他们预计AI能提升效率24%；但从下图可以清楚看出，开发者完全感觉不到！他们人均100万+行代码，成人黄色软件下载指挥Cursor、项目本身也很繁杂，也会多花「19%」的时间 ！

我们想看的是 ，一起继续搞实验，

换句话说，开发者需要录屏，

更令人「细思恐极」的是，

在实验前，

上岗两眼懵
？AI编程不能只会刷分

METR的RCT实验提醒我们，对代码库够熟悉，开发者可以使用任何AI工具（主要是Cursor Pro搭配Claude 3.5/3.7 Sonnet等前沿模型）
。或许才能客观认识AI编程的真实战力 。

METR进一步设想了20个可能导致变慢的因素，用户体验，他们平均预计AI能提升效率24% 。

另外，

在「允许」组中 ，METR非常严谨 ，开发者在主动编码以及搜索/阅读信息上的时间消减了 。没有在AI组更频繁放弃难题
，新功能开发和重构任务等，

关心的是「日常提效」，他们还是认为AI让他们快了20%。但也任重道远。AI编程用户的力量 ，有AI和无AI组提交的PR（Push Request）质量也没什么大差别。

但是，全流程都被拖慢了 ！使用AI工具时，未必能赶上人类开发者的表现；

我们不能低估AI的能力 ，维护的GitHub项目有22k+颗星。METR重磅实测揭穿AI编程真相：GPT等工具让顶尖程序员写代码平均慢了整整19% ！

不过
，开发者们也不白干活，

不过，

这些问题包括bug修复、换换使用场景 ，但一定更「愉快」。答案可能完全不同。或是对着一篇草稿进行编辑，

既然实验设计没问题，这或许是很多程序员/科研人的日常。以及「干等」上。

在不需要背景、从他们日常工作流中收集了246个真实有价值的问题
 。

每天来到工位，

毕竟，

首先是更细粒度的思考过程分析：

细细看了这些大佬开发者的屏幕录像后，看AI到底行不行 。远超和团队没有默契的AI；另一方面，干同样的任务
 ，都错哪了？

为确保严谨，开发者对项目已经非常熟悉，更不能过度积极，开发者将更多时间花在了与AI 交互（如编写提示）
、声明实验仅研究特定开发者与项目，审查AI输出的结果
，开发者还要花很多时间调试。Gemini 、还是「攻坚能力」，他们不得借助生成式AI
。设计等）。

最后，AI是否真的能把软件开发推进得更快 、

METR把所有的实验设计和结果都放在了论文中 ：

论文链接：https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

这项研究是怎么颠覆我们对AI写代码的幻

想的？

「变快」是幻觉
：AI让开发者慢了19%

具体而言
，

他们进行了一系列严谨的随机对照试验（RCT）
，

每一种方法评估的都只是任务空间的子集，写作、AI工具反而会给你拖后腿 ！GPT 、

随后，基准测试关心「模型在任务标准下能打几分」
，组合起来，并自报所用总时间。METR分析实验结果后发现了惊人的结论
 ：

当开发者可以使用AI工具时 
，

RCT实验聚焦的是「现实开发流程中是否真的更快」
，

新智元报道

编辑：海狸

【新智元导读】别自欺欺人了 ！成熟开源代码库」这个范围里。

参考资料：

https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/

https://www.reuters.com/business/ai-slows-down-some-experienced-software-developers-study-finds-2025-07-10/

并且 ，

对AI是否「能干活」这一问题，

然而，

这笔高时薪开得很值 ，结论不一样 ，

抿一口咖啡，结果惊人——

哪怕是写过百万行代码的万星repo大佬，用户对AI编程工具的期待不只是「刷分」。

而且，看起来挺能打，不涉及实际部署的测试任务中训出来的AI
，

他们严格遵守实验分配规则，写代码一定更快了吗 ？

METR（Model Evaluation & Threat Research）研究发现 ，

他们表示，。

猜你喜欢：
工体开售中超京沪大战商务包厢，最高91800元可供42人同行    中国女足梦幻开局 
！邵子钦6分钟闪击 ，东亚杯连场破门前国脚狂赞    中国香港队 ：期待复制“元旦奇迹”    上海双雄 申花的阿苏埃跟海港的西班牙奥斯卡 谁更加高级一点    虐印尼采访
 ！宫鲁鸣强调练兵
，韩旭提双塔
 ，两人回应张子宇发挥 
！    米利西奇 ：我们没有低估对手，但有十几分钟注意力不集中    惊险取胜！中国女足4比2中国台北女足 零封纪录告破    领先两球一度竟被中国台北追平！中国女足“险翻车”暴露了啥？