跑代码易做任务难：AI编程真实工程交付能力大考

在真实的软件工程中，生成代码只是起点

编程一向被视为 AI 落地的"第一站"和"风向标"。如今 AI 编程能力还在持续进化，但放到真实的软件开发与业务场景里，它究竟能发挥多大价值，仍然存在不小的争议。

10 月 27 日，AI 编程公司 Cognition 发布了 FrontierCode 2.0 测评榜单。更新后的测评更侧重于 AI 编程在真实软件工程任务中的通过率，共包含 132 项任务，任务复杂度和工程质量要求相比以往版本都有明显提升。

结果主流模型的得分全线缩水：Claude Opus 5.5 虽然依旧排名最高，但分数从 FrontierCode 1.1 版本的 54.6% 降到了 45.5%；排名第二的 GPT-6 Astra 从 53.3% 降至 42.8%。其他模型跌幅更大，Grok 4.7 直接从 47.6% "断崖式"跌到 28.6%。

相关结果在社交媒体 X 和开发者社区中引发了不少讨论。很多人认为，模型在编程测试中能拿高分，到了真实应用里却频繁出问题，说明测评本身"有水分"。不少开发者跟帖分享了 AI 编程在真实场景中的失败案例：比如模型通过直接删除公共 API 来"暴力修 bug"，又或者"过度思考"误读需求后强行按照错误理解去实现功能。

一位在软件公司工作多年的开发者介绍，AI 在代码补全、函数生成领域的效率提升是历史级的，凭自然语言描述就能 vibe coding（氛围编程）出一个简单应用，这在以前完全没法想象。但在真实的软件工程中，生成代码只是第一步。

生产级、商业化软件中的真实任务要复杂得多：开发者得在既有系统中增加功能，同时兼容旧接口、遵循项目架构、避免引入安全漏洞，还得确保其他模块不受影响。需求文档未必会写全所有约束，开发者还需要理解代码仓库的历史设计、维护者的习惯，以及不同模块之间的依赖关系。

想要真正完成任务交付，光让代码能跑远远不够。从需求理解到测试验证、代码维护，诸多环节一步都不能出错，否则最终交付的结果根本没法用。到了实际应用中，软件还得匹配业务场景、完成业务建模，工作复杂度再上一个台阶。

还有开发者在社群讨论中提出了"Vibe 谬误"的概念：随着 AI 编程能力快速普及，基准任务的门槛几乎被踏平了，人们逐渐习惯用简单任务来理解编程工作，形成"这么简单？那我也行！"的心态。但真实的软件工业完全是另一个世界——处理的不是孤立的编程问题，而是一套包含多重约束的系统工程。

软件开发中的正确答案往往并不唯一。一个功能可以用多种方式实现，但只有部分方案符合现有架构、性能要求和维护规范。这位开发者认为，很多问题仍然需要有经验的工程师来解决。最典型的例子就是，AI 模型经常在成功修复当前问题后留下新的隐患，甚至随着代码修改权限的扩大，当模型能够自主调用工具、执行命令、连续修改多个文件时，错误的影响范围也会随之扩大，甚至在项目推进到一半、2/3，或启动后的维护过程中显现出"灾难性影响"，不得不"推倒重来"。

今年以来，编程Agent发展迅速，逐渐深入企业开发流程。但从目前来看，多数 Agent 在长程任务、多组件系统的配置与集成等领域表现仍不理想。再加上审查验证、生产环境接入与组织治理调整等环节不同步，AI 编程大多仍被困在本地窗口，真正完成端到端交付的并不多。

一些从事 AI 开发的团队也在进行更加"AI 原生"的尝试：打散传统线性任务流程和组织架构，AI 跑代码开发，人类加码评审工作，通过"项目制"聚合编程 Agent 与人类各自的所长。不过值得注意的是，这类实践更多集中在本身从事 AI 研发的团队，而且往往是小团队先行，或者把大团队切成一个个项目组"分头行动"。开发中使用的也多为自研编程工具或定制化工具，这些都有助于消化 AI 代码产能跃进后带来的测试工作"倍增"、安全高度承压等问题。而对于相对传统的软件开发领域，即使不考虑 Token 成本，想直接套用这些包含个性化工具开发和组织架构变革的模式，依然面临不少瓶颈。

想让 AI 编程在更大范围内形成真实生产力，或许还得先寄望于模型层面的突破。

目前，AI 大模型仍在加码编程能力。10 月 24 日 Kimi 发布的 K3.1 Pro 和 10 月 27 日 OpenAI 发布的 GPT-6.1 Terra，都强调了 AI 编程在真实场景中的能力提升和成本下降。

尤其是 K3.1 Pro，通过训练范式的变革，着重增强了真实任务编程、长程 Agent、金融等方面的能力，测评显示其任务成功率显著提升。有业内人士分析，Kimi 当前技术攻关的重心，是解决现有模型在 100 步以上长思维链中容易陷入死循环的问题，并把复杂数理证明能力和工程代码能力作为可验证推理能力的重点方向加以提升。在主流模型代码补全能力已经很难拉开差距的背景下，长程链路方向的突破，有望让 AI 在复杂软件工程、前沿研究和物理世界推理等方面表现更佳，并在长代码 Agent、金融等垂直行业的落地场景中占据更大份额。

不过，从已公开的测评结果来看，K3.1 Pro 距离突破 100 步门槛也还有不少路要走，其他模型同样在通过不同技术路线提升 AI 落地真实场景的能力。目前来看，何时能够搞定真正靠谱的长程 Agent，才是 AI 编程交付能力大考的关键所在。