找回密码
立即注册
搜索
发回帖 发新帖

6293

积分

0

好友

792

主题
发表于 5 小时前 | 查看: 5| 回复: 0

Anthropic 藏得极深的「Model 4」,终于被第三方评测机构 METR 的一份重磅调查报告曝光了。

这款内部模型于 9 到 10 月秘密完成训练,内部综合能力指数(AECI)直接飙到 178.6 的高分。目前公开的各类基准测试,已经很难再衡量其上限。

Model 4 训练完成公告推文

METR 发布 AECI 增速翻倍折线图

METR 团队连肝 11 周,深挖 Anthropic 内部敏感数据,最终得出的结论相当直接:Anthropic 模型的进化速度已经失控,原地翻倍。

METR 发布风险评估报告帖文

报告里最核心的几组数字如下。

截至 2026 年 10 月,Anthropic 在明确任务上的能力提升速度,已经是 2024 年 3 月至 2025 年 10 月那段时间的 2 倍。转折点就落在 2025 年 10 月。从那以后,内部能力指数 AECI 的增速被拉到此前的 1.9 倍,相当于一年就跑完了过去两年的路。

更值得注意的是,这波加速里约 80% 的推力来自 AI 自身。换句话说,Claude 正在参与制造更强的 Claude。

Ryan Greenblatt 关于 AI 研发加速的评论

METR 研究员 Ryan Greenblatt 直白地表示,这份报告是通向一两年内实现 ASI 的重要信号。按照当前速度推演,「AI 2027」剧本里的 ASI,可能再过约 4 个月就会降临。

神秘 Model 4 现身,15 张考卷刷爆 50%

这段报告最抓眼的,是一串 Anthropic 从未公开过的内部代号。

附录里列出了四款内部未公开模型:2022 年训练完成的 Unreleased 2022、2026 年 7 月训练完成的 Model 2、8 月至 9 月的 Model 3,以及 9 月至 10 月刚出炉的 Model 4。

内部模型训练时间表

真正引发关注的,正是这款上个月刚训完的 Model 4。它在 AECI 上拿下 178.6 分,高于公开模型 Opus 5.5(174.5 分)和 Mythos 5.1(172.5 分)。

AECI 相当于大模型的「高考总分」,把各科基准测试的卷面成绩折算成一个综合段位分。

Model 4 在 15 项基准测试中的散点图

再看单科成绩,Model 4 参加的 15 项基准测试,每一项正确率都超过了 50%。而仅仅 9 个月前,Opus 4.6 还有不少基准没能过半。

这还不是 Model 4 的真实极限。METR 团队在报告中做了一次「除虫测试」,发现 15 个测试基准中有 3 个存在长尾过难或题目损坏的问题。剔除这 3 个干扰基准后重新计算,Model 4 的 AECI 得分会再跳涨 1.1 分,冲到 179.7 分。

AECI 分数与各基准分数随时间变化折线图

在 Token 消耗量上,Anthropic 内部测试也还没有把 Model 4 的潜力完全榨干。跑一次普通基准测试,单个任务平均消耗 250 万输入 Token,生成 7 万多输出 Token。如果让 Agent 去写代码,单任务直接吃下 1000 万输入 Token,输出也拉升到 9.4 万 Token。

更让 METR 评测人员感到棘手的是,现有的考卷已经快要测不出 Model 4 的上限了。也难怪 Anthropic 在 IPO 前更新 S-1 招股书时,专门新增了一条风险提示——内部估算显示,未来模型很快就会触发「AI 显著加速研发」阈值,一年就能干完过去两年的活儿。

Andrew Curran 引述 METR 报告要点

Model 4 就是最好的证明。至于图中的 Model 3,有网友推测它就是传闻中的 Mythos 5.5。

80% 加速度靠 AI 自己

Model 4 能冲上如此高分,背后是模型进化速度的明显加快。历史性拐点停在了 2025 年 10 月 7 日。

在这条分界线之前,Anthropic 模型的 AECI 得分每年大约上涨 15 分。从 2025 年 10 月开始,曲线走势直接向上猛拐,变成每年大涨 29 分,增速达到过去的 1.9 倍(95% 置信区间在 1.5 倍到 2.8 倍之间)。

盲测对比实验图

Anthropic 曾在今年 8 月的风险报告里提出一种温和假设,认为这只是启用新工具和新评测方法带来的一次性「台阶式跳跃」。于是 METR 做了一组严格的盲测对比实验:研究人员用 Mythos 5 及更早模型的数据画出两条预测线,再盲测后来出炉的 Model 2、Model 3、Opus 5.5 和 Model 4。

结果非常清晰。在 81% 的统计抽样中,按「长期持续提速」预测的误差只有 1.9 分,远比「一次性跳涨」更吻合真实数据——后者的误差高达 3.9 分。

2 倍加速度意味着,过去短短一年里,Anthropic 走完了过去整整两年的技术路程。如果放在指数增长维度下,原本每年翻 3 倍的指标,在 2 倍加速度下会变成每年翻 9 倍(3^2)。

增长率对比示意图

为了查清这股推力从哪里来,METR 把算力、算法和人员投入拆开算了一笔总账。他们明确排除了「靠猛堆训练算力提速」的可能性,因为 2025 年 10 月之后训练算力的增长率反而比之前更慢。

真正的推手落在研发端。METR 估算,当前约 2 倍的研发加速中,大约 80% 来自 AI 自身的研发辅助,剩下的小部分来自研究员人数增加和推理算力扩容。

AECI 增长归因示意图

内部员工提速 12 倍,10 个点子同时丢给 Agent

既然外部还没有人能亲手测试 Model 4,Anthropic 内部研究员的日常实测就成了唯一窗口。

METR 在报告中公开了一张 Anthropic 内部非正式调查与 Slack 全员投票的趋势图。2025 年春天使用 3.7 Sonnet 和 Opus 4 时,员工自报的效率提升还只有 1.3 到 1.4 倍。到了今年 6 月的 Mythos 5,自报提速跳到了 5 倍左右。等到今年 10 月用上 Model 4,员工自报的研发提速已经冲到约 12 倍,按指数拟合相当于每年暴涨 3.9 倍。

员工自报效率提升趋势图

为了搞清楚这 12 倍是怎么来的,METR 在 9 月底深度访谈了 11 位 Anthropic 一线技术研究员。受访研究员 J 用三个阶段概括了工作流的变化:

第一阶段只是拿 Claude 当自动补全,顺手写点一次性小脚本;第二阶段变成人类在旁边盯着单个 Claude 实例,让它开发完整功能模块;到了现在的第三阶段,内部掀起了「全面 Claude 化」运动,研究员开始同时指挥一群 Agent 并行跑实验。

受访研究员 C、D 和 E 透露,公司今年专门发起了内部悬赏,鼓励大家把平时不敢试的疯狂点子全交给 AI Agent 去跑。于是大家把 10 个研究点子同时丢给内部 Agent 系统,看哪个能跑出结果。

AI 辅助研究工作三阶段示意图

受访研究员 A 表示,手写代码做实验原本很耗时间,靠 Claude 辅助后,从冒出想法到跑通实验的时间缩短了 80%。用他的原话说:

我现在只卡在点子和算力上,再也不会卡在写代码上了。

Researcher A 访谈笔记引用

受访研究员 B 则估算自己整体提速了 3 倍,感觉就像手下突然多了几个随叫随到的博士后和研究生。

目前 AI 还没有完全独自接管最核心的模型训练设计,但多位受访研究员向 METR 证实,AI 自主贡献核心训练已经出现了明显的「生命迹象」。

自进化找不到刹车

整份评估里最具冲突感的一幕,藏在那些没有公开的页面里。

METR 在官方帖中直言,他们向 Anthropic 提交了约 100 页的完整报告,但 Anthropic 在公开版中删掉了大部分信息量最大的核心证据。翻开公开版报告,敏感位置到处都是 [REDACTED] 涂黑标记。其中一张原本用来预测 Anthropic 未来几个月新模型能力得分的表格,连同整段分析被整块涂黑。

METR 报告核心发现与受限信息

在 METR 看来,未来 12 个月内,无论是算法、算力还是数据,都没有看到任何会让这台加速机器停下来的明显瓶颈。

更强的 Claude 帮研究员省下 80% 的实验时间,省下来的时间立刻被用来孵化 178.6 分的 Model 4,而人类现有的考卷已经快不够它刷了。

没看到瓶颈,也没找到刹车。可以说,这场由 AI 驱动的自我加速,正在把整个行业推向一个完全未知的节奏。关于这类大模型能力跃迁的讨论,也可以持续在云栈社区里关注和参与。

参考资料:

https://x.com/METR_Evals/status/2118412183860351084

https://x.com/deredleritt3r/status/2118422855549358552




上一篇:Claude破解首个原核穹窿体Vault结构,40年生物学悬案突破
下一篇:Claude学会做梦:Anthropic Dreaming机制如何重塑AI记忆系统
您需要登录后才可以回帖 登录 | 立即注册

关闭

站长推荐上一条 /1 下一条

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-11-13 06:54 , Processed in 0.071394 second(s), 40 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表