最近黄仁勋说,如果董事会邀请,他愿意回英伟达当 CEO。同一时期,OpenAI 发布了 GPT-6.2,我也留意到国产模型的发布节奏好像慢了下来。这是被算力卡住了吗?
先看两条背景消息。美国最近再次收紧对先进算力远程访问的管控,堵上了绕道第三国机房、远程租用受控芯片和服务器算力的口子。DeepSeek 也对网页端和 App 端的免费用户实施了算力限额。
近期有哪些新模型发布
- 11.09:Anthropic 发布 Claude Fable 5.2、Mythos 5.2
- 11.16:阿里发布 Qwen4-Max,腾讯发布混元 Hy4 Flash
- 11.17:OpenAI 发布 GPT-6.2 Astra 和 Sol
如果你想对比不同厂商的模型能力,可以到模型与 Skill板块查看相关讨论。
算力是硬约束
模型越大、实验越多,对算力的需求就越刚性。算力不够,影响的不只是训练速度。能同时验证的技术路线变少,能承受的失败次数变少,能做的模型规模也受限。
国内不少团队在有限资源下,把训练和推理效率做到了极致。这是很强的工程能力,但也说明资源紧张确实存在。
蒸馏这条路在变窄
过去几年,蒸馏是性价比很高的追赶方式。它用较低成本把教师模型的部分能力迁移过来,短时间内缩小差距。但只靠蒸馏,最多追平,很难超越。到了现在这个阶段,完全依赖蒸馏已经走不通了。
数据才是更基础的瓶颈
模型不是数据喂得越多越好。重复、低质、带噪声的内容堆得再多,也未必能转化成能力。
数据怎么清洗、怎么配比、合成数据怎么验证、评测体系怎么建,这些都是真功夫,做起来又慢又贵。算力受限时,这些环节更容易被放大成短板。
迭代放缓的可能原因
综合来看,近期迭代节奏看起来放缓,可能有以下因素:
- 先进算力获取成本上升,渠道收紧。
- 蒸馏这条路径变窄。
- 优质数据和训练体系的积累需要时间。
蒸馏变窄也未必是坏事。团队必须回到预训练、架构、数据、芯片和基础设施这些更底层的环节。这个过程会更慢、更贵,但一旦补齐,形成的是自己的训练体系和工程能力,而不是对别人的依赖。
被卡住,也是被迫成长
英伟达也不是一天就长大的。它从一家餐厅里的三人创业起步,九十年代中期险些破产,靠一款产品才活了下来。后来,它在没有 AI 市场的年份里押注 CUDA,一等就是将近十年,直到深度学习爆发,才等来答案。
慢一点没关系,只要每一步都走在自己的路上。
|