最近，一则离职感言在 科技圈 里刷屏了。作者 Jacob Coxon 刚刚从 AI 明星公司 Anthropic 离职。过去三年里，他先后在 OpenAI 和 Anthropic 做核心研究，一直站在 AI 技术最前沿，算是打破了很多人对人工智能的美好想象。也正因如此，他的离职感言格外真实，甚至有些残酷。
以下是他的离职感言原文，以及一些值得琢磨的评论。
我今天辞去了 Anthropic 的职务。过去三年我在 OpenAI 和 Anthropic 做预训练研究。两家公司都不负责任。他们正直奔自我提升的超级智能，拿我们的生命赌博。
听完这个开头，很多人的第一反应可能是：这不像是在说 AI 很强，更像是在强调刹不住车、控制不住 AI 了。
不要低估这项技术的威力。这些系统很快将成为超人类系统，能够破解任何东西，一夜之间彻底改变任何领域，并获得真正的权力和资源。我们都见证了这些领域的进步，而且进展没有放缓。
进展确实没有放缓的感觉。你看 预训练、推理、Prompt 提示词、Agent、工具 Skill、数学这些方向，很多曾经火热的词都慢慢消失了，但 AI 反而更强了，确实不像是进入平台期的样子。
构建人工智能的人真诚地相信，它可能会在本十年末杀死我们所有人。这不是营销噱头。如果说有什么变化，许多高管和高级研究人员会在媒体上用表述来显得合理——但我听到的是同样的人表达恐惧。
Anthropic 的 Evan Hubinger 也曾说过，有大于 10% 的概率人类会在十年内消失。这话细想，真的让人后背发凉。
一个常见的回答是“如果他们真的相信这些，为什么还在建造它？”在 OpenAI，许多人尚未深刻内化文明的利害关系。在 Anthropic，利害关系非常清楚，但他们争先恐后——他们不相信别人。
说到底，这就是一场竞赛。
接受这场竞赛并进入“残局”是一场傲慢的赌博，不应从私人公司的 Slack 发起。尝试快速完成对齐需要有极大信心，确信没有更好的轨迹可用。
这不只是技术跃迁，更像是决定人类文明底层权限的竞赛。真的没有更好的路线了吗？说白了，还是 AI 不可控的问题。
我对协调的可能性持乐观态度。像“拥抱面”攻击这样的警告措施使得美国实验室之间的节奏协议更具可行性。我觉得我们并未走在阻止全球竞赛的路上，这可能需要代价高昂的措施，比如暂时禁止。
但从现实来看，彻底禁止恐怕已经不可能了。
如果你是实验室研究人员，我强烈建议你考虑未来几年到底会是什么感觉。你想在没有严格理解其思维的情况下，启动一个超级智能的强化学习游戏吗？你应该低头，因为“反正事情就要发生了”——还是应该抓住这个时刻。
全文完。
这场关于超级智能的路线之争，在 云栈社区 也仍被技术人持续讨论。 | 
发表于 前天 19:51
|
查看: 0|
回复: 0
