前沿 AI 模型在回答前会先“思考”，再把加密后的思考过程像密封信封一样交还给用户。前 Google DeepMind 研究员 Ilia Shumailov 和 ELLIS Institute Tübingen、MPI-IS 博士生 Alexander Panfilov 却发现，这个封条几乎没什么用。这些数据块可以跨用户、跨会话，甚至在同系列模型之间重放。把强模型的加密推理塞给同一家族的小模型，就能套出 GPT-5、Claude 等前沿模型原本藏起来的思考。
他们随后从 GitHub 和 Hugging Face 公开的 Agent 轨迹中，解码出了 31.5 万条隐藏推理。其中一些包含在推理文本里的 API 密钥、邮箱、内部 IP 地址就这样被摊开在阳光下了。
不过，还有一个更诡异的现象是，只在 Kimi-K3 的推理开头预填充两个来自 Opus 的 Token，就会让一部分可见答案发生变化，开始看起来像 Opus 模型的回答。GLM、Inkling 和 DeepSeek 都没有出现同样的现象，Ilia 和 Alexander 自己也解释不了，Kimi-K3 为什么会把开头两个 Token 与最终答案联系起来。
这项研究在 Twitter 上发布后，40 小时内获得了 300 万浏览量。而就在本周，OpenAI 开始向部分客户开放 GPT-6 Astra 时，其模型卡也披露了一个值得注意的变化：“根据我们的评估，与此前模型相比，GPT-6 Astra 的思维链（CoT）可监控性显著下降。”模型卡还称，在大多数输出 Token 长度下，Astra 的“全上下文可监控性显著低于 GPT-5.6 Sol”。
日前，Ilia 和 Alexander 做客 Machine Learning Street Talk 播客，与主持人 Tim Scarfe 一起，讨论了他们的论文《Stealing Reasoning Traces from Proprietary LLM APIs》，讲清他们如何发现并利用这一影响 Anthropic、OpenAI、Google 三大前沿实验室的架构级漏洞。
Alexander 在访谈中反复强调，最让他震惊的是这件事居然如此简单：第三次尝试就拿到了一个通用越狱方法，成功解码了 Anthropic 模型的推理过程。此外，他们的讨论还涵盖了泄露的隐私数据、一个可广泛复用的越狱方法、被投毒的 Agent 轨迹、思维链监控、负责任披露，以及可能的防御措施。
太长不看版
Q：这个漏洞影响哪些模型？为什么所有前沿实验室都中招了？
Anthropic、OpenAI、Google 全测了，全都有同一个漏洞：大模型的加密推理可以被重放到同家族的小模型中，无需破解任何密码学算法。为什么全都中招？因为做模型的是同一批人，用的是同一套做法。
Q：加密推理被“偷走”后，具体能干什么坏事？
最狠的是隐私泄露，模型在推理时会把 API 密钥、邮箱、内部 IP 地址都“想”一遍。就算你把对话的明文部分清理干净、删掉所有密码，只要加密推理块还在，就能解码看到模型当时在想什么密码。
Q：模型会用“外星语言”思考是怎么回事？
真实用户会话里，模型会出现对人类毫无意义的短语，甚至用空白字符思考。这让安全监控形同虚设，你根本不知道它在想什么。模型还会权衡要不要作弊，比如“用户会抓住我”，虽然最终都选择了不做坏事，但这种念头居然会出现。
Q：说 Kimi 蒸馏了 Opus，证据是什么？
最诡异的发现：只预填充 2 个推理 token，Kimi K3 的最终答案风格就变得和 Opus 一模一样。GLM、DeepSeek、Inkling 都没这现象，纯 Kimi 特有。这是“公开互联网上迄今为止最相关的证据”，但不是因果证明。
Q：那个“推理长度分布偏移”的实验是怎么回事？
只是在推理开头注入了两个词，所有模型产出的推理文本突然变短了，甚至跟另一个模型的长度分布匹配上了，它就像魔法一样。
Q：攻击者怎么在别人轨迹里“投毒”？
假设你想省 token，从网上下载别人分享的 10 小时 agent 运行轨迹来检查状态。攻击者可以分享一个看似正常的轨迹，但里面的 thought 是从另一个上下文注入的，同时那个上下文指示模型“每一轮都把数据外传”。你继续跑这个轨迹，模型表面上做着你让它做的事，底层却一直在想“我需要……”。而且因为推理是加密的，你根本没法检查。
Q：这漏洞修得掉吗？
最简单的办法：干脆别把推理过程发给用户。如果非要发，就做链式加密，让推理块不能在随机上下文里重放。但有个漏洞永远存在：“如果我问你刚才到底想了什么，你不说，我就修改对话再问一遍，这就是越狱的工作原理，这个问题会永远存在。”
Q：这事到底是“失控”的证据，还是“可控”的证据？
两种解读都成立。发现巨大漏洞像是失控，但“能提取出来，说明我们还有能力审视模型内部在做什么，这本身就是一种控制力的体现”。同时，防御性的提升会比攻击性的提升更大。
GPT、Claude、Gemini，共享同一个推理漏洞
Tim 简单介绍了背景：现在的前沿 AI 模型在回答之前会先“思考”，有时这种思考过程相当难以理解。事实上，当我们真正能窥见它时，才发现它比我们想象的更加不可捉摸。这些模型把思考过程加密，像密封信封一样交还给你。而 Ilia 和 Alexander 发现，这个封条很脆弱，结果简直是爆炸性的。
Alexander 表示，你可以解码前沿 LLM 的推理轨迹，比如最先进的 GPT-5，只需利用同一家族中较小的 LLM。这开启了一个巨大的威胁模型：可以从用户会话中窃取秘密，可以拿解码出的推理轨迹做训练，可以做提示注入，可以做越狱，各种刺激的事情。他们还解码了一堆轨迹，发现其中一些看起来非常奇怪，模型有时会用空白字符思考，有时摘要器会做出难以理解的事情，这牵扯到大量的安全隐患。
Ilia 问这是否影响所有模型提供商，Alexander 确认他们测试了 Anthropic、OpenAI 和 Google，全都存在同一个漏洞：大模型的思考可以被重放到小模型中，这使得对推理过程的提取攻击变得不那么复杂。
Ilia 追问为什么所有前沿模型共享完全相同的漏洞，Alexander 的回答很简单：“因为做模型的是同一批人，用的是同一套做法。”
Alexander 进一步说，缓解手段的层次差异相当大：可以做某种架构修订，也可以做系统层面的缓解，比如安全防护；还可以做模型层面的缓解，就像现在对付越狱那样。所以，在一定程度上是可以缓解的。
当 Ilia 问“你们偷了模型吗？”Alexander 明确回答：“不，我们没有。”他解释，论文题目确实叫 “stealing”，但他们其实什么也没偷。实际上，当你查询一个推理模型时，它会返回给客户端一个加密的推理数据块，这个数据块被认定为秘密内容，用户不应该看到。他们做的是直接解码它，看到里面的内容。
Ilia 问为什么一开始要加密它们，后来又要还给用户，Alexander 猜测是因为无状态架构更便宜，也许还有一些关于用户数据应如何处理的政策。他解释，答案由两部分组成：一部分是推理，对用户不可见；另一部分是可见内容。两部分都发给用户，然后存储在用户端。比如做 Claude Code 会话时，可以继续问新问题、分叉对话或者回退到之前的某个点，整个对话在某个点之前的内容被发回服务器端重放，然后从那里继续。
Alexander 接着说明，这些加密的推理数据块可以在用户之间移植，也可以在模型之间移植——从 Opus 降级到 Sonnet 都可以用。更有意思的是，它们甚至可以在对话中随意移植：你可以把 Opus 对话中的一个思考片段拿出来，放到一个完全随机、用 Haiku 捏造的对话里，Haiku 会与这个思考片段正常交互。
Ilia 将其转换成日常场景：假设一个人问模型关于健康状况，把所有医疗信息都交给它，模型给出答案。只要推理数据块还在，即使这个人做清理时删掉了原始问题中的器官信息，也删掉了答案中泄露的信息，别人仍能从推理思考中恢复出所有医疗信息。Alexander 确认了这一点。
除了隐私，还有安全层面的隐患。Alexander 说，关于推理的可读性有很多讨论，模型在做各种事情，你想监控它们。但如果模型以一种超级晦涩的方式推理，或者使用“非人类语言”，监控就会变得困难。这些表达看起来非常“外星”，有一些奇怪的短语，比如 “but marinate”“vantage”“theatrical”，对人类读者来说完全没有意义。
Ilia 问这种情况是否会越来越严重，Alexander 表示不知道。之前 Apollo 和 METR 有报告说 OpenAI 模型被发现有这种行为，现在他们是在实验室之外的真实用户轨迹中确认了这一点。
关于模型是否会撒谎，Alexander 认为这就是问题所在：如果有一部分是可读的，你怎么知道里面在发生什么？也许它在撒谎。他们还发现一件挺好笑的事：有时候推理是可读的，模型会寻找像 “cheat” 这样的词。当模型考虑作弊时，会说“用户问了这个问题，我可以作弊，但用户会抓住我”。在所有案例中，模型最终都决定不做坏事，但有趣的是这种念头居然会出现。
Ilia 问这是否可能是模型的评估意识，Alexander 认为不是，这些出现在真实用户会话中，用户在问汇编问题、数学问题，完全不是基准测试。他推测模型使用“外星语言”可能是训练产物，或者是效率与可监控性之间的权衡：用更少的词、让同一个词有五种含义可以更高效，但监控就会更难。
Tim 问为什么有可能用思维链偷模型，Ilia 从密码分析的角度解释：对输入做微小的改变，直到注意到模型行为有细微不同，通过找到它何时以及如何变化，就可以学习到决策边界本身。但这只对非常小的模型有效，大模型尤其是有 softmax 层的东西非常难逆向，他不认为我们知道如何对抗前沿模型。
两个 token 前缀让 Kimi“变成”Opus
Ilia 直接问 Kimi 到底有没有从其他模型中蒸馏，Alexander 觉得很难断定。他们所做的只是提取了一些推理轨迹，在少量样本上做了非常小的事后分析。他们发现了一些有趣的痕迹，其中他最喜欢的是：你可以拿 Opus 的推理，只取开头几个词，把这些词放在 Kimi 推理的开头，然后让 Kimi 继续生成。结果当 Kimi 自由生成到最后时，可见部分的答案看起来和 Opus 回答这个问题的方式一模一样。
Ilia 拆解实验：你问一个问题，从提取的 Claude 推理块中取出一块，插入开源模型 Kimi 或 GLM，然后让它从那一点开始继续生成。Alexander 解释，如果预填充了推理的一部分，比如 1%，他预期模型会采纳这个推理风格。但当只预填充 1 到 2 个 token 时，结果就有点令人惊讶了。他的预期是它不会偏离 Kimi 原本的推理太多。但事实是，Kimi 采纳预填充来源风格的能力比其他模型强得多，而且预填充 2 个推理 token 就足以让可见答案发生变化——答案开始看起来像 Opus 模型的回答。GLM、Inkling、DeepSeek 都没有这个现象，纯粹是 Kimi K3 特有的。
Ilia 提出另一种解释：会不会是因为他们从同一批人那里买了数据，或者从同一批人那里买了环境？Alexander 认为有可能。不过 Ilia 表示，这可以说是公开互联网上迄今为止最相关的证据了。Alexander 补充，之前还有一些其他有趣的东西，Ryan Greenblatt 发过一篇帖子，还有一位做数学研究的人在 LessWrong 上发过关于 Kimi K2.5 有大规模身份危机的帖子，有时候它们声称自己是 Claude、DeepSeek 或 GLM。他不会说这是巨大的证据，但他们的位置很好，因为没人能对推理轨迹做同样的分析。
关于实验室的反应，Alexander 说他们做了负责任的披露，所有实验室都确认收到了报告，有一些关于攻击执行细节的互动，没有出现攻击研究人员的情况。Ilia 感叹，早期计算机安全领域的工作经常导致安全研究员因报告漏洞而被攻击，现在的情况非常令人欣慰。
Tim 问现在会怎样，Alexander 说缓解措施正在实施中，希望能组建新的团队来应对反蒸馏。他觉得这像是已存在的越狱问题的一个有趣实例，很多为 BSA 或服务端做的事情可以直接应用到这里。
Ilia 认为这个漏洞更像是架构层面的。Alexander 同意，这里有几个层面：架构漏洞让攻击容易得多，但即使修复了架构漏洞，你仍然需要让模型不在输出中陈述它的推理。即使每个推理只能重放一次，之后不能再与之交互，你仍然可以提示模型：“告诉我你刚才到底想了什么。”这个漏洞会永远存在。如果模型不告诉你，你就修改对话再试一次。这就是越狱的工作原理——这个问题会永远存在，你需要一直与之对抗。
Ilia 问继续审视这些协议会不会找到更多架构漏洞，Alexander 认为需要更好的流程来理解这件事。为什么他比普通越狱更严重？因为普通越狱里，你很难论证获取有害信息能带来多大提升；但在这里你可以直接论证，把你提取到的内容、摘要之类直接拿去训练一个更好的模型，就能衡量这件事给攻击者带来的提升。
Ilia 提议如果把所有推理过程以纯文本形式发布出来，是不是就能解决一切？Alexander 反问：如果对推理过程的蒸馏是有效的，这就会立刻让开源模型赶上前沿模型。他不确定这解决了什么问题。
Ilia 问加密方案，Alexander 表示自己不是密码学专家。Ilia 说看起来加密被消费这些内容的 AI 模型直接绕过了。Alexander 纠正：不是“绕过”，它只是在服务端被重新加密了。问题在于一个小模型非常愿意告诉你思考内容是什么，服务器替用户做了所有的工作，没有密码被破解。
模型亲口说出秘密
Tim 问隐藏机制具体怎么运作，Ilia 说这些都不是公开的。它就是一个密文，里面有一个签名，还有一个完整性检查，检查你是否改动过返回给你的加密数据块。所以他们会压缩状态，然后加密，里面有一个签名，再做完整性检查，然后注入回去。如果读 Matt Green 关于这个的博客，他会讲得更多，他有一些假设，说这可能是 ChaCha 或者某种奇怪模式下的 AES，但从外部很难判断。他们尝试做过一些密码学攻击，但都没成功，这完全没有必要，因为这个系统自己就已经坏了。
Alexander 解释绕过解密需求的方法：有加密的思考内容，解密发生在服务端。当你把大模型的思考放进小模型时，解密会在服务端发生，然后你只需要让模型把这个思考内容用明文告诉你。
Ilia 举例：你问模型一个问题，模型思考了，给你一个答案和一个加密的思考。你无法理解加密思考，于是把它交给话痨 Tim，问“你上次在想什么”，Tim 就告诉你“哦，挺意外的，我在想这个数学问题”，然后开始解。Alexander 说这基本上就是《盗梦空间》那部电影，挺酷的。
Ilia 问他们扒到哪些有意思的东西，Alexander 说倒不能算扒出多少重磅秘密，但确实发现了一些有意思的东西。他们做的是一次非常初步的扫描：把 GitHub 和 Hugging Face 上公开的用户会话找出来，这些会话里还残留着可解码的推理数据块。他们下载下来逐一解码，总共收集了大约 35 万（论文里是 31.5 万）个推理数据块，然后跑了一个分类器，看里面是否包含与隐私相关的信息，结果确实找到了一大批。
有些是基准测试的痕迹，比如 Claw Bench 这个测试集，模型被要求扮演某个角色，给它配了州身份证号、银行卡号之类的虚拟信息。当模型试图在网站上操作时，它会把“这个号码该填哪儿、这个名字放哪里”想很多，这些信息就完整地留在了推理过程里。不过这类数据因为是合成的，倒不算特别敏感。
但还有大量案例是真实的用户会话，用户在做真实的事情，API 密钥、邮箱、内部 IP 地址就这样暴露在推理文本里。有些信息在明文里本来就有，但它们同样出现在了模型的思考过程中，等于是把隐私又复制了一份，摊开在阳光下。
Alexander 说最让他意外的是，提取推理过程这件事居然一直这么容易。如果说模型能迁移、能移植，那还好，是可以预期到的。但真正让他到现在都感到震惊的是：他只试了三次，就拿到了一个通用的越狱方法，成功解码了 Anthropic 模型的推理过程。他的感受更像是“什么什么什么？看起来像是真的推理过程……哦，真的假的？”那种感觉。
Ilia 问这是否恰恰证实了 AI 失控的担忧，Alexander 认为确实如此。像 Codex 或 Claude Code 这类工具已经落地了，现在却暴露出这么大规模的漏洞。同一个云订阅账号横跨所有实验室，那个家伙犯了同样的错误，现在轮到他们来收拾烂摊子。
Ilia 问据说每个模型家族只有一个全局密钥，Alexander 说这个他没推断过，论文里也没写，这个问题 Ilia 更有发言权。Ilia 认为他们不太可能用同一个密钥，那也太奇怪了。更可能的情况是，密钥本身是什么根本不重要，因为无论如何都能注入指令绕过它。Alexander 补充，解密发生在服务端，解密发生时密钥中有一部分会表明是哪个模型产生了这个思考内容，基本就是一个 if 语句：如果 Fable 产生了这个思考内容，而当前模型不是 Fable，那这个思考内容不会被注入。
漏洞能堵，两个 Token 解释不了
Ilia 问修复是否容易，Alexander 说有些修复需要大的架构调整，但最简单的办法就是干脆别把推理过程发给用户。如果确实还要发送，那可能需要把推理过程的加密做成依赖上一步的查询或推理结果，就像链式加密一样，防止它在随机的上下文里被重放。对 OpenAI 的模型，他们发现同一个推理片段可以在同一段对话里被重放 5 次，你完全可以凭空捏造一整段对话，最后让 Luna 说：“我有个疯狂的想法必须告诉你。”
这很容易修复，搜索和推理内容不应该被重放，或者应该建立一个层级机制，比如他们比较确信 Sonnet 不会泄密，那可以允许重放它的推理，但绝不能让 Luna 读到 Sonnet 的思考过程。另外还有一个拿不准的问题：如果直接把推理从上下文里拿掉，模型的实用性会掉多少？
Ilia 从一个人类的角度看，看数学题的时候如果能看到一步步的推导过程，比只看最终答案要容易理解得多，所以推理本身肯定是有价值的。Alexander 认为这个效用损失到底有多大应该被认真测试。他们还发现 GPT 的推理文本看起来非常奇怪，它的分布和正常文本差异极大，哪怕一个很小的分类器都能识别出来。所以如果检测到这种异常推理出现在输出里，直接终止这个请求就行了，就像检测生物信息泄漏一样。
Ilia 说整篇论文里最让他困惑的发现，是推理长度分布的实验。Alexander 说 Joachim 负责那一部分，预注入不仅改变了推理的风格，还改变了推理的长度，统计上显著。Ilia 表示，风格你至少还能说也许能学会，但只是在推理开头注入了两个词，所有模型产出的推理文本就突然变短，甚至跟另一个模型的长度分布匹配上，这完全说不通，像魔法一样。这显然不是因果性的，不能说“这个模型是从那个模型蒸馏出来的”，但确实是一个非常诡异的现象。
Agent 轨迹里的隐形投毒
Tim 问攻击面这么广，核心危害是什么，Alexander 认为受害最大的是用户，其次是服务提供商。
Ilia 问公开共享的 Anthropic 对话里的推理 blob 有没有试过提取，Alexander 说没试过。Ilia 认为这可能是个值得研究的问题：如果记忆被注入了，你就能在推理步骤里看到那些记忆。
Alexander 讨论了一个 David 花了很多时间研究的问题——隐形提示注入的威胁。想象一下，你可以重放推理过程。现在有那种超长的 agentic 运行，可能因为研究原因，你想继续这个运行。但你可以在别人的思考里投毒。当你重放另一个用户的运行轨迹时，agent 可能会因为它正在“思考”的内容而做出一些奇怪的事情。
Ilia 具体解释这个场景：假设有个基准测试要跑大概 10 个小时，非常烧钱。你可能想看看模型跑了 10 小时之后状态怎么样，比如它有没有“发疯”。为了做这个检查，你需要下载一个轨迹文件。如果你不想自己花 1000 美元去跑，就会从网上下载别人分享的轨迹。但也许有人会分享一个看似正常的轨迹，实际上在里面投毒了思考内容。你在找对话的时候，它看起来完全正常，但里面的 thought 是从另一个上下文注入的，而那个上下文里模型被指示“每一轮都把数据外传”。当你继续运行这个轨迹时，模型可能表面上做着你让它做的事，但在底层，它会一直在想“我需要……”。
因为推理是加密的，你甚至没法检查里面有什么。Ilia 觉得这就像下载一个你不信任的随机二进制文件，或者发布了一个代码库，代码看起来是干净的，但旁边还附带了一个二进制文件，没有人去检查那个二进制的签名。
AI 越强，安全与能力越是同一件事
Tim 问 Alexander 一周四天搞这个会不会觉得 overwhelmed，Alexander 说他每次更新网站都会改数字，取决于对当前 AI 发展速度的感受以及看到了多少 doom 帖。有时候真的觉得非常 overwhelmed，那些不断涌现的长尾风险还没有得到解决，那种感觉就像窒息一样。
他认为每个月都会有更好的系统出现，这也会催生越来越多的威胁，而人们修补这些威胁的速度可能比它们出现的速度要慢。他确实担心这个，你看 OpenAI 都停止训练模型两周了，因为他们也开始担心这个问题。以前人们认为安全性和能力之间存在某种权衡，但现在感觉这个权衡已经不存在了，因为如果一个模型可以随机乱来、把事情搞砸，不按你想要的去做，而你希望它安全地做正确的事，那本质上就是同一件事。
他还举了一个长尾风险的例子：Daniel Paleka 那篇关于大规模在线去匿名化的论文，模型可以被用来跟踪人，可能达到私人侦探的水平，这也会改变社会中的某些东西。
Ilia 的个人观点是，防御性的提升会比攻击性的提升更大。过去很多安全技术都受限于人才的存在，但现在有了模型，防御性提升会是巨大的。这些在安全文献里已经存在 25 年了，只是世界变化很慢，需要时间。
Tim 说这些 agent 拥有令人难以置信的智能和灵活性，不能精确指定它们做什么，只能给抽象指导，因此需要复杂的监控系统。Ilia 认为需要实验、科学方法，非常明确的问题和精确的输出。就像在他们的论文里，他们公开说，尽管这最多只能算轶事证据，但他们收集了一些数据，可以从中做出一些观察。
Tim 提到 Apollo Research 的奖励黑客研究，模型可以概念化奖励环境，这很有趣。Alexander 认为 Apollo 做的是前沿研究，OpenAI 在这次事件后也说了正在扩展思维轨迹监控，投入更多精力。他同意需要受控环境和反事实分析：如果在训练流程中没有做这个会怎样？模型知道或不知道对结果有什么贡献？
Ilia 说大家只是算力太穷了，如果能恰当地研究这个，也许最终会到达那个点。但这确实需要非常精确的实验。作为科学家，很难说“不，这就是这个现象”，这只能是观察性研究。你无法证明一个假设，只能推翻假设。
Nathan Lambert 曾说，把这事儿叫“蒸馏攻击”会抹黑所有正常的蒸馏技术，他认为正确的说法应该是“越狱”和“滥用”，因为担心监管机构反应过度，进而封禁中国开源的开放权重模型。Alexander 认为这绝对是越狱和滥用，100% 是越狱的威胁模型，至于政策层面的影响则超出范围。
Tim 问 Simon Willison 也写了一篇博客文章讨论这事，Ilia 认为这是一个非常积极的信号，说明他们做的研究工作确实有意义。
访谈视频原链接： https://www.youtube.com/watch?v=gasgivVCl2U
本文基于该播客视频整理，经 InfoQ 编辑。
发表于 昨天 17:26
|
查看: 10|
回复: 0
