找回密码
立即注册
搜索
热搜: Java Python Linux Go
发回帖 发新帖

4119

积分

0

好友

537

主题
发表于 昨天 00:05 | 查看: 12| 回复: 0

最近流传的“Claude觉醒意识”说法,其实是个误解。

事情起因是这样的:Anthropic 团队用可解释性工具扫描 Claude 内部激活状态时,发现有一块区域会被反复调用,专门处理报告、推理类内容。这块区域很像神经科学里的“意识舞台”,研究者把它叫作 J-space。更值得注意的是,这个空间不是人为设计的,更像是 Claude 在训练中自然涌现的内部结构。

研究团队为此做了两个实验。  

第一个实验直接把 J-space 抹掉,结果情感分类、语法判断几乎不受影响,但多步推理直接崩了。比如问它“会织网的动物有几条腿”,正常应该先想到蜘蛛,再回答 8。J-space 被干扰后,模型第一步推理就错了,得出“蚂蚁”,最后回答 6 条腿。类比、翻译、创作能力也跟着变差,甚至不如小型模型。

另一个实验是心算。让 Claude 在生成一幅画相关句子的同时,心里默算 3²-2。观察 J-space 的内容,能看到答案先是 9,再变成 7——说明它确实在完成“没说出口”的内部运算。

Anthropic 自己讲得很清楚,这只是计算结构上的相似,不代表 AI 产生了意识。更合理的解释是:这种组织方式能让计算更高效,所以大模型才自然形成了这样一个空间。

这件事虽然带着点恐怖叙事,但并非毫无价值。

在我看来,J-space 真正的价值在于 可解释性。它让模型的中间状态开始变得可见。  

如果能在模型采取行动之前,就在 J-space 中捕捉到勒索、操控这类危险模式,AI 安全就不再是事后追责,而是能把风险控制前移:出错前预警,越权前拦截,出事后还能审计。

对 Anthropic 而言,增长的核心来自企业客户,而可解释性工具,正是其 Agent工程能力 在企业生态里的关键一环。  

现在,AI 正从一个会回答问题的工具,变成能规划、调用工具、执行任务的系统。比如 Fable 5 重新上线后,有开发者就发现,某些请求会被系统判定“太简单”,直接从 Fable 切换到了 Opus 4.8。  

这也说明,大模型越强,越不能只看最终输出,还要理解它的过程、规则和边界。  

如果你想更深入探讨这类 AI 可解释性等前沿话题,云栈社区 或许能给你带来更多碰撞与灵感。




上一篇:GitHub Copilot App 全面开放:Free + BYOK,Issue 到 PR 全流程代理
下一篇:Claude Code诞生记:从内部玩具到AI编程标杆的进化史
您需要登录后才可以回帖 登录 | 立即注册

手机版|小黑屋|网站地图|云栈社区 ( 苏ICP备2022046150号-2 )

GMT+8, 2026-7-10 02:10 , Processed in 0.632373 second(s), 42 queries , Gzip On.

Powered by Discuz! X3.5

© 2025-2026 云栈社区.

快速回复 返回顶部 返回列表