破解模型“幻觉”问题的关键，或许在于构建一个极度稀疏、内部连接像电路图一样清晰可见的Transformer架构。
OpenAI近期悄然开源了一个新模型。该模型参数仅4亿，但其最显著的特征是高达99.9%的权重为零，这即是 Circuit Sparsity（电路稀疏性） 技术的开源实现。
这项技术的核心在于，通过人为施加严格的约束，强制模型在训练过程中形成极度稀疏的内部连接。这种设计旨在将传统“黑箱”式的大语言模型转变为一个可拆解、可理解的结构，从而清晰解读其内部“计算电路”，理解AI的决策逻辑，从根本上降低对模型输出盲信的风险。
业界有观点认为，这种“极致稀疏”与“功能解耦”相结合的思路，甚至可能对当前主流的MoE（混合专家模型）架构构成挑战。
那么，当Transformer的权重矩阵被训练到近乎全零时，究竟会发生什么？
放弃粗糙近似，追求原生稀疏
为何这个模型的思考过程能像电路图一样易于解读？
传统的稠密大模型，其内部神经元连接错综复杂，权重矩阵中非零值遍布。信息的传递与处理呈现高度叠加和耦合的状态，如同一团无法理清的线团，使得追溯其具体推理路径变得异常困难。
Circuit Sparsity模型则反其道而行之。它基于GPT-2风格的Transformer架构，在训练时通过强约束使权重的L0范数（非零元素数量）极小化，从而主动“剪断”了99.9%的冗余连接，仅保留千分之一的有效通路。
这些保留下来的非零权重连接，就如同电路图中的导线，信息只能沿着预设的、固定的路径流动。此外，模型还采用了 均值屏蔽 剪枝方法，能够为不同的特定任务分离出专用的 最小功能电路。
例如，在处理Python代码中引号匹配的任务时，研究发现仅需2个MLP神经元和1个注意力头就能构成核心电路。该电路内包含专门的引号检测器、引号类型分类器等功能明确的模块，如同电路中的分立元件，各司其职。
实验数据表明，在达到相同预训练损失的前提下，稀疏模型为任务所提取的专属电路规模，比从对应稠密模型中分析出的相关模块小16倍。并且，这些电路模块具备严格的必要性与充分性：保留它们即可完成任务；移除其中任何一个关键节点，任务则立即失败。这确保了模型每一步的逻辑都清晰可追踪。
由此，便引出了与当前主流MoE模型的对比。
MoE的核心思想是通过门控网络将模型划分为多个专家子网络，每个专家处理一部分输入，依靠路由器动态分配任务以提升计算效率。从本质上讲，这是一种通过“拆分专家”这种相对粗糙的方式来近似实现稀疏性，其设计很大程度上是为了适配硬件对稠密矩阵计算的高效支持。
然而，这种架构存在一些固有缺陷：
- 其一，它可能割裂模型的整体特征流形，导致不同专家间同质化严重、知识冗余，专家间的协同依赖复杂的负载均衡损失函数来调控，稳定性面临挑战。
- 其二，专家的功能边界往往是模糊、宏观的，无法像Circuit Sparsity模型那样，在微观神经元层面实现机制与功能的精准对应和解耦。
相比之下，Circuit Sparsity追求的是模型 原生的、结构性的稀疏。其方法是通过将特征投射到超高维空间，然后严格限制同时激活的节点数量，从设计源头就迫使每个特征表示变得单义且正交。这从根本上解决了传统模型中“一个概念分散于多个神经元”的特征叠加问题，无需依赖路由器这类近似“技巧”也能避免信息间的干扰。
当然，Circuit Sparsity技术目前也存在明显短板，最突出的是其极高的算力成本。其训练和推理过程中的计算开销可达传统稠密模型的100至1000倍，这使其在现阶段难以达到顶尖大模型的性能水平。而MoE模型在算力效率与性能的平衡上已较为成熟，短期内仍将是工业界部署的主流选择。
这项研究仅是迈向AI可解释性的早期探索。团队未来的计划是将该技术扩展到更大规模的模型，以揭示更复杂的推理电路。目前，研究者已发现两条可能克服稀疏模型训练效率低下的路径：
- 路径一：直接从已有的、训练好的稠密大模型中提取稀疏电路。这种方法复用现有模型框架，无需额外训练稀疏模型，能大幅降低成本。
- 路径二：坚持从头训练原生可解释的稀疏模型，但通过优化训练算法与机制，攻克其训练慢、成本高的核心难题，最终造出既高效又可解释的模型。
期待后续研究能借助更成熟的工具与技术，逐步揭开大模型内部的“黑箱”。
参考链接：
[1]https://openai.com/zh-Hans-CN/index/understanding-neural-networks-through-sparse-circuits/
[2]https://x.com/byebyescaling/status/1999672833778287033?s=20
发表于 前天 21:44
|
查看: 4|
回复: 0
