商汤开源SenseNova-Loop-9B-Preview：9B权重实现14.6B推理量的循环多模态模型

编者摘要： SenseNova-Loop-9B-Preview 是商汤 SenseNova 于 2026 年 10 月 30 日开源、Apache-2.0 协议的多模态模型，面向长上下文与 Agent 工具工作流，支持图文输入、文本输出。模型权重规模 9.66B，推理等效约 14.6B 计算量，权重文件 38.2GB，训练最大上下文达 262144 tokens。

核心创新在于循环解码器架构：仅 32 组独立权重层，其中 24 层共享权重执行两轮计算，前向共完成 56 层计算；同时搭配双流形约束超连接 mHC 稳定循环信息流，以及“3 层线性注意力 + 1 层全注意力”的混合注意力模式，兼顾超长文本效率与推理能力。

模型原生适配文档理解、代码、图表分析、PPT 生成等 Agent 场景，支持 MTP 推理加速，可基于 LightLLM、SGLang、vLLM 部署，并配套 SFT、DPO 训练脚本。当前为预览版本，技术报告尚未发布，DSpark、DFlash2 加速方案仍在训练中。

10个关键问题 Q&A

1. Q：Loop-9B 是不是 MoE？
   A：不是 MoE。它是权重共享循环复用，没有专家路由，是稠密模型，只是同一块层跑两遍。

2. Q：9B 权重为什么推理等效 14.6B？
   A：因为 24 层循环块前向计算两次，计算量和有效深度都增加了，但权重并没有翻倍。这不是参数膨胀，而是计算复用。

3. Q：能不能在单张 4090 跑？
   A：BF16 权重 38GB，单卡 4090 只有 24GB 显存，原生放不下。需要 TP、KV 缓存量化，或者 AWQ/GPTQ 量化后才能单卡加载。

4. Q：mHC 是做什么的？
   A：它维护两条残差流，控制循环两轮之间信息的传递与融合，防止重复计算后信号漂移、梯度消失，是循环结构能够稳定工作的关键组件。

5. Q：Hybrid Attention 为什么混合线性注意力与全注意力？
   A：线性注意力可以降低长序列计算成本，而周期性插入全注意力能够保留复杂推理和强关联捕捉能力，最终兼顾速度与能力。

6. Q：和普通 9B 模型最大差异是什么？
   A：普通 9B 是 N 层权重跑一次；Loop-9B 则是部分层跑两次，计算深度大于权重层数，能力上限更高，但单 token 计算开销也更大。

7. Q：MTP 对这个模型的价值在哪里？
   A：循环结构本身单 token 计算较重，MTP 可以一次解码多个 token，摊薄循环计算开销，是它的关键提速手段。

8. Q：支持图片输入，是哪种多模态方案？
   A：属于 Image-Text-to-Text，即输入文本加图片、输出文本。适合 OCR、图表理解、文档图文混合任务，但不支持图生图。

9. Q：商用是否允许？
   A：Apache-2.0 许可，允许商用、二次分发和微调，保留版权声明即可。

10. Q：适合拿来做什么、不适合做什么？
    A：✅ 适合：长文档 Agent、私有化 RAG + 工具调用、图文数据分析、PPT/报表生成。
    ❌ 不适合：追求极致单 token 吞吐、实时对话高并发场景。未开启 MTP 时，单 token 延迟会偏高。

✅ 基础档案

• 名称： SenseNova-Loop-9B-Preview
• 出品： SenseNova（商汤日日新）
• 许可证： Apache-2.0（商用友好）
• 模态： Image-Text-to-Text（图文输入，文本输出）
• 权重参数量： 9.66B（存储权重）
• 推理等效参数量： 约 14.6B
• 权重包大小： 38.20GB（Safetensors）
• 训练最大上下文： 262,144 tokens（256K+）
• 词汇表： 248,320
• 隐层维度： 4096；FFN：12288
• 支持语言： 中文、英文
• 开源地址： ModelScope / HuggingFace / OpenSenseNova GitHub
• 典型场景： 文档解析、代码、Agent 工具调用、PPT 设计、动效设计、数据分析

🧠 架构：三大创新，也是这个模型最不一样的地方

1. Looped Decoder 循环解码器

模型总共有 32 组独立 Decoder 权重层，但前向计算会完成 56 层计算：

• 0–3 层：前置层，只跑 1 次
• 4–27 层（共 24 层）：共享权重，连续跑 2 轮 B(B(h))
• 28–31 层：后置层，只跑 1 次

本质上，这并没有增加权重数量，而是重复执行同一块 Transformer，用计算深度换推理能力，而不是堆参数量。这和 DeepSeek、Qwen、Llama 等传统直堆层方案明显不同。

2. Two-stream mHC 双流形约束超连接

循环块内部维护两条独立残差流，通过可学习映射控制两条流之间的信息路由与融合；再使用 Sinkhorn 归一化（20 次迭代） 约束混合矩阵，避免循环两轮后出现信息爆炸或退化。它的作用就是解决简单循环复用带来的信息震荡、梯度退化问题，是这个循环结构能够实际跑通的关键。

3. Hybrid Attention 混合注意力

采用 4 层一组的固定模式：3 层线性注意力 + 1 层全注意力。循环块边界与这个 4 层分组对齐，因此两轮循环都保持相同的注意力排布。

• 线性注意力：低成本处理超长上下文
• 周期性插入全注意力：保留强局部关联和复杂推理能力

⚙️ 推理加速能力

• ✅ MTP（多 Token 预测）： 现已可用，一次解码吐出多个 token，实现提速
• ⏳ DSpark（草稿模型）： 训练中
• ⏳ DFlash2： 训练中
• 部署后端原生支持： LightLLM、SGLang、vLLM（都有对应 PR）
• 精度： 骨干 BF16；mHC 路由参数 FP32

📦 训练与微调

• 训练数据： 长文本、图文、代码、Agent 工具轨迹数据
• SFT 微调： 基于 torchtitan，8 卡单节点脚本开箱即用
• DPO / MTP / DSpark 草稿模型训练脚本： 位于 SenseSpec 仓库

🖥️ 部署与环境要求

• 验证环境： Transformers==5.18.0，PyTorch 2.11.0 + CUDA 13.0
• 必须开启 trust_remote_code=True，模型自带自定义循环与 mHC 实现
• 推理方式： 原生 Transformers、LightLLM、SGLang、vLLM
• TP 张量并行推荐： TP=4

📌 优势与短板总结

优势

1. 参数效率很高
   9B 权重、单卡可尝试加载，推理深度对标更大尺寸模型，适合本地 Agent、私有化知识库场景。

2. 原生长上下文多模态
   256K+ 训练上下文，面向文档理解、图文混合 Agent 工作流，例如 PPT、数据分析、Raccoon Work 演示。

3. 架构创新方向清晰
   循环计算加双流路由，是一条区别于 MoE、单纯加深单层的“深度复用路线”。

4. 开源程度高
   Apache-2.0 协议，权重、推理代码、训练脚本、部署后端全部开源，社区友好。

局限

1. 目前仍是 Preview 预览版，技术报告尚未发布，完整 benchmark 论文还没有放出，性能结论以官方自报为主。
2. DSpark、DFlash2 加速方案仍处于训练阶段，暂不可用。
3. 循环结构属于自定义代码，推理框架需要适配补丁，不能直接使用原生 vLLM/SGLang 主线。
4. 循环计算会拉高单 token 计算量：显存压力相对较小，但单 token 时延会高于同参普通 9B 模型，MTP 就是用来对冲这部分开销的。

如果对这类长上下文、Agent 方向的模型与工程实践感兴趣，也可以到云栈社区看看更多开源模型部署和微调讨论。