推理层将成为模型能力的胜负手。
近期，大模型行业掀起一股开源自研推理引擎的浪潮。10月20日，DeepSeek 正式开源生产环境实际使用的推理框架 DeepInfer；几乎同时，10月22日，国内 AI 创业团队 StartLux（原点星辉）也对外开源了其自研推理引擎 Prism。
同样是自研推理系统，DeepSeek 的 DeepInfer 服务于自家通用大模型的云端大规模业务，而 Prism 则聚焦“决策模型”。据公开资料，这也是首款专门面向决策模型打造并对外开源的推理引擎。
决策模型是近段时间快速走红的大模型新赛道。不同于主打对话、内容创作的生成式大模型，决策模型不需要输出大段文本，在读取材料之后，直接输出判断结果——给出是/否、选项选择、风险等级打分这类概率化结论。
自今年9月 Jev 模型爆火之后，决策模型迅速成为行业焦点，微软、AWS、Cloudflare 等企业也相继入局布局。
在国内决策模型赛道，成立尚不足五个月的 StartLux 原点星辉已经跑出了不错的成绩。10月16日，该团队推出新一代决策模型 StartLux-Decision-v1.1，以 69.1 分登上 Hugging Face 的 Decision Index 0.3.2 榜单首位，在 173 个公开可复现模型中排名第一。
截至目前，StartLux 决策模型累计下载量超 18 万，决策模型 API 已累计响应来自全球超 300 万次决策请求。
相关仓库与资源：
不过，即便模型能力实现突破，落地环节仍存在现实瓶颈。在此之前，StartLux-Decision-v1.1 运行在基于 vLLM 0.31 的通用推理框架之上。然而，vLLM 这类主流框架原生面向聊天、续写文本这类逐 token 生成场景设计，并不适配决策模型，模型的实际能力很难充分释放。
Prism 就是 StartLux 给出的解法：按决策模型的需求重写推理引擎。 实测其在单张 H200 显卡上，Prism 处理单个短问题比原方案快 2.8 倍，同一份材料连问三个问题，最快可提速 5.3 倍。
这套专为决策模型重构的推理引擎，到底做了哪些关键改动？各项性能数据的实测结果如何？为何越来越多 AI 企业选择自研推理框架，而非直接使用社区通用方案？本文将围绕以上问题展开解读。
StartLux用四大创新破解推理效率难题
想要看懂 Prism 的优化思路，首先要厘清决策模型的运行逻辑。
例如有一位客户投诉：“订单被扣了两次钱，App 里却还显示未付款。”接到这个投诉，系统需要同时判断：工单交给哪个部门、今天是否必须回复、问题有多严重。决策模型需要读完材料，分别给每道题的备选答案打分，返回各选项的概率。
反观 vLLM、SGLang 等通用推理框架，其设计初衷服务于文本生成任务。如果用它们跑决策模型，每一道问题都要被拆解成独立请求，分别完成网络请求、分词、调度，并且重复执行庞大输出层的计算。
Prism 的全部优化，都围绕一个核心目标：完成一次决策，只执行必不可少的计算。
优化一：收敛输出计算范围
以 27B 参数量的 StartLux-Decision 模型为例，它的输出层包含 12.7 亿权重，通用引擎需要对 24.8 万个候选词做完整打分，但决策任务只用到 A-Z 共 26 个字母作为输出选项。
Prism 将输出层计算范围压缩至原先的 0.01%，模型依旧完整完成材料理解，只是在输出判断结果阶段，跳过大量无关候选词的计算。
优化二：“森林式”计算
业务场景中经常出现同一份材料对应多项判断需求。比如一份客户工单，需要同时判定归属处理团队、是否需要当日回复、故障严重等级。传统框架每解答一道题目，就要重新完整处理一遍工单材料。
Prism 创新性地将批量任务构建成 “森林式”计算结构：通用指令作为树根，共用的参考材料作为树干，各个独立问题作为分支树枝。树根、树干对应的计算只执行一次，不同问题仅处理自身新增部分。针对同一份材料的多轮追问同样可以复用已有计算结果。
优化三：采用整数运算
在和大语言模型互动的时候，我们常常会遇到一个问题：同一个问题，大模型每次给出的答案都不尽相同，有时候甚至完全相反。这一点在决策模型上是十分致命的，因为决策模型输出的概率值会直接指导业务系统执行后续动作。
Prism 通过 整数运算 解决结果漂移问题：相关矩阵运算全部使用 int8 精度，在 int32 精度下完成累加。因为整数加法不受计算顺序影响，计算结果不会受批大小、调度顺序干扰。
优化四：混排调度
StartLux-Decision-v1.1 支持 AutoThink 自动思考模式，模型把握充足时直接输出答案，把握不足则先生成最长 4096 token 的推理思考过程。
但这也带来了调度层面的难题：如果简短请求和长思考请求进入同一个任务队列，简单任务就会被长耗时请求阻塞。Prism 为此设计了一套 混合调度机制：思考类任务的提示词并入直接输出批次完成预处理，后续解码步骤预编译为 CUDA 图，最多支持 64 条思考任务与直接输出任务分时占用显卡资源。新接入的简单请求最多等待 1-2 个解码步骤就可以插队执行。
推理最高快5.3倍，231题均速仅41毫秒
这样优化后，性能有着怎样的提升呢？StartLux 对此进行了一系列对比测试。
注：以下数据来自 StartLux 在不同模型版本及测试条件下的实测结果。其中，5.3 倍加速测试使用 StartLux-Decision-v1.1-27B AutoThink 模型；231 题跨引擎性能对比及吞吐量测试使用 StartLux-Decision-v1-27B 模型。具体测试配置与结果均已在 GitHub 公开。
第一题：单请求延迟
测试结果显示，单道短问题场景下，Prism 耗时 19 毫秒，原方案为 53.1 毫秒，提速 2.8 倍。针对同一份材料连续处理三道问题，Prism 仅需 17.4 毫秒，原方案则要 92.9 毫秒，提速幅度达到 5.3 倍。如果在三道问题基础上开启思考模式，Prism 耗时 785 毫秒，原方案为 1296 毫秒，提速 1.7 倍。面对单条约 8192 token 的长问题，二者的性能差距收窄至 1.2 倍。
在更加直观的视频理解测试中，StartLux-Prism 的速度比 vLLM 快 3.38 倍，且输出的概率基本一致。
第二题：跨引擎延迟
研究团队选取 JevBench 测试集共 231 道题目，将 Prism 与 vLLM、SGLang、llama.cpp 等主流开源推理框架做横向对标。结果显示，Prism 单题平均延迟 41 毫秒，在所有参测框架中排名第一。紧随其后的 decider 编译版为 66.8 毫秒，SGLang 为 75.6 毫秒，vLLM 达到 112.7 毫秒，llama.cpp 耗时最长，单题平均 589 毫秒。在同为 8 位精度的同等条件下，Prism 的延迟比次快的框架低约 40%。
这里有两点测试前提需要说明：decider 和 JevK5 两款引擎无法直接搭载 StartLux 原生模型，测试使用了结构一致的替代模型，仅对比速度不考核准确率；另有部分框架不支持 8 位量化，只能以更高精度运行。
第三题：吞吐量
高并发吞吐测试中，64 路并发跑满显卡时，Prism 相对竞品的优势收窄到 17% 到 22%。这一阶段瓶颈出在硬件算力层面，双方都已经将 H200 的性能拉满，软件优化很难再带来明显提升。
但决策类业务最常见的并非极限满载场景，而是高频出现的小型请求。在这种日常典型负载下，Prism 每秒可以处理 100 道请求，表现最优的竞品为每秒 38 道，Prism 领先 2.6 倍。换言之，Prism 的性能优势恰好落在企业真实高频使用的业务区间，这也是专用推理引擎最核心的价值。
第四题：多卡部署灵活适配
多卡部署层面，Prism 支持数据并行与张量并行两种模式，也可以组合使用，适配不同的业务需求。以 27B 版本模型为例，四张 H200 采用数据并行模式，各自独立接收请求，合计每秒可处理 121 个请求，约为单卡吞吐的 3.92 倍。如果四张卡采用张量并行模式合力计算同一道题，单题延迟可以从 41 毫秒降到 29 毫秒。
两组双卡混合部署则可以兼顾吞吐与延迟，实现每秒 86 道请求、单题 36 毫秒的表现。无论采用哪种部署方式，输出结果都与单卡运行时逐位一致。
第五题：精度与部署门槛
提速之外，模型的推理精度并未出现折损。在覆盖七个评测集、共 12351 个决策样本的带思考测试中，Prism int8 版本的平均准确率为 92.94%，原引擎 FP8 版本为 92.83%，未做量化的 BF16 原版为 92.97%。Prism 量化版本与满血原版的准确率差距仅 0.03 个百分点，甚至略优于原有引擎的量化版本。
部署门槛也比预想中更低。该模型有 16.55GB 的压缩版本，单块 32GB 显存的 RTX 5090 消费级显卡就可以运行，输出效果对标专业级显卡 H200。在这个压缩版本上，Prism 比主流开源框架 llama.cpp 快 3.9 倍。
推理系统拉开身位，模型企业开始自研推理引擎
短短两天之内，DeepSeek 与 StartLux 先后开源了针对自家模型优化的推理系统，折射出大模型行业的共同转向：模型能力的比拼之外，推理工程的重要性正在快速抬升。
无论是通用大模型还是垂直领域的决策模型，一旦嵌入业务核心流程，每一次调用的延迟、每万次请求的算力开销都会直接体现在业务成本中。同款模型的落地成本、响应速度、运行稳定性，开始成为决定其商业化空间的关键因素。
而通用推理框架需要适配不同结构的模型、覆盖千差万别的应用场景，必然要在专用性上做出妥协，只有模型厂商自身最清楚自家模型的接口特性与优化空间。
StartLux 走的正是这条自研路径，同时又在决策模型这个细分赛道走出了自己的开放风格。和很多厂商仅开源模型权重或推理代码不同，StartLux 的每一次产品发布，都同步输出底层方法论与配套工具链，把自身的实践经验转化为行业可以复用的公共资产。
此前发布 StartLux-Decision 决策模型时，团队就同步公开了 RLCD² 强化学习训练算法，系统性解决了决策模型“何时启动思考、何时终止思考”的训练难题，填补了决策模型训练方法论的空白。同时推出的 DecisionPivot 评测基准，也补上了行业对决策模型细节识别能力的评测标准缺口，为全行业提供了统一的对比参照。
本次 Prism 推理引擎的开源，同样延续了这一思路。团队不仅放出了完整的引擎代码，更公开了针对决策模型推理的全套优化逻辑，相当于把决策模型推理工程的核心设计思路完整开放给行业。
DeepSeek 与 StartLux 这类开源 AI 厂商，把推理工程从单家厂商的内部能力，变成行业可复用、可验证的公共基础设施。对于尚处发展初期的决策模型赛道而言，这种“模型 + 方法 + 工具”的开放模式，直接降低了全行业的试错成本，让更多团队不用从零开始搭建训练、评测、部署的完整链路，可以聚焦于上层的场景创新与效果优化。
结语：决策模型的竞争，推理层将是胜负手
想要把决策模型真正用在风控、内容审核、业务工单路由等真实业务当中，仅有高性能模型远远不够。
Prism 的本质，是针对决策模型重新核算整套推理计算逻辑。当大模型的输出从长篇文本，转变为一组概率判断，过去文本生成时代推理引擎的各类默认假设，都有重新审视、重新优化的空间。
未来决策模型赛道的竞争，也会朝着这个方向演进：模型架构的差距会不断缩小，但推理工程层面的壁垒会变得更显著，而后者无法依靠堆更大参数量的模型简单补齐。这其实让决策模型和整个模型领域的竞争核心变得更突出，也让外界更加期待，谁能跑得更远，做得最深。
发表于 昨天 23:26
|
查看: 11|
回复: 0
