网易有道将 Qwen3-ASR-1.7B 改造成流式语音识别模型 Confucius4-R2T2:每 160 毫秒推进一次解码,对外发布的文字不会再被修改。在 13 个中英文测试集上,其合计错误率为 5.76%,比同一底座模型整句离线识别的 5.15% 高 0.61 个百分点。

已经显示出去的字,改一次就有一次代价
论文用 “I have two cats.” 举了一个例子。模型从 0.08 秒开始出字,第三个词在 0.48 秒被猜成 “to”,0.64 秒改成 “too”,直到 0.80 秒才定为 “two”。
如果结果只用于展示字幕,屏幕上的文字会闪烁。下游若是翻译模型、检索系统或语音 Agent,代价就不一样了:它们可能已经根据 “I have to” 开始工作,识别结果一改,翻译要重做,检索要重查,Agent 甚至可能已经依据错误句子调用了工具。
语音识别领域将这类现象称为闪烁(flicker)、修订(revision)或假设不稳。已有方法通常在推理端增加提交规则,只发布前后两次结果的共同前缀;或者在训练时随机截断音频,让模型见到更多不完整输入。这些办法可以降低修订率,但本身并不都保证已经发布的文字永不修改。
论文将这一要求写成硬约束:对于任意先后两个时刻,较晚时刻的输出必须以前一时刻的输出为前缀。满足这一条件的系统,被称为稳定前缀流式识别模型。
这个定义只约束输出行为,并不规定使用什么编码器,也不要求必须采用分块注意力。因果编码器既不是充分条件,也不是必要条件:它后面仍然可以接一个不断改字的解码器;双向编码器配合不回退的提交规则,同样可以产生稳定输出。
稳定性、准确率和延迟是三个独立的维度。等整句结束才出字,结果稳定但慢;反复输出固定的几句话,也可能稳定但不准确。因此,稳定性是一项约束,准确率和延迟仍需分别用错误率与延迟指标衡量。
找标签:每个时刻模型能说到哪里
训练稳定输出的模型,首先要确定每个时刻应该输出什么。一个直接的想法是用强制对齐给每个词标记结束时间,时间一到就要求模型输出该词。但单个 token 的声学信息可能不足以确定它,往往要靠后续音频补充证据;硬按时间戳出字,等于要求模型提前猜测。
论文采用了最长稳定前缀(Longest Stable Prefix,LSP):从模型此前实际产出过的完整输出中,选出与整段音频最终输出的开头一致、且长度最长的一段。
这个定义有三条重要性质:
- 不会缩短:随着时间推进,可供选择的历史输出增加,已选前缀的长度不会下降。
- 与终稿一致:标签始终是完整音频输出的前缀,最后可以收敛到终稿本身。
- 满足条件的前缀中最长且唯一:在既是模型某次完整输出、又是终稿前缀的候选里,取最长者;同一长度的终稿前缀只有一个。
这一标签不需要外部对齐器,也不需要更强的教师模型,因为它直接从底座模型自己的输出中筛选。论文将这种监督关系称为自蒸馏,监督信号和学习者来自同一个模型。
训练目标也随之改变:模型要学的是“最终结果会以什么开头”,而不只是转写当前听到的半句话。逐段输入音频时,新增音频可能扰动先前已经正确的 token,使正确 token 数量并不随音频增加而单调上升。作者将这一现象称为残留干扰(residual interference)。
提交规则可以阻止不稳定的文字向外发布,却不能消除模型内部输出的变化,因此论文尝试通过训练提高模型对这种干扰的抵抗能力。
三种稳定前缀定义有何不同
稳定前缀并非论文首次提出。论文将已有的两种定义与自己的方法放在一起比较。

第一种是 McGraw 和 Gruenstein 在 2012 年提出的全未来判据:一个前缀要算稳定,必须被这一轮解码中的所有后续结果共享。它锚定的是本轮解码实际走过的路径。
第二种是尾部锚定判据:分别计算每个时刻的输出与终稿的公共前缀长度,再取截至当前时刻的最大值,以对应长度的终稿前缀作为标签。它关注最终结果,不要求该标签曾作为某次完整输出出现。论文作者表示,是在自己的方法成形后才看到相关工作,两项工作独立完成。
论文的方法则要求标签等于模型此前实际产出过的某次完整输出,同时也是终稿的前缀。两个例子能说明差别。
第一个例子中,终稿是 “a b c d e”,模型依次输出 “a b c x”、“a b”、“a b c d e”。在第二个时刻,全未来判据和本文方法都给出 “a b”;尾部锚定判据则给出 “a b c”,因为第一次输出的前三个字符与终稿一致。
问题在于,“a b c” 从未作为完整输出出现。它借用了第一次输出中正确的头部,却忽略了当时错误的尾部。论文将这种依赖完整音频所得终稿、构造出模型当时未完整输出过的标签的情况称为标签泄漏。
第二个例子中,终稿是 “a b d”,模型依次输出 “a b”、“a c”、“a b d”。在第二个时刻,全未来判据只能给 “a”,因为中间一次输出丢掉了 “b”;本文方法可以给 “a b”,因为它既曾是完整输出,也是最终结果的开头。
尾部锚定的标签总是包含另外两种,但本文定义与全未来判据之间并不存在固定的包含关系。当一轮输出本身就是只向后追加的链时,三种定义才会重合。
本文方法的代价是标签按完整输出全有全无地计入:只要一次输出的尾部不符合终稿,这次完整输出就不能被选中。这可能让模型更晚出字,标签也不会比尾部锚定结果更长。作者选择接受这一代价,并在推理阶段通过暂定后缀预算衡量质量和延迟的权衡。
标注:把逐帧解码切成稳定区间
标注时,系统以 80 毫秒为单位逐步向底座模型输入音频,记录每一步的输出并计算 LSP。若连续若干帧的输出都等于同一个 LSP,且该前缀没有变化,就将这些帧合并成一个稳定区间,保存区间及其对应前缀。
这一过程计算量不小。按每 80 毫秒一次推算,一小时音频约需 4.5 万次前向;1,500 小时训练集接近 6,750 万次。它用计算成本换取无需外部对齐器和更强教师模型的标签。

图中,“I have two cats.” 被分成四段稳定区间:0.08 至 0.16 秒稳定输出 “I”;0.24 至 0.40 秒稳定到 “I have”;0.48 至 0.72 秒在 “to” 和 “too” 之间摇摆,因此不属于稳定区间;随后 “two” 和 “cats.” 分别稳定下来。
训练监督按区间生成:切点落在稳定区间内时,标签是对应的 LSP;切点落在区间之间时,标签是在 LSP 后面接一个 Wait。
Wait 是词表中的普通 token,不需要新增层或分类头。模型因此可以分别学习“输出什么”和“证据不足时先等待”,而不是每次都强行继续解码。
采样时,10% 的样本使用整句音频和完整转写,以保留离线识别能力;其余 90% 在随机时刻截断,切点一半落在稳定区间内,一半落在区间外,也可能落在两个标注点之间。
先量底座值不值得改
训练前,作者设计了一个指标,用于衡量全上下文模型的流式潜力。
该指标先统计不同时间点的平均 LSP 长度,再将横轴归一化为已接收音频占整段音频的比例,纵轴归一化为稳定输出占整句输出的比例。归一化曲线下的面积称为 streamability。

在 1,860 条 Buckeye 英文语音上,归一化 AUC 分别为:Qwen3-ASR-1.7B 0.493、0.6B 版本 0.484、Whisper large-v2 0.483、人工时间戳参考 0.479,WhisperRT 为 0.354。
WhisperRT 是将 Whisper 编码器改为因果注意力并对齐编解码器得到的流式版本,但它的 streamability 低于未做流式改造的底座。输出不稳定会使 LSP 变短,因此编码器因果化本身并不自动保证更早的稳定输出。
曲线后段部分模型超过人工时间戳参考,只能说明模型相对自己的最终转写推进得更快,不能证明对应词语在声学结束前已经被正确识别。要验证后者,还需要逐词对齐分析。
这个指标更适合用来判断底座模型的流式改造潜力。论文不对编码器做因果化还有两项考虑:保留双向表示,以及引用已有研究中“大于 300 毫秒切片时因果化表现更差”的结果。
架构和训练:只动解码器
R2T2 是 Real Real-Time Transcription 的缩写。其底座 Qwen3-ASR-1.7B 由 Qwen3-1.7B 语言模型、projector 和一个 300M 参数的 AuT 编码器组成。
AuT 将 Fbank 特征下采样 8 倍,得到 12.5 Hz 的位置率,即每 80 毫秒一个音频位置;注意力窗口动态变化,范围为 1 至 8 秒。
训练时只更新语言解码器参数,编码器和 projector 全程冻结,不新增层或分类头。这既保留了预训练模型的双向表示,也减少了训练成本和显存开销,因为无需保存编码器的梯度及优化器状态。
对于不做因果化,论文还引用了一个具体结论:使用 LoRA 对 Whisper 编码器进行因果化改造后,切片大于 300 毫秒时的表现反而不如保持原样。因果编码器主要节省的计算开销,则交给后续推理优化处理。
训练数据约为 1,500 小时私有中英文音频,共 60 万条,中英文各 30 万条。数据增强包括:
- 10% 的样本使用纯噪声替换。
- 以 30% 的概率注入混合噪声,信噪比在 10 至 35 dB 之间采样。
- 40% 的样本加入混响,其中 90% 使用真实房间冲激响应。
- 10% 的样本翻转语言标签,但保持转写目标不变,以缓解语言线索冲突时模型转而翻译的问题。
训练分为两个阶段。
第一阶段是有监督微调,使用交叉熵损失,训练 1 个 epoch,初始学习率为 $10^{-5}$,经过 2% 预热后线性衰减,有效批量为 64。同时随机采样 1 至 8 秒的编码器注意力窗口,让模型适应不同长度的声学上下文。
第二阶段采用 强化学习方法 GRPO。每批使用 64 个 prompt,每个 prompt 采样 8 条轨迹,共 512 条;每条轨迹可连续进行 1、2 或 4 轮更新后再结算奖励,使后续音频到达后的行为也进入优化目标。策略裁剪为 0.2,KL 系数为 0.1,采样温度为 0.8,top-p 为 0.95,每轮最多生成 32 个 token。原始资料中的这一阶段学习率未显示。
奖励由 8 项加权组成:
| 奖励项 |
权重 |
作用 |
| 字错误率 |
0.30 |
提供主要识别质量信号 |
| 编辑距离精确率 |
0.15 |
衡量局部精度 |
| 输出长度 |
0.15 |
惩罚超过目标的输出 |
| 重复 |
0.125 |
惩罚同一字符连续出现超过 5 次及短片段重复 |
| 中英字符构成一致性 |
0.15 |
比较候选与目标的汉字比例,减少错误切换语种 |
| 尾部超长 |
0.05 |
惩罚稳定区间内多输出的尾部 |
| 稳定区间词准确率 |
0.05 |
衡量稳定区间内的局部词准确率 |
Wait 位置 |
0.025 |
惩罚位置错误或多余的 Wait |
加权结果还会经过一次变换,以限制极端值;原始资料未显示该变换的具体形式。尾部超长和 Wait 两项尤其针对边界不确定时继续输出的问题。
推理:每 160 毫秒更新一次,计算量如何控制
160 毫秒切片意味着每路音频每秒更新 6.25 次。若要实时处理,每轮计算必须跟上新音频到达的速度。
底座模型的常规流式用法成本较高:每次更新重新编码当前全部音频,将音频表示和此前转写一起预填充(pre-fill)到解码器,再重新生成最后 5 个 token。160 毫秒切片相当于每秒 31.25 步串行解码;如果更新之间不保留 KV 缓存,处理过的音频也要反复编码。
R2T2 使用四项推理手段,均不改变训练后的模型结构。

- 编码器缓存:推理时将互不重叠的注意力窗口固定为 8 秒。窗口填满后,其输出不再依赖后续音频,可以缓存;每次更新只重算活动窗口。活动窗口从 2 个位置逐步增长到 100 个位置,约对应 50 次更新。
- 解码器缓存:prompt 头部和已完成窗口构成跨更新不变的输入前缀,其 KV 缓存可以复用。活动窗口、prompt 尾部和保留的转写仍需重新预填充,因为新音频插入文本前方后,它们的 KV 会发生变化。
Wait 终止解码:预填充最后一个位置的预测就是本轮第一个动作。如果结果是 Wait,本轮直接结束,无需额外串行解码。判断整句是否结束、刷出最后一段文字,仍由运行时另行处理。
- 限制上下文:只保留最近的已完成窗口和活动窗口,更早的窗口整段驱逐,边界划在窗口结束前已经提交的文本处。文中使用的配置将上下文限制为 16 秒音频及对应转写;代价是每 8 秒驱逐一次窗口时,需要重建保留窗口的 KV 缓存。
系统还提供暂定后缀预算 $U$:解码器可将最后 $U$ 个 token 留在内部,允许后续更新复核,对外只发布已提交文字。$U$ 的单位是 token,不是毫秒;一个 token 对应的语音时长会随语言、语速和分词方式变化。
当保留暂定后缀时,系统不必逐个重新生成这些 token,而是将上一轮尾部作为草稿,在预填充过程中逐位验证贪心预测。遇到第一个不一致的位置,就截断 KV 缓存并依据当前 logits 继续解码。这相当于投机解码中的验证步骤:在贪心解码下,结果与重新生成一致到数值精度,仍然正确的后缀不消耗额外解码步。
论文还比较了三种设计的单次更新成本:常规流式用法处理全部音频和文本;R2T2 处理活动窗口及有界文本,预测到 Wait 时省去串行解码;理论上计算量更低的因果交错设计只处理新块,但要求训练因果编码器,也无法保留可复核的暂定后缀质量优先模式。
主结果:13 个测试集合计错误率 5.76%
主评测包含 8 个英文测试集和 5 个中文测试集。英文报告词错误率 WER,中文报告字错误率 CER;合计宏平均按测试集等权计算。R2T2 使用 160 毫秒切片,分别测试 $U=1$ 的质量优先档和 $U=0$ 的延迟优先档。

$U=1$ 时,英文宏平均 WER 为 5.57%,中文宏平均 CER 为 6.05%,平均回溯延迟分别为 0.76 秒和 0.75 秒。13 个测试集合计错误率为 5.76%,而同一底座模型整句离线识别为 5.15%,相差 0.61 个百分点。在个别数据集上,流式结果超过离线参考,例如 VoxPopuli 为 2.29%,离线结果为 3.12%。
未经适配的 Qwen3-ASR-1.7B 直接使用 160 毫秒切片时,13 个测试集的合计错误率为 21.01%。该对照采用 $U=1$;作者表示,$U=0$ 会出现严重幻觉,无法正常收尾,因此无法评测。底座改用 2 秒切片并允许修改最后 5 个 token 后,合计错误率为 5.25%。
这组对照同时涉及切片大小和中间结果是否允许修改:强大的整句模型并不会仅因为切细音频,就自然具备稳定且准确的流式输出能力。

表中 Base 表示 Qwen3-ASR-1.7B,Offline 表示整句解码,星号表示暴露可修改的中间结果。粗体标出每行最低错误率,下划线标出开源组或闭源组内的最低值;Base 的离线和 2 秒配置仅作参考,不参与高亮比较。
商用服务对比也要同时看错误率和延迟。13 个测试集上,AssemblyAI、商用 A、商用 B 的合计错误率分别为 8.27%、6.23%、6.01%;开源对照 X-ASR、Nemotron 3.5、Voxtral Realtime 分别为 8.97%、14.21%、19.35%。WhisperRT 没有中文结果,因此没有这一合计成绩。R2T2 的 5.76% 是参与排名的配置中最低的。
只看中文,商用 A 和商用 B 的 CER 分别为 5.66% 和 4.79%,低于 R2T2 的 6.05%;但其平均回溯延迟分别为 0.78 秒和 1.23 秒,R2T2 为 0.75 秒,且两家服务发布的中间结果允许后续修改。
另一组对照是底座模型采用 2 秒切片,并将暂定后缀扣住、不向外发布。该配置的英文 WER 为 5.24%,中文 CER 为 5.30%,但平均回溯延迟达到 2.02 秒和 2.01 秒。它与表中暴露可修改中间结果的 2 秒基线采用不同输出策略,也展示了等待更多音频换取准确率时的延迟代价。
$U=0$ 和 $U=1$ 是同一份权重上的两个推理配置。160 毫秒切片下,扣住一个 token 可将合计错误率从 6.40% 降至 5.76%,相对降幅约一成,代价是平均延迟增加零点几秒。$U=0$ 虽不如 $U=1$ 准确,在同为 160 毫秒切片的开源对照中仍处于较低水平。
R2T2 在两组 RealSI 上也是参与排名的配置中最好的:英文为 7.33%,中文为 3.27%。这两组同传现场数据包含几十分钟的长音频,窗口驱逐和 KV 重建会反复执行,能够覆盖孤立短句难以体现的部分场景。
切片大小与延迟指标

曲线展示了切片大小和暂定后缀预算的扫描结果:横轴是回溯延迟,纵轴是错误率,虚线是整句解码基准;三角形代表中间结果可修改的模型,圆点代表稳定前缀模型。
80 毫秒切片配合延迟优先配置时,中英文平均回溯延迟均低于 0.5 秒,但准确率有所损失。切片从 160 毫秒增加到 320 毫秒时,两个预算配置的准确率变化幅度不同;切到 2 秒后,准确率提升有限,延迟却明显增加。
切片更小也不一定意味着最终延迟更低。提交时机还取决于词边界、停顿和上下文是否足够明确;即使计算速度能够跟上音频,等待上下文仍会推迟出字。

论文中的回溯延迟,是词语强制对齐的参考结束时刻与其输出前缀首次永久稳定时刻之差。图中三个词的延迟分别为 0.22、0.08 和 0.24 秒。
该指标只统计经编辑距离对齐后完全相同的单位,即英文词或中文字;它衡量音频时间轴上的差值,不包含执行、排队、传输和渲染。商用 API 的更新时间按送入音频量估算,服务端缓冲情况并未公开。
因此,回溯延迟不能直接等同于端到端服务延迟,也不能直接作为语音 Agent 的响应时间。
未参与后训练的语言表现
R2T2 只在中英文上做过后训练。作者使用同一个 checkpoint,在 10 种语言的 18 个测试集上补充评测,下面是其中 5 项:
| 测试集 |
基线 160 ms |
R2T2 $U=1$ |
R2T2 $U=0$ |
| 阿拉伯语 FLEURS |
56.63 |
13.52 |
14.86 |
| 德语 FLEURS |
36.49 |
8.05 |
12.35 |
| 法语 FLEURS |
39.61 |
6.35 |
7.65 |
| 日语 FLEURS |
36.07 |
8.66 |
10.15 |
| 泰语 FLEURS |
21.25 |
9.83 |
10.14 |
表中数字均为错误率百分比。日语、韩语和泰语使用字错误率,其余语言使用词错误率。
18 个测试集上,R2T2 的两档结果均低于同设置的底座基线,但 $U=1$ 并非处处更优。例如韩语 FLEURS 上,$U=1$ 为 7.52%,$U=0$ 为 6.77%,说明暂定一个 token 的收益会受到语言和分词方式影响。
平均来看,160 毫秒底座基线错误率为 30.75%,R2T2 的 $U=1$ 和 $U=0$ 分别为 8.40% 和 9.60%;底座整句解码为 5.99%,2 秒切片为 7.23%。跨语言迁移有效,但与整句识别仍有差距:日语 FLEURS 的 $U=1$ 为 8.66%,$U=0$ 为 10.15%,整句结果则为 5.42%。
这些数字的边界
延迟不等于实测服务延迟。 论文明确说明,实时运行性能尚未通过运行时测量验证,图中的回溯延迟假设推理能够跟上音频。
训练数据不可完全复现。 约 1,500 小时训练音频为私有数据。评测集未进入后训练,但无法完全排除底座预训练时见过部分评测数据的可能。
奖励项缺少逐项消融。 八项奖励各自的贡献仍需要受控实验;目前提供的是整体强化学习前后的对比。
稳定性有代价。 全有全无的标签可能让模型更晚出字。系统对外主要通过切片大小和暂定后缀预算调节质量与延迟,不存在同时无代价提升两者的配置。
跨语言结果来自迁移。 后训练只有中英文,其他语言虽然优于同设置基线,但总体仍未达到整句识别水平。
标签和指标仍有开放问题。 LSP 标签来自被改造模型自身,其上限受到模型终稿质量影响;使用更强的教师模型标注是否更好,仍待研究。Streamability 目前用于指示全上下文模型的流式潜力,能否推广到同传等任务也尚未确定。
判断
Confucius4-R2T2 没有改变底座架构,而是将稳定性拆成了几项可操作的目标:用 LSP 长度和回溯延迟衡量,用 LSP 与 Wait 构造训练标签,再以输出前缀单调作为与具体实现无关的行为约束。
论文结果表明,在这组测试条件下,稳定输出与接近离线识别水平的准确率可以同时实现:160 毫秒切片的质量优先配置,与底座整句离线结果相差 0.61 个百分点。
工程设计的重点在于控制更新成本:Wait 让没有新内容可提交的更新无需额外串行解码,有界上下文将输入范围限制在 16 秒音频及其转写。不过,这仍是设计层面的计算安排,论文没有通过运行时测量验证实际吞吐能否持续跟上音频。
当下游是实时字幕、同声传译或 Agent 工具调用时,避免文本回改可以减少返工和错误动作;如果只需要最终录音转写,稳定前缀的必要性较低,整句识别仍可能提供更高准确率。