
语音识别模型处理的是麦克风采集的语音(示意照片,与 IBM 无直接关联)。摄影:Panos Sakalakis;来源:Wikimedia Commons;许可:CC BY 2.0。
2026 年 10 月 21 日,IBM 在 Hugging Face 博客发布 Granite Speech 语音模型更新:新增 granite-speech-5.0-2b,同时更新 Turbo CTC 与 4.1 2B Plus 两款已有模型,三者均采用 Apache 2.0 许可。5.0 2B 在 Open ASR 榜单英文短音频测试中的平均词错率为 5.06%,按榜单数据排第 8、开源权重模型第 2,但这一排名混用了不同数量的测试集。
发布内容与三款模型分工
这次发布由 IBM Granite 语音团队完成,博客署名包括 George Saon、Brian Kingsbury 等研究人员。博客按用途给三款模型分工:5.0 2B 面向高准确率的多语种转写和翻译,Turbo CTC 面向高吞吐和端侧设备上的转写,4.1 2B Plus 面向会议、电话等多人录音。日期上有一处出入:博客发布日期为 10 月 21 日,5.0 2B 模型卡写的是 10 月 20 日;榜单 PR 的讨论记录显示,该模型在 10 月 17 日仍未公开。以哪一天作为正式公开日期,待核对。
| 模型 | 本次状态 | 参数规模 | 支持语言 | 主要任务 |
|---|---|---|---|---|
| granite-speech-5.0-2b | 新发布(模型卡日期 2026-10-20) | 名为 2B,榜单数据记为 2.31B | 转写:英、法、德、西、葡、日;翻译:上述语言与英语互译,另有英译意、英译中 | 语音识别、语音翻译、关键词偏置(最多 2000 词)、按提示输出标点和大小写 |
| granite-speech-5.0-470m-turboctc | 多语种更新(2026-10-21;英文版首发 2026-08-25) | 4.7 亿 | 英、法、德、西、葡、意、日 | 仅语音识别,直接输出标点和大小写 |
| granite-speech-4.1-2b-plus | 权重更新(首发 2026-04-28,更新 2026-10-19) | 名为 2B,与 4.1 2B 同架构,确切参数量待核对 | 英、法、德、西、葡 | 语音识别、说话人归属转写、词级时间戳、关键词偏置;不输出标点和大小写 |
表中信息来自三份官方模型卡,三款模型的许可证均为 Apache 2.0。需要注意,博客标题里的“说话人归属”(Attribute)对应的是 4.1 2B Plus 的能力,5.0 2B 的模型卡没有列出说话人标注功能。5.0 2B 以 granite-4.0-1b-base 的一个中间检查点作为语言模型底座,训练使用约 39 万小时公开音频,以及为日语识别、关键词偏置和翻译构建的合成数据;模型卡建议把长录音切成约 2 分钟以内的片段再转写。
IBM 公布的成绩
以下数字均来自 IBM 博客和模型卡,属于官方公布结果。5.0 2B 方面,博客称它在 Open ASR 榜单英文短音频公开测试集上的平均词错率(WER,越低越好)为 5.06%,截至 2026 年 10 月 21 日在开源权重模型中排第 2。标点和大小写方面,博客称大小写 F1 在 89.7 到 99.5 之间,但模型卡表格中 5.0 2B 的数值是 90.16 到 99.51,89.71 其实是上一代 4.1 2B 的成绩;标点错误率在 9 个测试集中有 7 个下降,CommonVoice 英语和法语略有上升。噪声与远场环境(FFASR 榜单)、多语种识别和语音翻译的成绩在模型卡中只以图表给出,本文没有读取到具体数值,待核对。
Turbo CTC 方面,模型卡称多语种新版的英文平均 WER 为 5.51%,好于英文版的 5.78%,但同时注明 5.51% 是非官方结果,榜单上登记的仍是英文版。博客称它在榜单上的速度达到 19,870 RTFx(处理速度相当于音频实时长度的倍数),约为首发时 12,600 的 1.6 倍;而本文读取的榜单数据中,该条目记为 21,134.31,两者不一致,原因待核对。
4.1 2B Plus 方面,博客给出了新旧版本对照(均为错误率,越低越好):
| 指标 | 旧版 | 新版 |
|---|---|---|
| 说话人归属错误率 WDER | 4.40 | 4.10 |
| 带说话人标签的转写错误率 cpWER | 30.50 | 28.48 |
| 长音频 WER | 13.53 | 10.22 |
| 关键词偏置下的关键词 WER(20 词列表) | 11.79 | 6.48 |
| 时间戳平均偏移 AAS(全部语音) | 210.86 | 98.54 |
模型卡的分项数据显示,改进并不全面:WDER 在 FISHER(0.9 升至 1.0)和 CALLHOME 英语(2.2 升至 3.0)上变差,在 AMI-SDM 和 GALE 上下降;在榜单改版后的英文测试集上,平均 WER 从 6.01% 升到 6.10%。博客中 WDER 4.40 和 4.10 两个汇总值的计算方式,模型卡没有说明,待核对。
Open ASR 榜单中的位置
Open ASR Leaderboard 托管在 Hugging Face 的 hf-audio 组织下,结果数据公开在 open-asr-leaderboard-results 数据集中。本文于 2026 年 10 月 22 日读取其中的 english_short_latest.csv,读取时的最新提交为 f3f9949,即加入 5.0 2B 结果的那次提交。英文短音频榜目前使用 9 个公开测试集:AMI、Earnings22、Gigaspeech、VoxPopuli 的清洗版,LibriSpeech clean 与 other,SPGISpeech,URGENT2024,以及 Voice Arena Monsoon(印度英语)。榜单没有标注正式的方法版本号,待核对。
这项成绩不只来自 IBM 自报。IBM 研究员 gsaon 于 10 月 14 日向榜单代码仓库提交 PR #245,附上在 Hugging Face Jobs 上的运行日志,9 个测试集的平均 WER 为 5.06%。10 月 19 日,仓库协作者 Deep-unlearning 在评论中表示,已在 H200 上独立运行公开测试集,得到一致的 5.06%;该 PR 于 10 月 21 日合并,结果上线。不过复现日志没有附在 PR 中,榜单私有测试集上的成绩也未见公布,这两点待核对。
按 CSV 中平均 WER 一列从低到高排序,5.0 2B(5.06%)位列第 8。排在它前面的 7 个条目里,6 个是闭源商业服务,第 1 名为 OtterAI speech-v3.1(3.88%);唯一的开源权重模型是微软 Phi-4-multimodal-instruct(5.02%,MIT 许可)。按这一列看,博客“开源权重模型第 2”的说法与榜单数据一致。
但这个排名并非同口径比较。本文按 CSV 中各测试集的数值逐行验算,发现平均值一列覆盖的测试集数量不同:5.0 2B 是全部 9 个;Phi-4-multimodal 缺少 URGENT2024,是 8 个;上一代 4.1 2B、Qwen3-ASR-1.7B-hf 等较早条目的数值,与去掉两个 LibriSpeech 测试集后的 7 个测试集平均值吻合。统一按 9 个测试集计算,Qwen3-ASR-1.7B-hf 平均为 4.94%,低于 5.0 2B 的 5.06%;在 Phi-4-multimodal 有成绩的 8 个测试集上,5.0 2B 平均为 4.42%,低于 Phi-4-multimodal 的 5.02%。也就是说,统一口径后 5.0 2B 在开源权重模型中仍排第 2,但排在它前面的是 Qwen3-ASR-1.7B-hf;综合第 8 的位置同样会受口径影响。以上是本文的计算,不是榜单的官方排名;榜单为何混用不同口径,待核对。
与上一代相比,在同样的 9 个测试集上,4.1 2B 的平均 WER 为 5.35%,5.0 2B 为 5.06%;9 个测试集中有 8 个下降,只有 LibriSpeech other 从 2.19% 微升到 2.21%(本文按 CSV 计算)。速度上两者接近,CSV 记录的 RTFx 分别为 546.84 和 544.52;IBM 在 PR 日志中报告的 5.0 2B RTFx 为 570.17,与榜单数值的差别是否来自运行硬件不同,待核对。

英文单词“open”的语音频谱图(示意图,与本文榜单数据无关)。Granite Speech 5.0 2B 模型卡显示,其语音编码器的输入是对数梅尔频谱特征,属于同类时频表示。作者:Kelly Fitz;来源:Wikimedia Commons;许可:CC BY-SA 3.0。