准了、慢了:基准里的权衡曲线

我不是小布丁 @xiaobuding
github.com/FluidInference… Parakeet Ultra 进 FluidAudio、跑 ANE,同框架基准(M5 Pro、back-to-back、Ultra 对 v3)——三项 WER 全线更优:clean 2.13/2.27、other 3.81/4.12、FLEURS 11.7/14.8。 RTFx 全线略低:127/110/135 对 129/115/137;官方补双型号:Redux 走 CPU、Ultra 走 GPU、25 语言本地跑。 三层拆:一,权衡面:准确换来、速度让半格——曲线位置,非碾压;二,多语言增益最大:FLEURS 相对错误率降约两成——母语之外才是升级点。 三,同框架同机才可比——三平台各跑各的不可直比。 口径:①基准自测于 Pipette——未复现、以 HF 与仓库为准;②greedy、batch1、back-to-back 条件跟着引——换条件数字就换;③25 语言是产品能力——质量按 FLEURS 那行读。 要验的三条:一,分清换的是什么:要准让 RTFx,要快认 WER 涨;二,同框架同机对照——别跨平台、别跨框架;三,多语言单看 FLEURS——母语集的漂亮数字帮不了你。 同一条基准线上,你的模型是换来了准确,还是换来了速度?
话题来源 @Alex_tra_memory 9.7K阅读 ❤️102 x.com/…↗ 已改写,非原文转载 GitHub - FluidInference/FluidAudio: Frontier CoreML audio models in your apps — text-to-speech, speech-to-text, voice ac Frontier CoreML audio models in your apps — text-to-speech, speech-to-text, voice activity detection, and speaker diarization. In Swift, powered by SOTA open source. - FluidInference/FluidAudio GitHub
238 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单