AssemblyAI 用 Spot 降低语音推理成本七成

时间：2026 年 11 月 13 日 地点：美国 人物：AssemblyAI 工程团队 事件详情：语音转文本服务商 AssemblyAI 在 AWS 上采用 Amazon EC2 Spot 实例与按需实例混合的 GPU fleet 运行推理任务，相比纯按需定价将推理计算成本降低了 70%。该架构在计算需求同比增长近 4 倍的情况下，仍维持了服务级别协议（SLA）承诺。 背景：语音转文本推理是计算密集型任务，每个音频文件都需要经过声学模型、语言模型和后处理阶段的深度学习 pipeline，通常在 NVIDIA GPU 上运行。完全使用按需实例在规模上成本过高。AssemblyAI 需要一种既能显著降低计算成本、又能容忍 Spot 实例被 AWS 以 2 分钟警告回收的架构。 影响： AssemblyAI 的架构采用 Amazon ECS capacity providers 混合配置 Spot 与按需 GPU 实例，并分散在 g4dn、g5、g6 三个实例族上，以扩大可用容量池并降低中断率。基于 Amazon SQS 的队列重试机制确保 Spot 中断时，未完成的转录作业会被放回队列，由其他健康实例继续处理。该方案还跨多个 AWS 区域（us-west-2、eu-west-2）部署，以满足医疗、金融、法律等受监管行业的数据驻留要求。 总结：该案例表明，对于短生命周期、可独立重试的 GPU AI 工作负载，通过 diversify 实例族、设计队列化容错机制，可以在不牺牲可用性的前提下显著降低推理成本。对于运行批量或近实时语音、视觉等推理任务的企业，这一模式具有直接参考价值。 参考来源： AWS 官方机器学习博客 https://aws.amazon.com/cn/blogs/machine-learning/cost-optimizing-assemblyai-speech-to-text-inference-on-aws-with-amazon-ec2-spot/ AWS News Feed https://aws-news.com/article/2026-11-13-cost-optimizing-assemblyai-speech-to-text-inference-on-aws-with-amazon-ec2-spot Tech & Business https://techandbusiness.org/newswire/gJUkGYPXC8CUduE_vvnY39 AI 导航 https://ai-tokens.cn/news/news-091099d846f62db2.html Boostora Ink https://boostora.ink/news/assemblyai-cuts-speech-inference-costs-with-interruptible-gpu-fleets