Cartesia语音模型可在AWS自托管 首字节90毫秒

时间：2026 年 11 月 3 日（美国太平洋时间上午 8:40；北京时间 11 月 4 日 0:40）。 地点：AWS 官方机器学习博客。文章以美国东部（弗吉尼亚）us-east-1 区域举例，模型包 ARN 按区域区分，最终端点运行在客户自己的 VPC 内；部署方式覆盖 AWS 全球云区域。 人物：文章由 AWS 与 Cartesia 双方作者合写。AWS 侧是合作伙伴解决方案架构师 Nolan Chen、高级前沿 AI 客户经理 Jim Fratantoni、高级解决方案架构师 ND Ngoka 和解决方案架构师 Daniel Wirjo；Cartesia 侧是创始产品市场负责人 Anita Mo。文中主角是 AWS 合作伙伴 Cartesia。 事件详情：AWS 官方博客发布一篇技术文章，讲清楚 AWS 合作伙伴 Cartesia 如何用专门构建的状态空间模型（State Space Models，SSM）在 AWS 上做到低于 100 毫秒的文本转语音与语音转文本，并把部署路径逐条摊开。 真正的新东西在部署方式上。Sonic 3.6 以 Amazon SageMaker AI 模型包的形式通过 AWS Marketplace 交付，订阅后可以在自己的 AWS 账号里创建实时端点，端点整个跑在自己的 VPC 内，AWS 的说法是推理数据不离开你的账户。文章给出的模型包 ARN 形如 arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480，支持的实时推理实例类型包括 ml.g6e.xlarge 及以上、ml.g7e.2xlarge 及以上、ml.g7.2xlarge 及以上、ml.p5.48xlarge 和 ml.p5en.48xlarge。端点状态变为 InService 之后，用 SageMaker Runtime 的 InvokeEndpointWithResponseStream 调用并处理返回的音频流。 第二条路是自建。向 Cartesia 索取 Sonic 容器镜像和授权条款，复制进自己的私有 ECR 仓库，用 EC2 GPU 实例跑起来。AWS 说 G6（L4）和 G6e（L40S）是实时 TTS 的最佳平衡，G5（A10G）也能跑；编排层可以用 ECS（注册带 GPU 资源需求的任务定义）或者 EKS（GPU 节点组或 Karpenter provisioner）。工程细节写得很具体：模型权重放 EFS 或 FSx for Lustre，容器启动时预热并暴露健康检查，扩缩容按活跃音频流数或 GPU 利用率来定而不是按 CPU。 语音转文本的 Ink 在这篇文章里没有自建路径，AWS 写的是它目前通过 Cartesia API 提供，可以从 AWS Marketplace 上的 Cartesia Voice AI Platform 商品购买。文章还提到 Cartesia 的语音模型已与 Amazon Connect 原生集成，在 AWS 自己的联络中心场景里以生产规模运行。 背景：延迟是实时语音最难的一关。传统基于 Transformer 的 TTS 必须处理完整个序列才开始出结果，架构上就决定了质量越高延迟越大。SSM 换了个思路，把序列当成随时间连续演化的系统，逐步处理并携带一个紧凑的内部状态。AWS 归纳了三条优势：长程依赖质量高，结构化 SSM 本质是线性递推，状态参数化能跨长音频保留信息，避免了 LSTM 这类循环网络的长程信号衰减；内存占用恒定，不像 Transformer 要缓存全部历史 token；原生支持流式，递归结构逐 token 处理，不需要为流式专门改造架构。 此前 Cartesia 的模型进 AWS 走的是托管路径。2026 年 2 月 4 日 AWS 官方公告 Sonic 3 已在 Amazon SageMaker JumpStart 上架，当时口径是 42 种语言、低于 100 毫秒延迟。这次补上的是模型包加自有 VPC 端点，以及 EC2 自建这两条自托管路径，同时给出了实例类型、扩缩容与观测的完整清单。Cartesia 官方的 cartesia-ai/cartesia-aws 仓库已放着 Sonic 3.6 的 JumpStart 部署示例，README 说明 Sonic 3.6 目前只支持实时推理、建议用 ml.g6e.xlarge 实例，并称单个实例可承载 10 路并发请求，该仓库最近一次提交是 10 月 28 日。 影响：对数据驻留有硬要求的团队，这条路径的价值最直接。语音属于敏感数据，把推理放进自己账号的 VPC，音频和文本不出账户，比调用托管 API 更容易过合规。 AWS 也把取舍摆到了明面上。托管路径订阅后几分钟就能起端点，扩缩容和运维归 AWS，计费是软件费加实例小时费加基础设施费；自建路径要几小时到几天，运行时、扩缩容、网络和监控全归自己，但可以用 Reserved 或 Spot GPU 压成本。文章列出的落地场景包括联络中心、远程医疗、游戏与虚拟世界、无障碍辅助，以及呼入呼出销售。 对做语音智能体的开发者，三个数字可以当作评估延迟预算的基线：Sonic 的首音频字节约 90 毫秒，Sonic 与 Ink 的首字节延迟都在 100 毫秒以内，Sonic 支持 44 种以上语言；另外 Sonic 用 10 秒音频样本就能克隆音色，Ink 的原生轮次检测可以省掉单独一套 VAD 或断句模型。 总结：AWS 这篇文章不是一次模型发布，而是把 Cartesia 的语音模型从调用托管 API 推进到部署进自己账户的一条完整路径讲完：托管端是 AWS Marketplace 模型包加 SageMaker AI 端点，自建端是 EC2 GPU 加 ECS 或 EKS，模型侧 Sonic 3.6 负责合成、Ink 负责转写。 对多数团队来说，订阅模型包后在几分钟内拿到一个跑在自己 VPC 里的实时端点，是这条路径里最省事的一步；对已有 GPU 集群、网络要求严格的团队，自建路径换来的是全部运行时控制权。 文章末尾给的自建清单也很实在：至少跑两个副本保证可用性，发布时用滚动更新或流量排空策略，避免打断正在传输的音频流；延迟按首字节时间、音频流数量和 GPU 指标打到 CloudWatch。 常见问题： 问：能自建部署吗，数据会出账户吗？ 答：能。Sonic 3.6 以 AWS Marketplace 模型包部署成 SageMaker AI 实时端点，端点在自己 VPC 里，推理数据不离开账户。 问：延迟和语言覆盖什么水平？ 答：AWS 给的数字是首音频字约 90 毫秒，Sonic 与 Ink 首字节延迟都在 100 毫秒以内，Sonic 支持 44 种以上语言。 参考来源： AWS 官方博客原文 Building ultra-low-latency voice AI applications on AWS https://aws.amazon.com/blogs/machine-learning/building-ultra-low-latency-voice-ai-applications-on-aws/ AWS 官方公告 2026 年 2 月 Sonic 3 上架 SageMaker JumpStart https://aws.amazon.com/about-aws/whats-new/2026/02/cartesia-sonic-3-on-sagemaker-jumpstart/ 奇点 AI 索引中文摘要 关键数字逐条对照 https://ai.qidiandaohang.com/news/11676660/ Gate 新聞中文报道 Sonic 3.6 经 AWS Marketplace 部署到 SageMaker https://miniapp.gate.com/zh-tw/news/detail/cartesia-sonic-36-deploys-on-sagemaker-through-aws-marketplace-25393613 AI Pulse 英文摘要 标注 November 3, 2026 https://cofabrix.com/pulse/building-ultra-low-latency-voice-ai-applications-on-aws-38071201e90d Cartesia 官方 GitHub 部署仓库 cartesia-ai/cartesia-aws https://github.com/cartesia-ai/cartesia-aws Sonic 3.6 JumpStart 部署说明 README https://raw.githubusercontent.com/cartesia-ai/cartesia-aws/main/sonic-3-6-jumpstart/README.md Cartesia 官网 44 种语言与状态空间模型架构说明 https://www.cartesia.ai/ Cartesia 官方文档 Sonic 3.6 模型页 https://docs.cartesia.ai/build-with-cartesia/tts-models/latest