SGLang-Neuron可在Trainium部署大模型

时间：2026 年 11 月 11 日 地点：美国 人物：SGLang 团队（RadixArk）、Amazon Annapurna Labs 事件详情：AWS 与 RadixArk 联合发布 SGLang-Neuron v0.1.0，这是一个开源插件，让开发者能在 AWS Trainium 芯片上通过 SGLang 接口部署大模型。该插件现已通过 AWS Deep Learning Container 公开可用，支持 Trainium2 和 Trainium3 实例。SGLang-Neuron 采用异步运行时和 megakernel 优化，将模型解码步骤的每一层合并为单个 NKI kernel 调用，减少 HBM 往返。它还支持 prefill-decode disaggregation，通过 NIXL over EFA 在不同服务器间传输 KV cache。Kimi-K3 已在三个 Trainium3 节点上运行，达到 67 tok/s per user。GLM-5.2 (MXFP4) 可 serving 1M token context。此外还支持扩散模型，包括 FLUX.1-dev、MiniMax-H3、Wan2.2 A14B 等。 背景：SGLang 是一个开源的大模型推理服务框架，此前已支持 GPU 和其他后端。AWS Trainium 是亚马逊自研的 AI 训练和推理芯片。2026 年 10 月，SGLang 团队曾宣布与 AWS 合作的封闭测试版，基于 TorchNeuron 将 SGLang 模型组件移植到 Trainium。v0.1.0 是首个公开版本，由 RadixArk 的 SGLang 团队与 Amazon Annapurna Labs 共同开发。 影响：开发者现在可以用熟悉的 SGLang 接口在 AWS Trainium 上部署前沿大模型，无需重写代码。插件通过 AWS Deep Learning Container 分发，容器镜像为 pytorch-inference-sglang-neuron:v0.1.0-neuron-py314-sdk-2.33.0-ubuntu26.04。支持 GPT-OSS-120B、Kimi-K3、GLM-5.2、Qwen3 等模型，以及 FLUX.1-dev、Wan2.2 等扩散模型。HiCache 功能将 evicted KV cache pages 保存在主机内存中，提升 72% 到 75% 输出吞吐量。这降低了在 AWS 上部署开源大模型的门槛。 总结：SGLang-Neuron v0.1.0 的发布填补了 SGLang 在 AWS Trainium 上的推理支持空白。通过插件架构、异步运行时、megakernel 和 PD disaggregation 等优化，该版本已在 Trainium3 上验证了 Kimi-K3、GLM-5.2 等大模型的部署。随着 AWS Deep Learning Container 的发布，开发者可以快速在 Trainium 实例上启动 SGLang 服务。未来路线图包括 recurrent-state framework、kernel-pack contract 和 Kimi-K3.1 speculative decoding。 常见问题： 问：SGLang-Neuron 支持哪些 AWS 实例？ 答：支持 Trainium2（trn2.48xlarge）和 Trainium3（trn3.48xlarge）实例，Kimi-K3 需要 Trn3 UltraServer。 问：SGLang-Neuron 是免费的吗？ 答：SGLang-Neuron 本身是开源插件，免费使用；AWS Trainium 实例按 EC2 定价收费。 参考来源： AWS Machine Learning Blog https://aws.amazon.com/blogs/machine-learning/deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron/ LMSYS Org Blog https://www.lmsys.org/blog/2026-11-12-sglang-neuron-v0.1.0 AWS News Feed https://aws-news.com/article/2026-11-12-deploy-frontier-ai-models-on-aws-trainium-with-sglang-neuron Tech & Business https://techandbusiness.org/newswire/BNN5eXqUilDSOmapRrwLov AWS Neuron Documentation https://awsdocs-neuron.readthedocs-hosted.com/en/latest/release-notes/components/sglang-plugin.html explainx.ai Blog https://explainx.ai/blog/aws-sglang-neuron-trainium-inference-dlc-november-2026