Together AI发布编译器 智能体自动优化推理

时间：2026年11月4日，美国旧金山。 地点：美国旧金山，Together AI 总部；相关研究同期在 NeurIPS 2026 会议上公开报告。 人物：Together AI 研究首席高级副总裁 Dan Fu；Together AI AI 系统研究高级副总裁 Simran Arora；语音 AI 公司 Phonic 联合创始人 Moin Nadeem。 事件详情：Together AI 宣布推出 Together Compiler（简称 TKCC），一套由多个 AI 智能体协同执行的推理编译系统，直接改写其托管模型背后的 GPU 代码。官方说法是，新开源模型的推理适配从以往以周计缩短为一夜之间，客户无需额外操作即可获得更快的推理。Together Compiler 被定位为 Together AI 递归式自我改进推理路线的第一步，也是其更大规模的多态推理（Polymorphic Inference）研究议程的首个落地项目，目前已经运行在 Together AI 多个热门 serverless 端点上，客户可在限量 beta 中把它用于自有部署，自助接入即将开放。 背景：推理侧的工作负载正在快速漂移。Together AI 在发布材料中给出两个数字：OpenRouter 上 80% 的流量流向最近三个月才发布的模型，且流量排名前十的开源模型各自采用了不同架构。传统流程下，单个智能体的一次改动在推理引擎中验证最多需要 15 分钟；Together Compiler 通过最大化智能体的迭代速度，运行了比现有同类系统多 252 倍的实验，把优化周期压缩到 24 小时以内，并可立即部署到生产环境。Together AI 成立于 2022 年，官方称服务超过一百万名开发者，每日处理数以万亿计的 token。 影响：官方测试数据显示，在 Kimi K3 与 GLM 5.3 上，Together Compiler 达到的峰值吞吐分别比 SemiAnalysis 开源推理基准 InferenceX 上的最好成绩高 1.5 倍和 1.4 倍；在 Llama 1B 上，它达到每秒 2100 token 以上，最高为手写 megakernel 的 1.7 倍速度，并在 NVIDIA H100 与 B200 上各个输出长度档位都是最快的。单模型速度方面，MiniMax M3.1 Flash 在 NVIDIA B200 上达到每秒 1111 token，为基线的 1.8 倍；DeepSeek v4.1 Flash 在 NVIDIA GB300 上达到每秒 1205 token，为基线的 1.3 倍。客户侧，语音 AI 公司 Phonic 联合创始人 Moin Nadeem 称，引入 Together Compiler 后其中位首语音延迟下降近 50%，且整个优化过程在一夜之间完成。 总结：Together AI 把让 AI 改写 AI 推理底层 GPU 代码这件事从研究演示推进到了产品化。对国内团队而言，它的直接意义在于，新开源模型发布后，推理服务方不再需要为每一个新架构手工重写并调优内核，模型从发布到可用速度之间的窗口被进一步压缩；对模型厂商而言，谁先把这套自动编译能力接进自己的推理栈，谁就能更早拿到吞吐优势。Together AI 研究负责人 Dan Fu 表示，当前多数推理只用了 GPU 能力的一小部分，而每出现一个新模型或新芯片，这个缺口就会重新拉开。 常见问题： 问：Together AI 是什么公司？ 答：成立于 2022 年的 AI 原生云厂商，主要提供开源模型的推理服务，官方称服务超过一百万名开发者。 问：AI 推理优化是什么？ 答：就是让 GPU 更高效地跑模型、缩短延迟、提升吞吐。Together Compiler 的做法是让 AI 智能体直接改写 GPU 底层代码，并自动验证后上线。 参考来源： Together AI 官方博客：Together Compiler 面向 AI 推理的持续编译 https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference Together AI 官方博客：Polymorphic Inference 面向开源模型的自调优推理 https://www.together.ai/blog/polymorphic-inference Together AI 官方项目页：Polymorphic Inference 与 Together Compiler https://www.together.ai/polymorphic-inference Business Wire 官方新闻稿（经 FinancialContent 发布）：Together AI 发布 Together Compiler https://www.financialcontent.com/article/bizwire-2026-11-4-together-ai-launches-together-compiler-for-continual-optimization-of-open-source-ai-models Yahoo Tech 报道：Together 为开源模型带来递归式自我改进 https://tech.yahoo.com/ai/articles/together-brings-recursive-self-improvement-130000954.html Blockchain News 报道：Together AI 推出 Polymorphic Inference 与 Together Compiler https://blockchain.news/PostAMP?id=together-ai-polymorphic-inference-compiler NeurIPS 2026 官方议程：Together Compiler 的智能体内核与模型优化报告 https://neurips.cc/virtual/2026/loc/sydney/180202 AI Pulse 报道：Polymorphic Inference 自调优推理 https://cofabrix.com/pulse/polymorphic-inference-self-tuning-inference-for-open-models-6a1e9721ad42