Exa嵌入吞吐提升50% 借助AWS AI芯片
时间:2026年11月18日
地点:美国 / AWS 云平台
人物:Exa 工程团队
事件详情:神经网络搜索引擎公司 Exa 宣布,其在 AWS Neuron 硬件上通过自定义 NKI 内核,将嵌入推理吞吐量提升了约 50%。具体而言,团队在 Inferentia2 和 Trainium2 上优化了 SwiGLU MLP 内核与注意力机制,消除了高带宽内存(HBM)的数据搬移开销。最终实现每 100 万文档嵌入的性能与成本分别提升 47%,支撑其内部向量数据库对数百亿网页文档的索引需求。
背景:Exa 最初在 inf2.xlarge 实例上采用数据并行 FP16 基准实现。为迁移至更优文档模型,团队需要重新嵌入 300 亿份高优先级文档,嵌入负载暂时翻倍,由此触发硬件评估。优化路径包括:权重布局对齐、编译器自动降精度、预置注意力内核、自定义融合 SwiGLU MLP 内核,以及通过裁剪填充来减少 FLOPS 开销。
影响:Exa 表示,同一套优化流程可直接迁移到 Trainium2,无需重新设计。整个优化过程采用基于 Flyte 的智能体开发工作流,每次变更都需通过 0.999 余弦相似度正确性校验,并运行 30 分钟饱和基准测试。这一案例表明,AI 基础设施的成本优化正从通用硬件转向定制化内核与编译器协同设计。
总结:Exa 在 AWS AI 芯片上实现的约 50% 吞吐提升,展示了大规模嵌入工作负载通过内核级定制可获得显著收益。47% 的性能与成本改善直接作用于百亿级文档规模,为同类语义搜索和向量数据库场景提供了可复制的优化路径。
参考来源:
AWS AI/ML 原文(AI导航转载)
https://ai-tokens.cn/news/news-71d333ab8e8f0644.html
Data Phoenix 报道
https://dataphoenix.info/news/exa-aws-neuron-embedding-optimization
The Chenab Times 报道
https://thechenabtimes.com/2026/11/19/exa-achieves-50-throughput-boost-for-web-indexing-on-aws-ai-chips/
CoFabrix 摘要
https://cofabrix.com/pulse/exa-boosts-embedding-throughput-by-50-to-index-billions-of-documents-on-2789d2091f96
InsideAI 报道
https://insideai.news/news/ai-hardware-infrastructure/exa-embedding-throughput-aws-inferentia2/15513/
开发者头条转载
https://news.coderfather.com/items/t9k2gizvg71wlr5yh1dfchge9







