SIE 今日发布

SIE：开源 AI 推理引擎，让智能体调用模型零依赖

产品简介

SIE（Superlinked Inference Engine）是由 Superlinked 团队打造的开源推理引擎，专门解决 AI 代理（Agent）调用多种模型的难题。

传统的 AI 推理架构需要为每个模型单独部署服务——做文本嵌入部署一套、做重排序部署一套、做实体抽取再部署一套。这种烟囱式架构导致资源利用率低、运维复杂、跨模型调用成本高昂。SIE 将这一切简化为一个统一接口：100+ 种模型（嵌入、重排序、抽取、生成等）共享同一个 GPU 集群，按需加载，动态调度。

核心功能

• Encode（向量化）：将文本或图像转为语义向量，支持语义搜索和 RAG 检索，支持 bge-m3、splade-v3、colbertv2、qwen3-reranker 等 100+ 嵌入模型。
• Score（重排序）：对查询-文档对进行精排，提升检索精度，支持 MTEB 基准测试中的主流重排模型。
• Extract（实体抽取）：从非结构化文本中提取结构化实体，支持 gliner2、nuner-zero、qwen3.6-27b 等抽取模型。
• Generate（生成）：在自有基础设施上运行开源 LLM 生成任务，无需依赖第三方 API。
• OpenAI 兼容 API：提供 /v1/embeddings、/v1/chat/completions、/v1/completions 等接口，零改动接入现有应用。
• 多模型 GPU 共享：多个模型共享同一 GPU，通过 LRU 策略动态管理显存，一张 L4（24GB）可同时保持 2~3 个模型热启动。
• Kubernetes 弹性伸缩：内置 KEDA 自动伸缩策略，支持 Helm 一键部署，对接 Grafana 监控。

特色优势

• 节省成本：实测帮助用户将 API 调用成本降低 50 倍，GPU 利用率提升数倍。
• 完全自托管：提示词和文档永不离开你的云环境，满足数据主权和安全合规要求。
• 模型即资产：内置 100+ 模型目录，每种模型均经过质量和延迟基准测试，可在部署前对比评估。
• 开箱即用：一条 Docker 命令即可本地启动，Helm Chart 一键上生产，无需修改任何代码。
• 框架集成：官方支持 LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDB 等主流框架。
• 开源透明：Apache 2.0 协议，核心推理引擎免费使用，无供应商锁定。

应用场景

• RAG 知识库：结合向量数据库构建私有知识问答系统，SIE 提供 Embedding + Reranking 全链路推理。
• 文档智能处理：PDF、Office 文档、扫描件自动转 Markdown，结构化提取关键信息。
• Agent 推理基础设施：为 AI 代理提供搜索、抽取、生成等原子能力，无需维护多个模型服务。
• 企业私有化部署：金融、医疗、法律等敏感行业，数据不出本地，模型推理全自控。

适用人群

• AI 应用开发者：需要快速集成多种 AI 能力的工程师。
• 企业 AI 团队：关注数据安全、期望私有化部署的机构。
• 研究人员：需要对比评估多种嵌入/重排模型效果。
• 独立开发者/初创公司：预算有限但希望获得高质量推理能力的团队。

出品方

Superlinked 是一家专注于向量计算和开源 AI 基础设施的科技公司，已获得 Index Ventures、Theory Ventures、Samsung Next 等超过 1200 万美元融资，团队成员来自 Google、Mastercard 等知名企业。

更新动态

SIE 持续活跃更新，支持模型列表已扩展至 100+（截至 2026 年 8 月），新增 Generate 原语支持本地 LLM 调用，并优化了多模型 GPU 共享调度策略。

官网链接

• 产品官网：https://superlinked.com
• 文档中心：https://docs.superlinked.com
• GitHub 仓库：https://github.com/superlinked/sie
• 模型目录：https://superlinked.com/models