STROT

产品简介 STROT（Self-Routing Targeted Optimized Translator）是一款面向企业批处理场景的"决策编译器"，把"用 LLM 分类/打分/路由"这件事从运行时搬到编译时：开发者先用一次 LLM 编译意图，得到一个可冻结、可审计、低成本运行的本地决策工件，之后每条记录都通过该工件在自有硬件上以毫秒级速度给出决策，且不再调用任何 LLM。项目源自 arXiv:2505.01636，对外以 MIT 协议开源。

核心功能

• run() 路由：根据编译出的工件，对每条记录路由到对应 action handler，并执行对应处理逻辑。
• decide() 类型化决策：支持 boolean / score / choice 三种结构化问答，每条记录附带概率与置信度。
• 编译一次、决策无限：内容寻址的工件缓存，schema 变更才触发重新编译，避免重复 LLM 调用。
• 金标闸门：工件必须先通过开发者提供的"已知答案"才允许上线，保证上线就稳。
• 置信度闸门 + 弃答：温度缩放 + 分裂共形预测烘焙进模型，低置信度自动弃答而非猜测。
• 结构化零幻觉：运行时只做"选择 + 计算"，不生成任何文本，杜绝结构性幻觉。

特色优势 STROT 用 1.44 亿参数的小模型（默认 SupersonicLabs/Julia-1）在 CPU 上做到约 60ms/决策、$0 调用成本，相比"直接调 LLM 做分类"显著降低边际成本；同时官方公开的 benchmark 显示同样的本地模型，编译后路由准确率比 naive 提升 +18pp（92.5% vs 74.8%）、语义文本分类提升 +14pp。

应用场景

• 客服工单分诊：自动把工单路由到 billing_dispute、technical_defect 等具体处理流。
• 内容审核 / UGC 路由：对帖子按类型、情感、紧急度做毫秒级分流。
• 金融文本打标：研报情绪评分、合规字段提取、自动化结构化要素。
• 批量 ETL 流水线：在每条记录上挂同一套"业务规则 + 模型"的复合判断器。

适用人群

• 每天处理百万级记录、要让 LLM 决策降本增效的数据 / AI 工程团队
• 对结构化输出、可解释决策有强需求的金融、合规、客服平台
• 对模型可控性、可审计性、可离线部署有要求的私有化部署客户

出品方与开源信息 项目作者署名为 strot-ai，仓库 strot-ai/Project-STROT，已发 PyPI 包 strot-ai（MIT 协议）。默认决策模型使用 SupersonicLabs/Julia-1（Apache-2.0）。

快速上手

pip install strot-ai[local] import strot result = strot.run(records, query="...", action_registry={...}, llm="anthropic/claude-opus-4-8") for o in result.outcomes: print(o["action"], round(o["confidence"], 2))

官网链接 https://github.com/strot-ai/Project-STROT