OAK

端侧 AI Agent 内核,100% 本地运行

AI Agent 部分免费

是什么

OAK(Open Agent Kernel)是一个面向 AI Agent 的开源端侧内核,主打 100% 设备本地运行、无云端依赖、无网络延迟、无数据泄露。被称为「AI Agent 领域的 Linux 内核」。

核心特性

亚毫秒级响应:80% 请求通过模式匹配在微秒级解决,无需 LLM 推理;典型延迟 87ms(高通 NPU)。

混合推理架构:deterministic first——先尝试确定性模式匹配,20% 需要推理的请求才调用本地 LLM。

NPU 优化:高通 QNN 后端,CPU 开发、QNN 部署,相同代码,14 倍加速,功耗降至 1/3.5。

Formal Plan Verification:执行计划前用 CTL* 模型检查进行安全验证,防止有问题的计划被执行。

Agent Mesh Protocol:零配置多设备协同,CRDT 状态同步,意图自动路由到最合适的设备(手机/车/电脑)。

崩溃恢复(WAL):行业首创崩溃状态处理——UNKNOWN 状态诚实告知用户「不确定是否成功」,而非盲目重试(重复扣费)或忽略(丢失数据)。

持续端侧学习:设备上的 QLoRA 微调 + 差分隐私(DP-SGD),每次修正让模型更聪明,数据永不离开设备。

架构设计

Preprocessing → Route Decision(80% 确定性 / 20% 推理)→ Skill Engine (0.02ms) / LLM Inference (87ms NPU) → DAG Orchestrator → Response

支持硬件

  • 开发:Mac/Linux/Windows(llama.cpp CPU 推理,~1200ms)
  • 量产:高通 SA8155P/SA8295P/SA8650P/SA8775P(QNN NPU,~70-87ms,2.3W)

技术规格

  • 语言:TypeScript/Node.js
  • 许可证:Apache 2.0
  • 安装:npm install -g @sparx/cli
  • 一句话安装:sparx init my-agent && sparx pull qwen2.5-0.5b-instruct && sparx run

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论