Magnitude 今日发布

Magnitude — 本地大模型推理服务器，让 AI 助手跑在你自己电脑上

产品简介

Magnitude 是一个开源本地大模型推理服务器，专为 AI 编程助手设计。它能自动检测你的硬件配置（CPU、内存、带宽），推荐最适合的本地模型，下载并优化运行，让你现有的 AI 助手（Claude Code、Codex、Cursor、Windsurf 等）无需联网、零费用、完全私密地运行本地大模型。项目采用 Apache 2.0 开源许可证。

核心功能

硬件感知模型推荐

Magnitude 在首次启动时会对你的机器进行全面性能评测，分析芯片类型、内存大小和网络带宽，然后从模型库中筛选出最适合你硬件配置的模型组合，给出预估的每秒 token 生成速度。这解决了让 AI 助手自己配置 Ollama 时「不知道该选哪个量化版本、不知道能跑多快」的核心痛点。

零成本离线推理

所有模型推理完全在本地运行，没有任何 API 调用费用，没有速率限制，没有数据离开你的机器。适合对数据隐私有严格要求的团队和个人开发者，也适合希望控制 AI 成本的独立开发者和小型工作室。

即插即用的主流 Agent 集成

支持 Pi、OpenCode、Nous Hermes Agent、OpenClaw、Codex、Claude Code、Oh My Pi、Cline 等主流 AI 编程框架。安装后只需一条命令即可将你现有的 AI 助手接入本地模型，无需修改任何代码。

按需加载与智能内存管理

模型在 AI 助手需要时才加载到内存，当空闲或内存紧张时自动卸载。整个过程无需人工干预，推理服务器在后台静默运行，不干扰正常开发工作。

端到端推理优化

内置推测解码（Speculative Decoding）和并发优化，针对 AI 编程助手的工作负载模式进行了专门调优，而非简单套用通用推理配置。

特色优势

• 完全免费：无 Token 费用、无 API Key、无账户注册
• 完全私密：所有 Prompt、对话内容和项目文件均留在本地
• 零配置入门：一条命令触发引导流程，AI 助手自动带你完成全部设置
• 多框架兼容：同时支持 Claude Code、Codex、Cursor、Cline 等主流 AI 编程工具
• 开源透明：Apache 2.0 许可证，可自由修改和分发

应用场景

• 隐私敏感项目：代码涉及商业机密或敏感数据，不希望任何内容经过第三方服务器
• 成本控制：个人开发者或小团队希望零成本使用大模型能力进行代码辅助
• 离线开发环境：网络受限或需要在内网环境中使用 AI 编程助手
• 硬件探索：想在自己电脑上实验不同大模型效果，但不想花时间研究模型量化配置

适用人群

• 对代码隐私有高度要求的开发者（金融、医疗、法律等合规行业）
• 希望降低 AI 编程工具使用成本的独立开发者和学生群体
• 在受限网络环境（内网/离线）工作的工程师
• AI 编程工具爱好者，想探索本地模型与云端模型不同表现的技术玩家

出品方

Magnitude 开源社区，Apache 2.0 许可证。

更新动态

持续更新中，支持的 Agent 框架列表和模型优化选项随社区贡献不断扩充。

官网链接

• 官网：https://magnitude.dev
• GitHub：项目地址通过官网引导