Magnitude

产品简介

Magnitude 是一个开源的本地大模型推理服务器，专为 AI 编码助手设计，可以让 Claude Code、Codex、Cline、OpenCode、Pi、Oh My Pi 等主流 AI 编程工具免费、私密地运行本地大语言模型。它自动检测你的硬件配置（芯片、内存、带宽），推荐最适合的模型并自动完成下载、调优和运行，无需手动配置。

Magnitude 的核心理念是：让 AI 编程工具使用本地模型，消除 API 费用、隐私顾虑和网络依赖，同时保持良好的推理速度和模型质量。

核心能力

硬件感知模型推荐：Magnitude 会自动检测你的机器配置（CPU/GPU 型号、内存大小、带宽），然后推荐在当前硬件上运行效果最好的本地模型，并给出预估的 tokens/秒速度。

一键式 Agent 引导安装：发送一条指令，AI 助手即可引导你完成整个安装流程，包括模型下载、配置文件写入和推理服务启动。整个过程无需用户手动查文档。

多 Agent 平台兼容：支持 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline 等主流 AI 编码工具，连接后 Agent 自动切换到本地模型。

推理质量优化：内置投机解码（Speculative Decoding）、并发优化等企业级推理技术，针对 AI 编程工作负载进行了专项调优。

按需加载与释放：模型根据请求按需加载，空闲或内存紧张时自动卸载，不占用系统资源。

完全离线可用：模型和提示词全程留在本地，一旦下载完成，无需网络连接即可运行。

开源可定制：采用 Apache 2.0 许可证，代码完全开源，开发者可以自由修改和二次开发。

安装配置

方式一：通过 Agent 引导安装（最简单，推荐）

将以下指令发送给 AI 编程助手，让它自动引导完成整个安装过程：

Set up local models for me with the Magnitude CLI. Install it with npm i -g @magnitudedev/cli, then run magnitude docs onboarding and follow the instructions.

方式二：手动通过 npm 安装

npm i -g @magnitudedev/cli
magnitude setup

交互式安装程序会引导你浏览推荐模型列表并选择要安装的模型。

方式三：离线安装自定义模型

可以从 Hugging Face 下载兼容的 GGUF 格式模型，在 Magnitude 中使用，参考官方文档：https://docs.magnitude.dev/models

使用步骤

第一步：安装 Magnitude CLI

通过 npm 全局安装 Magnitude 命令行工具，或让 AI 助手自动完成这一步。

第二步：运行引导式设置

执行 magnitude docs onboarding 或 magnitude setup，让工具检测你的硬件并推荐适合的模型。

第三步：选择并下载模型

根据推荐列表选择你想安装的模型，Magnitude 会自动下载并完成调优。

第四步：将 Agent 连接到 Magnitude

在 AI 编码助手中配置连接到本地 Magnitude 推理服务器，Agent 会自动使用本地模型处理编程任务。

适用场景

隐私敏感的开发环境：代码涉及商业机密、专有算法或个人隐私数据，不希望这些内容通过 API 发送到第三方服务器。

控制 API 成本：团队或个人的 AI 编程使用量较大，API 费用累积显著，使用本地模型可以消除这部分成本。

网络受限或离线开发：在飞机上、网络受限的企业环境或偏远地区开发，需要 AI 辅助但无法访问外部 API。

探索和研究本地模型：研究人员和学生希望研究大语言模型在编程任务中的表现，或尝试不同的模型调优方案。

适用人群

个人开发者：希望降低 AI 编程工具使用成本，同时保护代码隐私的独立开发者。

企业安全团队：对代码安全有严格要求，不允许源代码通过 API 发送至第三方服务器的企业开发团队。

AI 研究者：研究本地大语言模型在代码生成任务中的能力边界和性能表现的学生和研究人员。

技术爱好者：对本地部署 AI 模型感兴趣，希望在个人设备上运行开源大语言模型的技术爱好者。

工作原理

Magnitude 扮演本地推理服务器的角色，通过标准化接口与 AI 编码助手通信。它首先检测目标机器的硬件配置（CPU/GPU 型号、内存大小等），然后从模型目录中筛选出在该硬件上表现最优的本地大语言模型（以 GGUF 格式存储），自动完成模型的下载和参数调优。推理时，Magnitude 将 AI 助手的提示词在本地模型上执行推理，并将结果返回给 Agent。模型采用按需加载机制，推理完成后根据内存状况自动释放，确保不占用过多系统资源。

官方链接

GitHub 仓库：https://github.com/magnitudedev/magnitude

官方文档：https://docs.magnitude.dev

Discord 社区：https://discord.gg/EHt48pPWdC

npm 包：https://www.npmjs.com/package/@magnitudedev/cli