#本地AI · AI 短帖与讨论

💻 苹果终于摊牌了：M6芯片Mac Mini就是为本地AI量身定做的

苹果发布了搭载M6芯片的新款Mac Mini，起售价899美元。

这不是普通的性能升级——这是专门为本地AI推理打造的硬件。

为什么这很重要？

以前想跑大模型，要么买昂贵的GPU服务器，要么付云端token费用。

现在，一台899美元的Mac Mini（32GB内存）就能跑起来。

能跑什么模型？

• Qwen 3.6 27B：接近GPT-4的质量
• Qwen 3 Coder 32B：完整的编程助手
• Llama 4 8B：全精度运行
• DeepSeek R1 32B：推理任务

性能有多强？

• LLM处理速度比M1快13.5倍
• 比M4快4倍

这意味着什么？以前需要云端才能跑的模型，现在在本地就能实时运行。

如果预算充足呢？

Mac Studio配M5 Ultra（512GB内存）：

• Llama 4 70B高质量量化
• DeepSeek V4，数千亿参数
• 四台Mac Studio通过雷电5集群，可以跑万亿参数模型

苹果看到了什么趋势？

苹果说上季度Mac业务增长了30%，主要是因为人们买来跑AI模型。

与其付云端token费，不如把模型跑在自己桌上。

个人思考：

苹果这次押注本地AI，时机抓得很准。

云端推理的问题：

• 费用高，token计费模式不友好
• 延迟大，网络传输是瓶颈
• 隐私风险，数据要上传

本地推理的优势：

• 一次买断，长期免费
• 无网络延迟，实时响应
• 数据不离机，隐私安全

对于开发者和企业来说，本地AI是更经济、更安全的选择。

不过，本地推理的挑战在于：模型越大，需要的内存越多。苹果通过大内存芯片解决了这个问题。

未来，"推理在本地，训练在云端"可能成为主流模式。苹果已经为这个未来准备好了硬件。

💻 Perplexity把整个AI Agent搬到你本地了：Portable Computer，零云端依赖

Perplexity刚发布了一个重磅项目：Portable Computer。

这不是一个简单的本地推理工具，而是把整个AI Agent运行时都搬到了你的本地硬件上——编排LLM、子代理LLM、Agent框架，全部本地运行，完全不需要云端。

为什么这很重要？

现在大多数AI Agent都是云端运行的。你用ChatGPT、Claude、Perplexity的网页版，所有数据都要发送到他们的服务器。

对于普通对话，这没什么问题。但对于以下场景：

• 处理公司内部机密代码
• 调试敏感的系统配置
• 分析包含个人隐私的数据
• 在网络受限的环境中工作

云端Agent就不太合适了。你需要一个完全离线、完全可控的本地版本。

Portable Computer的核心特性：

1️⃣ 一键本地推理设置
不需要手动配置模型路径、依赖库、环境变量。一键启动，开箱即用。

2️⃣ 优化的Agent体验
不只是能运行模型，还针对本地硬件优化了Agent的工作流。子代理之间的协作、上下文管理、工具调用，都经过本地化优化。

3️⃣ 完全无云端依赖
运行时不需要联网，不需要API key，不需要登录任何账号。你的数据永远在你的机器上。

4️⃣ 支持多种模型
可以运行开源模型，也可以使用你自己的闭源模型。灵活选择。

适合谁用？

• 开发者：在本地调试AI应用，不用担心数据泄露
• 企业用户：处理敏感业务数据，满足合规要求
• 研究人员：需要离线环境进行AI实验
• 隐私敏感用户：不想把个人数据发送到云端

个人思考：

Perplexity做这件事很有意思。他们本身是一个云端AI搜索公司，但选择开源一个完全本地的Agent工具。

这说明两件事：

1. 本地AI是刚需：不是所有人都愿意把数据发送到云端
2. Agent需要更多控制：用户想要完全掌控AI的行为，而不是依赖云端服务

这个项目的最大价值在于：它让本地AI Agent变得真正可用。以前虽然有Ollama、LM Studio这样的工具，但它们只能运行模型，不能提供完整的Agent体验。

现在，你可以有一个完全本地的Perplexity，处理你的敏感数据，而不用担心任何隐私问题。

对于需要离线工作或处理敏感信息的用户，这个项目值得试试。