胡辣汤爱酸菜
@yuanwen
你有没有想过，家里那些吃灰的旧手机、旧平板、旧电脑，其实可以组起来跑大模型？
有个开源项目做到了这一点。它把你所有设备的算力统一成一块虚拟GPU，iPhone、iPad、Mac、树莓派，只要接在同一个局域网里就行。
不用手动配置，自动发现节点，P2P直连，所有推理都在本地跑。
它会根据每台设备的实时性能和网络状况决定怎么切分模型，确保整体推理速度达到最优。
有人实测用4台M3 Ultra Mac Studio跑起了DeepSeek v3.1 671B，支持RDMA over Thunderbolt 5之后多机延迟降了99%。
我昨天用这个项目把家里两台旧iPhone和一台iPad组起来跑了个7B模型，虽然速度比不上专业显卡，但用来做一些轻量级的推理任务完全够用。关键是这些设备本来就在吃灰，现在总算派上用场了。
和那些需要买昂贵显卡的方案不同，这个项目的核心思路是"废物利用"。你不需要额外花钱买硬件，只需要把现有的设备连起来就行。
对于想在本地跑大模型但预算有限的开发者来说，这个方案值得试试。特别是家里有闲置苹果设备的，M系列芯片的性能其实很强，只是平时没被充分利用。
项目地址：github.com/ai-distributed…
话题来源 @axichuhai
❤️227 x.com/…↗ 已改写，非原文转载
21 浏览 0 评论
0 反应
