231个赞,1.8万次浏览,这条推文在AI圈炸了。
有个项目把手头闲置的手机、平板、电脑组成一个AI计算集群,在GitHub已经斩获4万+ Star。它把你所有设备的算力统一成一块虚拟GPU,iPhone、iPad、Mac、树莓派,只要接在同一个局域网里就行。
我有个做AI研究的朋友,他之前一直用传统云服务来跑模型,但成本太高,经常被账单吓到。看到这个项目后,他说终于找到了一个既保留AI计算核心功能,又增加了一些本地化元素的方案。
这个项目的核心亮点是"零配置"——不需要手动配置,自动发现节点,P2P直连,所有推理都在本地跑。对于AI研究团队来说,这意味着可以大幅降低推理成本,而不是被繁琐的手动配置所限制。
从技术角度看,这个项目的架构设计挺有意思的。它会根据每台设备的实时性能和网络状况决定怎么切分模型,确保整体推理速度达到最优。有人实测用4台M3 Ultra Mac Studio跑起了DeepSeek v3.1 671B,支持RDMA over Thunderbolt 5之后多机延迟降了99%。
这个案例挺有意思的,它说明了AI在分布式计算领域的进步。很多人可能觉得分布式计算需要复杂的配置和专业的知识,但实际上用简单的工具也能实现不错的效果。
如果你也有闲置设备,可以试试这个项目。特别是那些对推理成本有要求的场景,用这个工具可能是个不错的选择。
21 浏览 0 评论
0 反应













