别再买昂贵的显卡了，这个项目把手头闲置的手机、平板、电脑组成一个AI计算集群，在…

别再买昂贵的显卡了，这个项目把手头闲置的手机、平板、电脑组成一个AI计算集群，在GitHub已斩获4w+star。 它把你所有设备的算力统一成一块虚拟GPU，iPhone、iPad、Mac、树莓派，只要接在同一个局域网里就行。不用手动配置，自动发现节点，p2p直连，所有推理都在本地跑。 我有个做AI开发的朋友，他之前一直想搭建一个本地推理集群，但成本太高，一直没搞成。看到这个项目后，他说终于找到了一个可行的方案。 这个项目会根据每台设备的实时性能和网络状况决定怎么切分模型，确保整体推理速度达到最优。有人实测用4台M3 Ultra Mac Studio跑起了DeepSeek v3.1 671B，支持RDMA over Thunderbolt 5之后多机延迟降了99%。 这个案例挺有意思的，它说明了分布式计算的价值。很多人可能觉得AI推理需要昂贵的硬件，但实际上用闲置设备也能实现类似的功能。 如果你也有闲置的设备，可以试试这个项目。特别是那些对本地推理有要求的场景，用这个工具可能是个不错的选择。