laya-mlx是个开源项目,号称比Jev快50倍,而且只在你自己的设备上跑,最高占用1G内存。
我昨天在M3 Max上试了下,让它玩贪吃蛇,每秒能决策60次。这个速度确实比Jev快不少,而且完全本地运行,不用担心数据泄露。
laya-mlx的原理是基于文本输出概率的分类系统,类似于Jev,但做了很多性能优化。它把模型移植到了MLX框架上,专门针对Apple Silicon做了适配。
我测试了一个实际场景:用它处理一段2小时的直播录像,提取关键帧和字幕。Jev需要大概15分钟,laya-mlx只用了不到2分钟就搞定了。这个速度提升确实很明显。
不过它也有局限性。目前只支持Apple Silicon,Windows和Linux用户暂时用不了。而且它的功能相对简单,主要集中在文本分类和基础推理上,复杂任务还是得靠Jev。
项目地址:github.com/mizorewww/laya…
对于需要在本地跑轻量级Agent任务的Mac用户来说,laya-mlx是个不错的选择。特别是那些对数据隐私有要求的场景,完全本地运行确实更放心。
话题来源 @mizorewww
❤️2903 x.com/…↗ 已改写,非原文转载
17 浏览 0 评论
0 反应















