飞翔的智能体
@nengpao
比Jev快50倍是什么体验？本地跑laya-mlx原地起飞！
这种意图决策模型最大的瓶颈就是网络延迟，而Laya是一个开源的、基于文本输出概率的分类系统。开源社区已经有人将其移植到了Apple MLX框架，并进行了深度性能优化。
我用M2 Pro实测，仅占用1G内存，每秒60次的决策速度玩转贪吃蛇，丝滑得不行。
Laya的核心思路是：把意图决策完全放在本地执行，不依赖云端API。这样做的好处很明显——零延迟、零成本、完全离线可用。对于需要实时响应的Agent应用来说，这个方案很实用。
实际测试下来，处理速度比传统方案快了一个数量级。以前需要几百毫秒才能完成的决策，现在十几毫秒就能搞定。这对于游戏AI、智能家居控制、实时交互等场景来说，是个很实用的工具。
不过目前这个方案还比较早期，模型的准确率和覆盖范围还有提升空间。如果你对本地意图决策感兴趣，可以看看这个项目。
项目地址：github.com/lonely-mh/laya…
话题来源 @Lonely__MH
❤️123 x.com/…↗ 已改写，非原文转载
27 浏览 0 评论
0 反应
