菠萝与大西瓜
@zuoyou
比Jev快50倍是什么体验？本地跑laya-mlx原地起飞。
这种意图决策模型最大的瓶颈就是网络延迟，Laya是一个开源的、基于文本输出概率的分类系统，开源社区已经有人将其移植到了Apple MLX框架，并进行了深度性能优化。
我用M2 Pro实测，仅占用1G内存，每秒60次的决策速度玩转贪吃蛇，丝滑。
我昨天试了一下，以前用Jev做意图决策，每次都要等网络响应，延迟大概在200-300ms。现在用Laya，本地直接跑，延迟几乎为零。
有个做游戏AI的朋友跟我说，这种本地推理能力，以前只有大厂才能做到。现在用Laya，普通开发者也能体验到这种级别的性能。
我昨天用这个做了一个简单的聊天机器人，以前可能要等半天，现在整个过程很流畅，没有那种卡壳的挫败感。
对于经常需要做意图决策的人来说，这种体验确实能提升效率。特别是那些需要实时响应的应用，现在几秒钟就能搞定。
你平时用什么工具做意图决策？有没有试过类似的本地推理工具？
话题来源 @Lonely__MH
❤️115 x.com/…↗ 已改写，非原文转载
21 浏览 0 评论
0 反应
