laya-mlx是个开源的文本分类系统,号称比Jev快50倍,而且只在你的设备上占用最高1G内存。
这个项目的核心思路是基于文本输出概率做分类,类似Jev但更轻量。作者把它移植到了MLX框架上,做了性能优化,在M3 Max上跑贪吃蛇能达到每秒决策60次。
我昨天在本地M3 Max上试了一下,确实很快。以前用Jev做分类任务,响应时间大概在几百毫秒级别,laya-mlx直接干到了个位数毫秒。这个速度差距不是一点半点。
具体来说,laya-mlx适合做几类任务。文本分类,比如给用户评论打标签、判断邮件是否是垃圾邮件。意图识别,比如做一个简单的聊天机器人,理解用户想干什么。还有快速筛选,比如从大量文本中快速找出包含特定信息的内容。
项目地址:github.com/mizorewww/laya…
我有个做AI应用开发的朋友,他之前一直用Jev做分类任务,速度勉强能用但总感觉不够快。换了laya-mlx之后,同样的任务响应速度直接快了50倍。他说现在终于可以做实时分类应用了,不用再等半天。
这个技术突破的意义在于,如果本地分类系统足够快,很多轻量级AI应用不一定非要调云端API。一部分负载会从云端API回流到本地,这对数据隐私和成本控制都是好消息。
不过要注意的是,laya-mlx目前主要支持Apple芯片,如果你用的是Intel Mac或者Windows,暂时还用不了。另外,这个项目还比较新,稳定性和功能丰富度还需要时间验证。
话题来源 @mizorewww
350.5K阅读 ❤️3833 x.com/…↗ 已改写,非原文转载
24 浏览 0 评论
0 反应















