Newt

运行在 Apple Silicon Mac 上的 Swift 包

LLM大模型 部分免费

Newt 是一个运行在 Apple Silicon Mac 上的 Swift 包,通过 Apple Core AI 框架调用本地语言模型,实现对一段文本的多选题、评分题和是非题自动作答,并为每个选项返回概率值。该项目的设计灵感来自 TypeSafe 推出的 Jev框架,二者思路类似但实现不同。Newt 的核心使用场景是将用户自然语言输入分拣到正确的处理类别,例如将客户咨询路由至退货处理、快递查询或账单结算等不同部门。在测试中,对于明确的问题 Newt 能够给出极高置信度的答案;对于表述模糊的问题,最终结果可能受到提问方式的影响。项目在 Qwen3-4B 模型上的测试显示,单次推理耗时约 8 至 12 秒(首次加载需要 Core AI 对模型进行 specialization 并缓存结果),后续加载约 1 秒。开发者需要导出约 2.1 GB 的模型文件到本地,Newt 从指定目录加载而非直接引用 .aimodel 文件。Newt 将其输出的数值视为排序依据而非绝对概率阈值,适合需要对多个候选进行排序而非严格分类的场景。开发者可通过 Swift Package Manager 将 Newt 集成到 macOS 应用中,导入后只需数行代码即可完成一次分类决策。该项目的命名延续了 TypeSafe 的传统,以科学家名字命名:TypeSafe 的模型叫 Jev(威廉·斯坦利·杰文斯),Newt 则以艾萨克·牛顿命名。Newt 要求 macOS 27 及以上版本和 Xcode 27,因为 Core AI 框架在该版本首次引入,且项目依赖 coreai-models 包的特殊提交版本以确保与 Xcode 27 的兼容性。

团队信息

由 AI 猎手自动发现

评论与建议

0 条评论