jev-align

jev-align 是由 Sutro 团队开发的实验性命令行工具，用于基于人类反馈构建可迭代校准的 AI 分类器函数。项目利用 TypeSafe AI 的 Jev 框架作为底层 AI 函数评估引擎，并引入 GEPA（一种从人类反馈中学习的校准方法）来持续改进分类器的判断准确度。用户通过命令行标注不确定的样本，系统自动积累标注数据并驱动 GEPA 优化分类器定义，使 AI 函数在真实应用场景中越用越准确。

核心功能

主动学习标注流程：系统自动从数据集中筛选出判定不确定性最高的样本优先推送给用户标注，避免盲目标注全量数据，显著提升标注效率。每次标注都会实时影响下一轮分类器的参数更新。

多任务类型支持：支持二分类（是/否）、多分类（单标签固定类别）、多标签分类（零个或多个标签）以及评分任务（按有序量表打出一个级别），覆盖大多数实际分类需求场景。

GEPA 校准引擎：每轮标注结束后，GEPA 根据用户累积的标注结果和可选的理由说明，自动计算新的分类器参数并展示分数、置信度变化和定义差异，用户可接受、拒绝或回滚修改，完全掌控训练方向。

生产环境持续学习：训练好的 AI 函数可通过 jev-align Python 包加载到业务代码中，开启 capture 模式后自动收集有价值的生产样本，用于后续的持续标注与模型迭代。

多 AI 后端路由：通过 Vercel AI Gateway、Cloudflare Workers AI 或本地 vLLM 等多后端运行 Jev 函数，支持 OpenAI、Anthropic、Gemini 以及任何 LiteLLM 兼容模型作为反射模型，灵活性高。

技术实现

jev-align 由 Python 编写，要求 Python 3.11 及以上版本。核心技术架构分为两层：Jev 层负责对数据集样本进行不确定性评估并调用 AI 模型判断；GEPA 层负责根据人类标注结果计算分类器参数更新并呈现差异建议。项目使用 uv 作为包管理工具，安装命令为 uv tool install jev-align，也可通过 pip 直接安装。

引导式设置流程会自动探测本地 CSV、Parquet 和 JSONL 数据文件，并提供三个开箱即用的训练示例。数据管道支持指定列进行拼接或独立使用，默认取前 1000 行作为候选池，可通过 --pool-size 参数调整。

高级配置选项包括每轮标注数量（5/10/15/20）、可选的 20% 评估集拆分、GEPA 元调用预算控制等，满足不同规模和精度要求的训练场景。

快速上手

第一步：安装依赖 使用 uv 安装 jev-align 并配置 API 密钥（TypeSafe API Key 或 OpenAI/Anthropic/Gemini Key）：

uv tool install jev-align export TYPESAFE_API_KEY="..." export OPENAI_API_KEY="..." jeva

第二步：准备数据文件 将待分类数据整理为 CSV、Parquet 或 JSONL 格式，放置于本地目录。

第三步：启动引导式训练 运行 jeva 启动交互式菜单，选择数据文件、设定分类问题、配置标注数量，系统即进入主动学习循环。

第四步：加载到生产代码 训练完成后，通过 Python 包加载 AI 函数并开启 capture 模式，系统自动收集真实场景中需要关注的样本，供后续继续标注和迭代优化。

适用人群

AI 应用开发者、数据工程师、NLP 产品经理，以及需要在业务系统中构建高质量分类器且重视模型可解释性与人工可控性的技术团队。Jev-align 特别适合标签定义需要随着业务认知不断细化的场景，如内容审核、意图识别、情感分析等领域。

开源协议

MIT 许可证，由 Sutro 团队独立开发和维护，与 TypeSafe AI 无隶属关系。