jolestar用Jev处理Holon调度语义判断

做Agent开发的人应该都遇到过这个问题:Agent收到一个输入后,系统很难只靠静态规则判断该怎么处理。 比如一个GitHub event来了,应该插入当前turn还是进入队列?它和哪个工作项有关?Agent处于sleep状态时,是否应该被唤醒?一个已经过期的后台任务结果,是否可以直接丢弃? 这些问题本质上不是普通的状态机判断,而是语义判断。每次都调用一次LLM,成本和延迟又太高。 jolestar最近在重构Holon的调度系统时,尝试用Jev这种专门做小决策的模型来处理这些判断。效果比预期好,准备重新启动这个方案。 他之前试过自己训练分类器来处理这些判断,但训练结果不太理想,模型有点保守,为了避免出错不下结论。也可能是数据量太小,于是最后作罢,只留了一个hook,没有真正实现。 Jev这种模型刚好适合放在这里:成本低、延迟小、专门做分类判断。昨天试了一下,效果比预期好,准备再测试观察一段时间,后面再出个详细的报告。 我感觉各大厂很快会跟进这种方案,估计各家都会带一个专门的Decision Model,用来处理这类场景。如果你也在做Agent调度系统,可以关注一下这个方向。
话题来源 @jolestar ❤️17 x.com/…↗ 已改写,非原文转载
19 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单