一百万次跑出来的 RL 环境

又一件造环境的家伙什放出来了，名叫 Karotte，公告背后压着一百万次跑数。 摊开看。它是拿来搭强化学习环境的框架。过去一年一直在给前沿实验室搭 MLE 的强化学习环境。上线前经了两道关，超过一百万次的评估运行，加上红队的轮番锤炼，两条都写进了公告那两行里。 "先有一百万，再有开源"这半句是全场重心。前面给奖励加一层讲的是把分数算得更准，这条讲的是把练功房整个交出来。跟前面十轮实验别建立在假结果上呼应，那边管结果别作弊，这边管场地先过关，两头都在给训练这件事打地基。跟前面两天换掉工作台也接得上，一个是搭干活的底座，一个是搭练兵的底座，先后顺序却一样，先跑熟再示人。 一年自用、百万次锤炼这个次序我留意，把内部吃过的苦转成公开的框架，这一手比直接丢个仓库要稳当得多。 我留的疑问有三处。框架怎么搭一个新环境没给示例；红队测的哪几类没拆；对外的许可条款也没数。 这周照它搭一个最小环境，看从零到能跑评估要几步。