用 RL 训练你的 Agent：微软 Agent Lightning 把强化学习门槛砍到几乎为零

Agent 跑得欢,但一上线就开始胡说、跑飞、奖励信号乱——RL 微调的工程化门槛,卡死了 90% 想把 Agent 推到生产的团队。微软研究院刚甩出来的开源项目 Agent Lightning,直接把这条路的门槛拆到几乎为零。

17.5k Stars,7 个版本迭代,v0.3.0 已经稳了。它的核心承诺一句话:Train ANY AI Agents with Reinforcement Learning,(几乎)零代码改动。

为什么这是 Agent 圈必须看的一件事

过去的逻辑是:想给 Agent 上 RL?先重构架构,再对接 RL 框架,最后祈祷 prompt 和权重能同步。Agent Lightning 走的是相反的路——你的 Agent 该怎么跑还怎么跑,只是在关键节点插一根探针(agl.emit_xxx()),让框架自动收集 prompt、tool call、reward,变成结构化的 span 流进 LightningStore。

LightningStore 是整套架构的中枢,任务、资源、轨迹全在这里统一调度。算法侧(RL / Automatic Prompt Optimization / Supervised Fine-tuning)从 store 读 span,生成新的 prompt 模板或策略权重,Trainer 把这些资源推回推理引擎,完成一轮闭环。

兼容性是它最值钱的特性

• 任何 Agent 框架:LangChain、OpenAI Agent SDK、AutoGen、CrewAI、Microsoft Agent Framework,甚至裸 Python + OpenAI,直接装上就能用。
• 多 Agent 系统:可以选择性地只优化其中一个 Agent,不影响其他角色的行为。
• 算法可插拔:内置 RL、APO、SFT,你想自己写算法也完全可以——LightningStore 是开放的。
• 已验证 128 卡:腾讯 Youtu-Agent 团队基于这套机制,在数学、代码、搜索三类任务上稳定扩展到 128 GPU 训练不崩。

快速上手

安装一行命令:pip install agentlightning。Agent 代码保持原样,只在关键事件点调用 emit 函数,跑一次 rollout,Agent Lightning 自动帮你读出训练数据并启动优化循环。整个过程不需要重写 prompt 工程、不需要切到专用框架。

Agent Lightning 还配套一个 Dashboard,用来观察 span 流转和训练曲线。对做 Agent 的团队来说,这等于把 RLHF 工程师从”必备”降级为”可选”。

这才是真正的 Agent 基础设施

过去一年大家都在卷 Agent 框架,但忽略了背后训练和评估能力的缺失。一个 Agent 再花哨,没有持续改进的回路,就是一次性玩具。Agent Lightning 补的正是这一环:让任何 Agent 都能跑 RL,让”自我进化”从概念变成开箱即用的工程能力。

背后是微软研究院 8 月发在 arXiv(2508.03680)的同名论文,完整给出了算法和实验。MIT 协议,商用友好。

GitHub 仓库:👉 https://github.com/microsoft/agent-lightning

GitHub: https://github.com/microsoft/agent-lightning