DeepEval Skill 技能

DeepEval 是一个开源的 LLM 评估框架，专为评估大语言模型系统设计，使用方式类似 Pytest，但专门针对 LLM 应用做单元测试。内置 G-Eval、Task Decomposition、RLWF 等最新研究论文实现的评估方法。

核心解决问题：AI 应用上线后输出质量难以量化，没有系统化的评估机制。传统人工 review 效率低、主观性强，DeepEval 让评估变成可自动化、可复现的测试流程。

主要功能： • 14+ 评估指标：G-Eval、幻觉检测、答案相关性、上下文相关性、毒性、偏见、公平性等，开箱即用 • 类似 Pytest 的简易 API：python def test_medical_qa(): result = llm.invoke("什么是高血压") assert result.using(metrics=[AnswerRelevancy(), Hallucination()]).score > 0.7 • 多模型对比：同一指标并行跑多个模型，输出分数对比报告 • CI/CD 集成：Jenkins、GitHub Actions 等主流 CI 工具无缝集成，LLM 输出质量纳入发布门禁 • 100+ 集成：LangChain、LlamaIndex、Haystack、RAG、Fine-tuning 等生态全部覆盖 • Web UI：可视化评估结果面板

适用场景：AI 应用开发团队需要在每次发布前验证输出质量；RAG 系统需要评估检索和生成效果；LLM 微调需要量化改进效果。

安装：pip install deepeval