litschema（科学论文结构化数据提取 Agent Skill） Skill 技能

技能简介

litschema 是一款基于 LinkML 的本地优先工具，能把一摞科学论文 PDF 自动转成可复核、可版本管理、可在 Git 中 diff 的结构化数据集，并把整套流程封装成 Claude Code Agent Skill。它把"机器抽取 + 第二个模型打分 + 人工复核"串成流水线，每个字段都附带原文引用行、推导依据（stated / converted / normalized / calculated / inferred / assumed）、模型与输入哈希，以及另一位模型的置信度——学术数据提取从此可重复、可审计。

核心能力

1. PDF → LinkML 抽取：以用户自定义的 LinkML Schema 为模板，从论文中提取字段并生成通过 schema 校验的 JSON。
2. 引用行高亮：每个字段记录其在原文中的具体行号，可在 review app 中点击定位回原文。
3. 可信度评分：内置 grader 模型，对每条抽取结果给出概率分数，便于批量过滤低置信字段。
4. 版本化运行（runs）：每次抽取创建独立的 run-id，原 run 不可变，复核结果永久有效；重新抽取只会追加新 run 而不覆盖旧 run。
5. 本地优先：模型推理在本地 Claude Code 中执行，仅有 DOI/ORCID 查询走网络，论文 PDF 不上传。
6. Git 友好产物：所有 JSON 输出可直接 commit，.gitignore 自动忽略不可再分发的 PDF/figures，文本层由 prepare-text 从 PDF 重建。
7. 图像化提取兜底：PDF 表格以图像存储时，会落到 figures/ 目录并在字段里注明"图像为依据"。

安装配置

1. 前置：Python 3.10+、本地安装 Claude Code 并配置模型访问。
2. 安装：pip install litschema，即可获得 litschema CLI 与 Python API。
3. 初始化项目：litschema init my-project 创建项目骨架，含 configs/、schema/、data/ 等目录与默认 LinkML Schema 模板。
4. 编辑 Schema：在 schema/ 中用 LinkML YAML 定义目标字段（如 study_size、effect_size、p_value、follow_up_months 等）。
5. 导入论文：把 PDF 放入 data/papers//，运行 litschema prepare-text 转换并哈希文本。
6. 触发抽取：运行 litschema extract，Claude Code agent 按 Schema 抽取并写入 extraction-runs//agent-extraction.json。

使用步骤

1. litschema init my-project 初始化项目，进入项目目录。
2. 把待抽取的论文 PDF 放到 data/papers//.pdf。
3. 执行 litschema prepare-text，生成 article.md 与 prepared-text.json（含转换哈希）。
4. 在 schema/extraction.yaml 中按 LinkML 语法定义字段，运行 litschema validate-schema。
5. 执行 litschema extract，抽取过程中会把每个字段的引用行、推导依据写入 agent-reasoning.json。
6. 运行 litschema grade 启动 grader 模型，生成 grades/.json。
7. 在 review app 中复核每条字段，写入 review.json，标记 accept / reject / need-followup。
8. 重新抽取时再次运行 litschema extract，新 run 会并排存在，旧数据不丢失。

适用场景

• 系统综述与 Meta 分析团队，需要把数百篇 PDF 转成结构化数据集。
• 医学/生物医学研究人员抽取 baseline、endpoint、adverse event 等指标。
• 社会科学团队批量抽取样本量、显著性水平、效应量等字段。
• AI for Science 项目把论文抽取作为模型训练/评测 pipeline。
• 期刊编辑/审稿人批量复核数据准确性。

适用人群

• 开展系统综述的研究人员与信息专家。
• 需要建立可重复数据集的 AI for Science 团队。
• 对数据抽取结果有审计/合规要求的医药/CRO 公司。
• 用 LinkML 描述数据 schema 的计算生物学/生物信息学实验室。

工作原理

litschema 由三个组件构成：(1) prepare-text 把 PDF 转成 article-md 与 prepared-text.json，把转换哈希写入后续产物以确保可重现；(2) Claude Code agent 按 LinkML Schema 抽取字段并把 reasoning 一并存入 agent-reasoning.json；(3) grader 模型对每条字段输出概率分数，所有 runs 目录按 /extraction-runs// 归档，旧 run 永远不可变；review app 在本地推理（仅 DOI/ORCID 查询走网络），让研究者点击字段值直接跳回 PDF 中相应的引用行。整套工作流以 git 友好的 JSON 文件落盘，便于长期保存与跨团队共享。

官方链接

• PyPI：https://pypi.org/project/litschema/
• 文档：https://litschema.readthedocs.io/
• 仓库：https://github.com/clevinson/litschema
• Changelog：https://github.com/clevinson/litschema/blob/main/CHANGELOG.md