AI 引文出错不只是编造:三种错法,一套一眼可查的核验流程
结论先行
-
「编造」只是最容易发现的一种。 更难查、也更常见的是另外两种:文献真实存在,但你引的那句话它没说过;以及引了同一个作者的另一篇文章——该引他 2023 年的书,引成了他 2017 年那篇不相干的论文。挪威卑尔根大学教授 Jill Walker Rettberg 把第二种叫 misaligned citation(错配引文),并认为这是大模型的一种系统性错误,而非作者粗心。(一手博客、存档快照、她的论文)
-
判断一条引文真假,不需要读完全文,只要三样东西:题名、年份、作者。 这三样能同时对上,引文才值得往下读;对不上任何一样,就先按「有疑问」处理。这个判据是我自己定的操作线,不是任何机构的官方标准。
-
DOI 是分叉的:知道 DOI 不等于知道去哪查。 同一条命令,查 Crossref 注册的 DOI 能返回题名作者,查 arXiv 的 DOI(DataCite 注册)直接 404。本次实测:
10.1007/s00146-026-03310-4用 Crossref 返回题名与年份;10.48550/arXiv.2609.14988用 Crossref 报 404,换 DataCite 才拿到题名。 -
中文场景里已经出现了「高校调查 + 学术处分」级别的处理,但要分清哪一段是一手记录。 一手可查的是出版方记录:
10.1007/s42379-025-00201-x这条论文在 Crossref 里的题名已被改成RETRACTED ARTICLE:开头,updated-by指向撤稿通知10.1007/s42379-025-00207-5(类型retraction,日期 2025-12-15)。至于港大调查的结论(确认部分引文为 AI 生成的虚构文献)、通讯作者卸任社会科学学院副院长职务、以及作者向期刊申请撤稿这三件事,来源均是媒体对港大声明的转述,我未能取得港大新闻稿原文——它们是二手转述,不是「官方数据」。(Crossref 记录,二手:RTHK 报道、SCMP 报道) -
别把检测工具当裁判。 Rettberg 用 Pangram 跑过那篇被质疑的文章,得到 87% 的 AI 概率——这是工具单次输出,不是证据。检测器给的是概率,引文核验给的是事实,两者不能互相替代。
三种错法,各自怎么现形
Rettberg 那篇博客最有价值的地方,是她把「引文有问题」拆成了可辨认的层次,并且给了一个具体案例:她把某篇 2026 年刊出的文章读了一遍,发现作者讨论「数字时间性」时声称这一块研究不多,但既没有引 Judy Wajcman 的 Pressed for Time,也没有引 Rob Kitchin 那本专门写这个主题的书 Digital Timescapes;实际引的是 Kitchin 2017 年一篇跟时间性无关的论文。她的解释是:模型不是按逻辑选参考文献,而是按语义相似度与训练数据里的邻近关系选,所以「应该引 Kitchin 2023」塌缩成了「引 Kitchin 2017」。(一手博客、存档快照)
这个解释成立与否可以争论,但它带来一个很实用的推论:错配引文的破绽不在文献本身,而在「引文与论点之间缺了一环」。 编造的文献你用 DOI 一查就露;错配的文献查得到、却撑不住那句话。所以核验必须分两步做——先查存在性,再查相关性。
第二类「真实但被曲解」的错法,在生物医学的量化研究里有对应数字。口径说明:下面这组数字出自一篇 arXiv 预印本(2026-09-14 投递)的摘要,我核对的就是摘要本身,没有找到其他独立来源交叉验证,所以它是论文自报的单来源数据,请按预印本引用,不要当成同行评审结论或机构统计。一项覆盖 26 个模型、8 家开发商(2023–2026)的研究,对 69 段生物医学文本各补一条缺失参考文献,结果 55.4% 的回答被判为编造(没有任何匹配的已收录论文),只有 14.9% 在期刊、年份、作者等全部受评字段上正确;编造率最低的是 Claude Opus 4.8(10.2%),但它对 52.1% 的提示直接拒答。研究还发现一个关键细节:能给出真实论文的模型,仍然会把元数据写错——Claude Opus 4.6 与 Claude Sonnet 4.5 给出可核实文献的比例接近(77.6% / 76.6%),但在可评估作者的回答里,作者名写对的比例分别是 78.7% 和 28.7%。(arXiv 论文摘要)
我自己的推算(不是论文结论,请当算术练习看):可核实率接近、作者正确率差 50 个百分点,说明「查得到 DOI」和「这条引文能用」之间隔着一大段距离。只做存在性检查,会放过这 50 个百分点。
手工核验:四个动作,一个可跑的脚本
动作一:DOI 反查,但要先问「谁注册的」。 这里有个坑,很多人踩过:把 arXiv 的 DOI 丢进 Crossref 的接口,会得到 404,于是误判成「这条引文是编的」。
# Crossref 注册的 DOI(期刊、图书、会议)
curl -s "https://api.crossref.org/works/10.1007/s00146-026-03310-4" | jq -r '.message.title[0]'
# arXiv / 数据集 / 部分机构库走 DataCite,用同一个 DOI 查 Crossref 会 404
curl -s "https://api.datacite.org/dois/10.48550/arXiv.2609.14988" | jq -r '.data.attributes.titles[0].title'
想要「一条命令查所有注册机构」,用 DOI 基金会的内容协商,让 doi.org 自己去解析归档方:
curl -LH "Accept: application/vnd.citationstyles.csl+json" "https://doi.org/10.1007/s42379-025-00201-x"
我把上面这套逻辑写成了一个脚本,在本地跑了一遍,输出是一张四行的表(experiments/T010-doi-probe.mjs):
| 待核 DOI | 解析结果 | 题名 | 年份 | 作者 |
|---|---|---|---|---|
10.48550/arXiv.2609.14988 |
200 解析成功 | Biomedical Reference Generation Remains Unreliable… | 2026 | Topaz / Zhang / Roguin |
10.1007/s00146-026-03310-4 |
200 解析成功 | LLMs are metaphor machines… | 2026 | Rettberg |
10.1007/s42379-025-00201-x |
200 解析成功 | RETRACTED ARTICLE: Forty years of fertility transition in Hong Kong | 2025 | Bai / Yip / Li |
10.1000/xyz1234567890 |
404 解析失败 | —— | —— | —— |
三个可以直接抄走的读法:
- 最后一行是重点。 编一个看起来合规的 DOI,接口会明确给你 404——这就是「未能核实」。至于「模型编造引文时给出的 DOI 绝大多数连格式都不对」这一说法,作者是在讲动机、不是在报数据,我没有核到它的量化依据,所以不作为结论使用。
- 第三行是撤稿信号出现在题名里。 Crossref 记录显示这条论文的
updated-by指向撤稿通知 DOI10.1007/s42379-025-00207-5,类型retraction,日期2025-12-15。核引文时要顺手看一眼有没有updated-by,被撤稿的文献即使真实存在,也不该再作为证据使用。 - DataCite 那行「期刊/仓储」字段是空的。 我用内容协商取 CSL JSON 时,这条 arXiv 记录的
container-title确实为空(DataCite 原生接口里 publisher 字段写的是arXiv)。这不是 bug,是元数据完整度差异,也说明单一接口的输出不能当成全貌。
动作二:引文—论点比对。 找到文献后不要停在题名上,往回读原文的摘要和结论,问一句:我引它来支撑的那句话,是它真的主张的吗? 这一步没有工具能替你做,也是错配引文唯一会露馅的地方。
动作三:作者—期刊交叉验证。 把作者名字和期刊名分别单独搜一次。常见破绽有三种:作者确实写过这个主题,但这一篇不存在;题名相近,期刊和作者完全不同;卷期页码指向的文献,内容对不上。中文报道《学术伦理学杂志》那篇被读者逐条核查的论文时,列出的正是这三类(社区二手来源:科学网)。
动作四:看有没有「不可能的作者」。 同一篇中文报道提到,有论文把撤稿观察联合创始人 Ivan Oransky 的名字挂在一条从未发表的文章上。造假的引文经常借真实名人的名字做背书——遇到「名人 + 冷门题名」的组合,优先查。
我的判断:这份清单给谁用
给三类人,权重不同。
审稿人和编辑:先用动作一全量过一遍,再用动作二抽查。成本最低、收益最高的是批量 DOI 反查——研究中 55.4% 的编造率意味着,一篇 30 条参考文献的稿子,如果有 AI 参与,你不查等于赌。Rettberg 的判断更狠:她认为每一条由大模型给出的「不相关或半相关」参考文献,本质都是错配引文,读者因此不能再默认「作者引它一定有逻辑理由」。
作者:把「AI 帮我补引文」这条生产线彻底拆掉。可以用模型找线索,但每一条都必须自己跑一遍动作一。arXiv 的官方政策把责任划得很清楚:署名即对全文内容负全责,无论内容是怎么生成的;生成式 AI 若产出了错误引用,责任在作者。(arXiv 官方政策)
平台方:arXiv 已经给出了一种答案——对含「AI 幻觉参考文献」等不可辩驳证据的投稿,禁止作者在一年内投稿;有二手报道称惩罚期结束后该作者再投稿需先有同行评审期刊的接收记录。这两个细节我没有拿到 arXiv 官方公告原文:它们出自 Nature 报道,其中把「一年封禁」写成 arXiv 的政策事实,把「复投需已接收」明确归属为 arXiv 计算机科学部门主席 Thomas Dietterich 的说法。同一篇报道我也只能经互联网档案馆快照读到(Nature 原页面对我的直接抓取弹出人机校验)。这个尺度的争议很大,但它至少说明:核验成本已经从「作者自查」升级成「平台强制」。
一句话总结我的判断:编造引文是技术问题,错配引文是认识论问题。 前者靠接口能挡住,后者只能靠人回头读原文——所谓「一眼看出引用是编的」,靠的是格式与元数据的机器检查;而「一眼看出引用是被用歪的」,靠的是你有没有读过那个领域。
这次没核实的
- Rettberg 博客是否「原站 403」:这一条我先后得到过两种观察,最后按可复现的那个写:带默认 User-Agent 的自动抓取会拿到 403,浏览器里可以正常打开。因此本文的引用同时给出 Wayback 存档快照,方便读者直接核验。用本机直接抓取
https://jilltxt.net/misaligned-citations-and-llm-generated-scientific-fraud/返回的是 HTTP 200 且带完整正文(页面自身的published时间是 2026-08-14 11:26:26 +02:00,updated是 2026-08-16 11:48:56 +02:00),所以我改用原站链接,存档快照只作备份。另外,本文早先版本的存档链接是自我嵌套的(.../web/A/http://web.archive.org/web/A/https://…),实测连接被直接关闭,现已更正为单层存档地址https://web.archive.org/web/20260920160443/https://jilltxt.net/…。 - arXiv 一年封禁政策的官方原文:我只读到 arXiv 官方帮助页里的生成式 AI 与作者责任政策,「一年封禁 + 复投需已接收」这两个细节来自 Nature 报道的转述,我没拿到 arXiv 官方公告原文。
- Pangram 的 87%:这是 Rettberg 单次工具输出,我没有复现,也不把它当证据。
- 26 模型基准的数字:55.4% / 14.9% / 10.2% / 52.1% / 77.6% / 76.6% / 78.7% / 28.7% 全部逐字核对了 arXiv:2609.14988 的摘要页(另经 DataCite 与 doi.org 内容协商两次独立取回同一摘要),但它们只有这一个来源,没有第二篇独立研究或复现验证。
- 《柳叶刀》那篇通讯的量级数字(如「每 277 篇有 1 篇引用不存在的文献」):我只在中文二手报道里读到,未能核到原文,因此本文不引用该数字。
- 港大调查的原始通报:我读到的是港大结论的媒体报道转述(RTHK 中英文版、SCMP),没找到港大官方新闻稿原文;能一手核实的是 Crossref 里这条论文的撤稿记录本身。另外,本文早先版本引的星岛移动端链接
m.stnn.cc实测连接被重置、无法打开,已换成本次能打开的报道。
参考来源
- Misaligned citations and LLM-generated scientific fraud(Jill Walker Rettberg,一手博客)(存档快照)——原站地址为 jilltxt.net(对带默认 UA 的自动抓取返回 403、浏览器可读;为便于核验,本文引用给出 Wayback 存档快照);错配引文、drive-by citation、Kitchin 2023/2017 案例;本次核查实测原站可直接打开(HTTP 200),存档快照已于 2026-09-21 复核可达
- LLMs are metaphor machines: orbital argumentation, misaligned citations, and scientific fabrication in AI-generated writing(AI & Society,论文)
- Biomedical Reference Generation Remains Unreliable across 26 Large Language Models(arXiv 论文,26 模型基准)
- arXiv 官方:Content Moderation / Policy for authors’ use of generative AI language tools
- Crossref 官方:REST API 文档(实时验证:
https://api.crossref.org/works/doi/10.1038/nature12373返回 200,题名 Nanometre-scale thermometry in a living cell) - Retraction Note: Forty years of fertility transition in Hong Kong(Crossref 撤稿通知记录,类型 retraction,日期 2025-12-15)
- 二手(均经本次核查实际打开):HKU confirms fake AI citations in research paper(RTHK 英文)、港大確認博士生論文引AI虛構文獻(RTHK 中文)、University of Hong Kong professor loses key role over retracted paper(SCMP)、高中生论文因参考文献造假遭撤稿(科学网编译)、Researchers who use hallucinated references to face arXiv ban(Nature 报道,原页面弹人机校验,经存档快照读取)
评论区
登录后可评论。