科学数据三倍增长却难被 AI 复用:ProtoStar 气候挑战的 3 个判断
10 月 29 日,Hugging Face 在官方博客发布 Project ProtoStar,宣布把大学、研究机构、工业界和开放科学社区拉进同一个协议:把公共资助产生的数据集、模型和代码,以 AI-ready 格式发布到开放基础设施上。第一场挑战由卡内基梅隆大学主办,11 月 2 日开放,主题是气候风险情报。为什么现在值得看:美国联邦政府每年投入约 1900 亿美元研发经费,NIH 和 NSF 已逐步把“结果公开”推到“底层数据和软件可共享”;同一时间,Hugging Face 上的新增科学数据集在 2026 年前九个月是 2025 年同期的三倍多。供给在涨,政策在紧,但“公开”和“AI 可用”之间的缺口,正是这个项目要处理的位置。
公开不等于可用:钱投进去了,问题出在交接处
Hugging Face 在公告里给了一个容易被忽略的判断:研究结果公开,不会自动变得可用。科学数据集、模型和代码经常散落在互不兼容的系统里,或者以老旧格式存放;有的缺少文档、元数据和来源信息,人看都费劲,AI 系统更难以跨学科发现、解释和组合。
这一判断的底数来自联邦投入:美国联邦政府每年约 1900 亿美元 R&D;NIH 和 NSF 已经强化公共访问要求,要求研究者计划共享底层数据。Hugging Face 自己也在 NIH 列的十个通用研究数据存储库名单里。所以这不是一家 AI 平台要抢科研入口,而是它已经处在政策明确的公共数据产业链中。
ProtoStar 的做法不是给每个学校发钱,也不是推一个统一数据库,而是通过谅解备忘录,让参与机构承诺把合适的科学数据集、模型和代码放到开放基础设施上。创始伙伴包括 CMU、普渡、佐治亚理工、亚利桑那州立、乔治·华盛顿大学,以及 Astera Institute、Hugging Face 和 ORCA。这个组合的实质是:高校联盟提供研究资源,Hugging Face 提供托管与工具,ORCA 负责社区组织。
| 环节 | 机构常见做法 | ProtoStar 想推的方向 |
| 发布载体 | PDF、网页、项目官网、机构数据库 | 数据集、模型、代码上开放基础设施 |
| 数据格式 | 静态或遗留格式 | AI-ready、machine-actionable |
| 元数据与来源 | 文档不全、来源不明 | 文档、元数据、provenance 齐备 |
| 复用对象 | 以人读为主 | 人和 AI 都能发现、解释、组合 |
| 参与约束 | 各自为政 | MOU 统一约定开放发布 |
这张表是官方没替你列出来的对照。它把“公开”和“可被 AI 复用”拆成了不同环节。过去机构只要把结果公开,剩下的是阅读者的事;ProtoStar 要求的是发布端自己完成格式、元数据和可机器处理。
11 月 2 日开放的气候挑战,两个来源口径并不完全一样
关于第一场挑战,Hugging Face 官方博客写的是“Climate Risk Intelligence”,主办方 CMU。CMU 新闻稿则把它描述为“energy and climate resilience”。两个词都指向气候方向,但官方口径并不完全一致:一个强调风险情报,一个强调能源与气候韧性。按目前公开材料,我判断这是同一场挑战的两种描述,也说明项目早期对边界的表述还在细化。
这场挑战的参与方式也很轻:组织方公布的联系邮箱是 protostar@orcaopen.org,大学要加入先通过 MOU 签约。对普通 AI 用户来说,挑战的意义不在于立刻拿奖,而在于它把一个信号摆上台面:公共科学数据不是发布完就完事,而是要通过一个有明确任务的问题,验证它能不能被 AI 真正用起来。
17,000 与 29,000:医学和数学才是隐形大头
按 Hugging Face 官方给出的口径,核心科学领域有超过 17,000 个公共数据集,覆盖基因组学、蛋白设计、化学、天气与气候、地球观测、天文学;如果把医学和数学也加进去,数量接近 29,000。这里的“核心科学领域”是官方分类,不是我另算的范围。
用这两个约数做一次简单复算:
# 只依据 Hugging Face 官方公告给出的两个约数
core_domains = 17_000 # 官方口径是 more than 17,000
incl_med_math = 29_000 # 官方口径是 approaches 29,000
medicine_math = incl_med_math - core_domains # ≈ 12,000
share = medicine_math / incl_med_math # ≈ 41%
# 官方另给:完整文档数据集贡献了 90% 下载
documented_share = 0.90
undocumented_share = 1 - documented_share # = 10%
按官方口径推下来,医学和数学大约贡献了 12,000 个数据集,占扩口后总量的四成左右。这是基于官方约数的推算,不是官方公布的精确值。医学和数学成为隐形大头,可能意味着这个项目未来若从气候风险挑战扩到更多领域,医学生命科学会是最难绕开、也最需要规则设计的部分。
增长本身也值得看。2026 年前九个月,Hugging Face 上新增科学数据集是 2025 年同期的三倍多,而且官方明确说,即便排除最大的单一个体上传者,增长仍然 substantial。注意官方只给了相对倍数,没有给两个时期的绝对数量,因此这里不能反推“2025 年有多少个”。相对量已经足够说明:科研侧的开放数据供应正在以非线性速度涌进平台。
下载不等于复用,但文档几乎成为门槛
官方给出一组下载数字:NCBI 在 Hugging Face 上的 18 个公共仓库合计超过 1100 万次下载;NASA IMPACT 的 27 个仓库约 77 万次下载,快照日期是 2026 年 10 月 26 日。更关键的数是:Hugging Face 上 90% 的数据集下载来自有完整文档的数据集。
这个 90% 可以顺势推出另一个数:没有完整文档的数据集只贡献约 10% 的下载。这对发布者是个压力信号:如果机构的开放数据不带完整文档,大概率不会进入主流复用路径。
不过这里要多说一句边界:90% 是占比,不是一个因果结论。完整文档很可能和数据集本身质量、团队投入、知名度同时出现,不能说“只要补全文档就能拿到 90% 下载”。官方没有在公告里给因果证据。我的经验判断是,把 90% 当门槛而非收益保证,更稳妥。
公告没写的三个问题:维护、敏感数据、MOU 约束力
Project ProtoStar 的公告主要讲目标、伙伴和第一个挑战,对长期运行机制披露得少。至少有三个问题需要外部视角看。
第一,维护成本。科学数据集发布后,谁负责版本更新、数据勘误、格式迁移和长期可访问?许多公共科研项目的资助周期一到,服务器可能就停了。MOU 没有公开是否包含长期维护义务。这是我的经验判断,不是官方说法:只解决发布端,不解决维护端,开放数据仍可能变成一堆“静态但没人管”的快照。
第二,敏感数据边界。公共资助不等于可无限公开。人类受试者、医疗记录、能源基础设施位置、气候风险地图都有可能踩到隐私或安全边界。公告没有展开这一层,不代表问题不存在。乔治·华盛顿大学的参与新闻稿提到其开源项目办公室会帮助研究者使用平台,这侧面说明大学需要专门办公室来把关哪些能发、哪些不能发。
第三,MOU 的约束力。谅解备忘录通常是意向性协议,不是带惩罚条款的合同。美国高校的开放科学执行,最终取决于院系、课题组的主动性和数据管理能力。BigDATAwire 的报道也把问题概括为“每个机构都有自己的做法”。ProtoStar 能不能把“各自为政”压成统一格式,不是靠一个联盟名称就能完成。
对机构而言,加入 ProtoStar 之前至少应做三件事:先盘点现有数据,看哪些已经能被机器读取;再评估敏感边界,把不能公开的部分单独列出来;最后让开源项目办公室真正参与,而不是只让行政部门签字。这三点恰好也是这份公告没有展开、但执行时最容易卡住的位置。
参考来源
评论区
登录后可评论。