自学习AI将1GB维基百科无损压缩至105MB
时间:多家科技媒体于 2026 年 11 月 21 日报道,Tufa Labs 研究员 Tommy He 开发的 tufazip 工具将 1GB 维基百科文本无损压缩至 105.39MB。
地点:Tufa Labs(独立 AI 研究实验室)
人物:Tommy He(Tufa Labs 研究员)
事件详情:Tufa Labs 发布开源压缩工具 tufazip,将 1GB 英文维基百科数据(enwik9)无损压缩至 105,388,353 字节(105.39 MB)。该系统采用 12 层、1.63 亿参数的 Transformer 模型作为唯一预测器,结合在线学习与离线训练先验(Cycle2 配置),在 Large Text Compression Benchmark 上排名第二,成为首个仅以神经网络作为唯一预测器的最佳条目。压缩或解压各需约 7.5 天,依赖两块 Nvidia B200 GPU。压缩结果包含解码器及权重文件(约 4.43 MB),实际压缩文本约 101 MB,整体压缩率约 9.5 倍。代码已在 GitHub 以 MIT 协议开源。
背景:Large Text Compression Benchmark 已运行 20 余年,此前排名靠前的算法大多混合 hand-engineered 模型与神经网络。Tommy He 的 tufazip 只使用神经网络作为预测器,验证了 "compression is intelligence" 思路。研究员于 2026 年 10 月 14 日在 Tufa Labs 官网发布研究日志,详细记载了从在线学习 baseline 到离线 transfer 的消融实验。
影响:这项研究把大模型压缩技术推到了大文本无损压缩的前沿,证明 1.63 亿参数的小模型通过持续在线学习即可达到接近 hand-engineered 混合系统的效果。尽管 7.5 天的计算耗时和两块 B200 GPU 的需求使其暂时无法替代通用压缩工具,但开源代码为研究社区提供了可复现的实验框架。
总结:tufazip 以纯神经网络预测器实现了 1GB 维基百科到 105.39MB 的无损压缩,刷新了社区对 "压缩即智能" 的认知边界。研究已全文公开并开源代码,感兴趣的研究者可在 GitHub 复现实验。
参考来源:
Tom's Hardware 报道 tufazip 技术细节
https://www.tomshardware.com/tech-industry/artificial-intelligence/one-gigabyte-of-wikipedia-losslessly-compressed-to-105-39mb-with-self-learning-ai-transformer-model-tufazip-needs-two-nvidia-b200-gpus-and-about-a-week-to-compress-or-decompress
Digit.in 解释 tufazip 工作原理
https://www.digit.in/features/general/tufazip-explained-the-transformer-that-squeezes-1gb-of-wikipedia-into-105mb.html
Yahoo Tech 报道 tufazip 压缩成果
https://tech.yahoo.com/science/articles/one-gigabyte-wikipedia-losslessly-compressed-113000280.html
Tufa Labs 官方研究日志
https://tufalabs.ai/research/tufazip/
IT 时代网中文报道
https://www.itsdw.cn/news/50963.html
CNews 俄文报道
https://zoom.cnews.ru/lenta/post/gigabajt_vikipedii_stal_105_megabajtami_-_tufa_labs_predstavila_nejrosetevoj_kompressor_tufazip#comm







