AI2 Bolmo登Nature 字节化改造Qwen

时间：2026年10月11日（Nature论文2026年10月7日发表，Ai2博客10月8日发布，Hacker News 10月11日热议） 地点：美国西雅图（Ai2艾伦人工智能研究所总部） 人物：Ai2（Allen Institute for AI）研究团队联合德国LMU慕尼黑大学、英国剑桥大学、美国华盛顿大学、英国帝国理工的跨机构团队 事件：艾伦人工智能研究所（Ai2）的字节级大语言模型Bolmo登上Nature顶刊，团队同步开源Bwen 8B（改造自Qwen 3 8B）和Blama 8B（改造自Llama 3 8B）两个新模型检查点。 "Bolmo"采用团队首创的"字节化"（byteification）两阶段转换方法：先用约1%的常规预训练预算将现有子词大模型转换成字节级模型，再进行端到端微调。相比此前从零训练的字节级模型路径，改造训练成本降至1%以下（合计49.1B tokens）。 性能方面，Bwen 8B在Ai2综合评测套件中超过Bolmo 7B，成为当前最强的字节级模型。Bolmo 7B在STEM任务上比字节级基线BLT 7B绝对提升16.5%。Bwen 8B和Blama 8B均接近其母模型（Qwen 3 8B和Llama 3 8B）的子词版本性能。推理速度约125字节/秒，与对应子词模型（约150字节/秒）相近。 模型架构上，Bolmo是潜在分词器语言模型，UTF-8字节先经嵌入层处理，再通过轻量级mLSTM局部编码器（local encoder）构建上下文字节级表示，并配合动态池化控制patch大小。这套字节级设计旨在解决子词分词带来的字符级理解不足、词汇瓶颈、英语中心化偏差以及计算分配效率低下等老问题。 背景：字节级模型直接以原始字节处理文本，可避免子词分词的字符级理解短板，在代码、生物序列、多语言等场景下表现更优。但此前字节级模型性能长期落后于子词模型，主流厂商（OpenAI、Anthropic、谷歌等）均未采用，原因是从零训练字节级模型难以跟上子词模型快速演进的数据、架构和后训练创新。 总结：Ai2的字节化路径意味着任何开源子词大模型都可低成本改造为字节级版本——既保留母模型的指令微调能力，又能获得字节级细粒度文本理解。Bwen 8B和Blama 8B已全部以Apache 2.0开源，包括模型权重、训练数据（约39.3B tokens的bolmo_mix）、训练代码和Stage 1冻结检查点。开发者已开始基于Bolmo 7B做俄英诗词翻译等垂直微调。这项成果或将冲击主流LLM的子词分词范式。 参考来源： - https://www.nature.com/articles/s41586-026-11111-4 - https://allenai.org/blog/bolmo-nature - https://arxiv.org/abs/2512.15586 - https://github.com/allenai/bolmo-core - https://huggingface.co/collections/allenai/bolmo - https://huggingface.co/allenai/Bolmo-7B - https://huggingface.co/allenai/Bwen-8B - https://huggingface.co/allenai/Llama-3-Blama-8B - https://huggingface.co/datasets/allenai/bolmo_mix - https://pubmed.ncbi.nlm.nih.gov/42844478/ - https://news.ycombinator.com/item?id=50001234 - https://aiweekly.co/alerts/nature-retrofit-converts-llms-to-byte-level-with-1-budget - https://www.reddit.com/r/allenai/comments/1x00rc1/bolmo_is_now_in_nature_retrofitting_language/ - https://x.com/allen_ai/status/2000616646042399047 - https://www.linkedin.com/posts/allen-ai_our-paper-on-retrofitting-language-models-activity-7513632113779417088-JDXG