Liquid AI开源自研编码器 8K上下文CPU可用

时间：2026年7月29日 地点：马萨诸塞州剑桥市，美国 人物：Liquid AI团队 事件详情：人工智能公司Liquid AI发布两款开源双向编码器LFM2.5-Encoder-230M和LFM2.5-Encoder-350M，均基于LFM2混合骨干网络的掩码语言模型，上下文窗口达8192个token，专为分类器、意图路由器、安全过滤器和PII检测器等端侧推理任务设计，可在CPU上保持高吞吐运行。两款模型采用LFM Open License v1.0许可证，支持15种语言，词表大小为65536，隐藏维度1024。 背景：编码器位于分类、意图路由、安全过滤等持续性任务之下，通常在没有GPU的设备上运行且输入越来越长。BERT奠定了此类模型的范式，ModernBERT提升了其精度、速度与上下文能力。Liquid AI的论点在于LFM2架构延续了该路线，因其成本随输入长度增长更慢。两款编码器并非从零训练，而是从LFM2.5-230M与LFM2.5-350M解码器骨干初始化后通过三项转换得到：因果注意力掩码替换为双向注意力掩码、LFM2短卷积改为非因果形式、采用30%掩码率的MLM目标训练；架构采用门控短卷积块与分组查询注意力交替。训练分两阶段，先以1024 token短上下文MLM目标建立通用语言能力，再扩展至8192 token全数据混合。 影响： - 为端侧设备提供高吞吐、低成本的多语言编码器选项，降低PII检测等隐私敏感任务的算力门槛 - 巩固Liquid AI在液态神经网络与端侧AI生态中的差异化定位，对标ModernBERT等主流编码器 - 推动编码器从“基于困惑度”思路向“基于风格特征”演进，为AI安全、内容审核等场景提供更强基座 总结：随着端侧AI推理需求激增，对高效率编码器的需求同步上升。Liquid AI以解码器转换编码器的创新路线，结合液态神经网络对长上下文的成本优势，发布LFM2.5-Encoder-230M和350M两款开源自研模型。两者在CPU上保持高吞吐、支持15种语言，并采用双向注意力与30%掩码率MLM目标，为AI应用的安全过滤、意图识别等核心环节提供了新的高性能基座。 参考来源： - https://www.marktechpost.com/2026/07/29/liquid-ai-releases-lfm2-5-encoder-230m-and-lfm2-5-encoder-350m-bidirectional-encoders-that-stay-fast-at-8k-context-on-cpu/ - https://huggingface.co/LiquidAI/LFM2.5-Encoder-230M - https://huggingface.co/LiquidAI/LFM2.5-Encoder-350M - https://arxiv.org/abs/2511.23404 - https://baijiahao.baidu.com/s?id=1866506551961012080&wfr=spider&for=pc - https://huggingface.co/papers/1810.04805 - https://huggingface.co/papers/2412.13663 - https://blog.csdn.net/gitblog_00860/article/details/153546676