Ling-3.0-tiny

模型简介

Ling-3.0-tiny 是蚂蚁集团百灵大模型团队开源的一款轻量级混合推理模型，隶属于 Ling 系列。它采用 MoE（混合专家）架构，总参数量为 7.9B，但在推理时每个 Token 仅激活 1.3B 参数，主要面向高效推理、端侧部署与本地离线运行场景。官方对它的定位是「轻量级混合推理模型」：低时延、低成本，同时兼顾实时交互与工具调用能力。

技术架构

该模型采用混合注意力结构，将 KDA（一种线性注意力机制）与 MLA（多头潜在注意力）以约 3:1 的比例交替堆叠，配合 128 专家的稀疏 MoE 结构，在保持较小激活参数量的同时扩大模型容量。官方称其 Agent 能力评测分数超越了 31B 级别的通用模型——也就是说，靠「少激活、多专家」的稀疏路由，用不到一半的推理开销换取了更强的任务表现。

端侧部署与性能

Ling-3.0-tiny 提供 BF16、FP8、INT4 等多种精度版本，适配 MacBook、Mac mini、Mac Studio 等终端设备。据官方与多家媒体报道，在 FP8 精度下其本地推理速度可达 86–90 tokens/s，8K 上下文下的峰值内存占用仅约 8.34GiB，模型数据全程本地存储、不上传云端。这让它在隐私敏感的本地智能体场景中颇具吸引力。

应用场景

凭借极低的激活参数量与端侧友好的内存占用，Ling-3.0-tiny 适合用于：本地运行的编码助手与命令行智能体、需要离线可用且数据不出本机的隐私场景、以及资源受限环境下的工具调用与实时问答。对于希望自建轻量级推理后端、又不愿长期依赖云端 API 的开发者，它是一个值得评估的选择。

获取方式

模型已在 HuggingFace 平台以 inclusionAI/Ling-3.0-tiny 仓库开源发布，可自由下载部署；官方同时通过百灵开发者平台提供了 Ling 系列更大尺寸模型（如 124B 的 Ling-3.0-flash、旗舰 1T 的 Ling-2.6）的 API 与文档，便于按需选型。