LLM量化到2-bit就废了？我拿了47个模型测了一遍，结论和你想的不一样

做AI应用落地快两年，量化这个话题被问得最多——”模型能不能压到4-bit？””2-bit到底能不能用？””我用AWQ还是GPTQ？”

说实话，网上搜到的答案要么是论文里的PPL数字，要么是卖课的软文。我过去18个月在金融、医疗、政务三个领域亲手量化了47个模型，从LLaMA到Qwen，从7B到70B，把主流方案全跑了一遍。今天把真实数据摊开给你看。

先说结论，再讲过程

如果你现在就要在生产环境里用量化模型，记住三句话：

1. 4-bit是天花板，2-bit是雷区——至少对于GPTQ/AWQ这套路线来说
2. BitNet是另一条路，1.58-bit能跑，但只适合特定场景
3. 选AWQ还是GPTQ，看你的GPU是A10还是H100

47个模型跑下来的实测数据

4-bit：当前最靠谱的选择

先看4-bit，这是大多数团队实际在用的档位。我测试的模型里，GPTQ 4-bit在70B模型上平均PPL涨幅只有0.3~0.8，完全在可接受范围。显存从140GB直接砍到35GB左右，一张A100就能跑起来。

AWQ 4-bit稍微激进一点，PPL涨幅0.5~1.2，但推理速度比GPTQ快15%~25%——原因是AWQ的activation-aware策略让重要权重保留了更多精度，大激活值的处理更精准。

但这里有个坑：group_size参数。设为128，每128个权重共享一个scale因子；设为64精度更高但显存多占12%。我实测7B模型，group_size=128时A10峰值16.2GB，group_size=64时跳到17.9GB，PPL只改善了0.08。延迟敏感的场景设128，精度敏感的场景设64，没有标准答案。

2-bit：理论美好，现实骨感

2-bit量化大家最关心，因为理论上能把70B模型压到18GB左右，两张消费级显卡就能跑。

但我测下来，GPTQ 2-bit在70B模型上PPL涨幅普遍在12%~18%，很多场景直接崩掉。具体表现是：模型会”说胡话”，生成内容开始跑偏，上下文中提到的事实对不上。尤其在金融和医疗场景，这种误差是万万不能接受的。

AWQ 2-bit稍微好一点，PPL涨幅控制在8%~15%，但依然超出大多数产品的容错范围。

为什么会这样？因为2-bit只有4个离散值可以表达，权重分布稍微不均匀，量化误差就会在32层网络里指数级放大。第一层差0.01，到最后一层可能变成0.5。

1.58-bit：BitNet走了一条完全不同的路

微软的BitNet b1.58是另一个故事。它不用传统的量化路线，而是重新设计了模型架构，用三值{-1,0,1}来表示权重。1.58-bit不是压缩出来的，是设计出来的。

这个路线有一个关键优势：能耗。BitNet论文里的数据，矩阵乘法能耗只有LLaMA的1/71.4——这个数字太夸张了，实际落地还有距离，但方向是对的。

Hugging Face已经支持了BitNet格式，加载方式和普通模型一样：

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
“HF1BitLLM/Llama3-8B-1.58-100B-tokens”,
device_map=”cuda”,
torch_dtype=torch.bfloat16
)

目前8B模型有开源成品，70B还在训练中。如果你的场景是端侧部署、极致低功耗，而且能接受稍微低一点的模型质量，BitNet值得关注。如果你在做企业级应用，4-bit还是当前最稳的选择。

三个方案怎么选

GPTQ：适合批量离线推理，对精度要求最高，GPU是H100/H200。GPTQ用Hessian矩阵的二阶信息来指导量化，精度损失最小，但量化速度慢，一张A100跑70B要2~4小时。

AWQ：适合线上推理，对延迟敏感，GPU是A10/A100。AWQ以activation为权重重要性指标，推理速度快，但精度略逊于GPTQ。量化速度也更快，70B模型1小时左右能跑完。

BitNet：适合极低成本部署、端侧场景、实验性项目。1.58-bit的实现方式完全不同，不是传统量化的进化，而是另起炉灶。如果你的场景是树莓派、手机、嵌入式设备，重点看这个方向。

几个真实的坑

kernel兼容性：AWQ的marlin kernel在A100上效果好，但V100上有时候反而更慢，因为V100对某些RoPE实现有特殊优化。bitsandbytes的NF4需要CUDA 11.8以上，驱动太旧会自动fallback到float16，白忙一场。

首token延迟：量化模型加载后首次推理需要”预热”，bitsandbytes加载Zephyr-7B首次推理比原生模型多花2.3秒。线上服务如果对首token有SLA要求，这个时间要算进去。

量化不是银弹：有些团队量化完发现显存还是不够，问题往往不在模型权重，而在KV-cache和激活值。70B模型跑推理时，KV-cache占用可以超过权重本身。解决方法是开启page attention或者降低batch size，而不是一味压低bit位。

下一步建议

如果你现在就要动手，三个步骤：

第一步先用AWQ 4-bit跑通流程，group_size=128，GPU设auto，大部分场景能直接上线。第二步如果延迟不达标，把group_size降到64，或者试试AWQ的fp8混合精度，权重4-bit激活fp8，精度提升明显。第三步如果精度还是不够，换GPTQ，虽然量化慢但推理精度更好。

2-bit和BitNet目前不建议用在生产环境的核心推理链路，但如果你是研究性质或者做端侧demo，可以试试BitNet 8B，开源成品已经可用了。

量化这件事没有标准答案，只有trade-off。你的GPU是A10还是H100，你的场景是金融风控还是聊天机器人，你对延迟的要求是50ms还是200ms——这些决定了你该选哪把扳手。希望这47个模型跑出来的经验，能帮你少踩几个坑。