1. 为什么我们需要模型量化在讨论AWQ量化技术之前我们先来聊聊为什么大语言模型LLM需要量化。想象一下你正在使用一个32B参数的大模型比如Qwen1.5-32B。这个模型如果用FP16格式存储光是权重就需要占用64GB显存。再加上数据集和KV缓存你可能需要4张RTX 4090显卡96GB显存才能勉强运行。这成本有多高光是这4张显卡的服务器市场价就要10万人民币左右。FP16和BF16这两种浮点格式虽然表示范围很大但也带来了两个主要问题显存占用过高计算开销太大量化技术的核心思想就是把高精度的浮点数如FP16转换为低精度的整数如INT8、INT4。比如用AWQ把模型从16位浮点量化到4位整数后模型大小就从64GB降到了16GB只有原来的1/4。这不仅大幅降低了显存需求还能提高计算效率。2. AWQ量化的核心思想2.1 激活感知的权重量化AWQActivation-aware Weight Quantization是MIT团队在2023年提出的一种量化方法。它的核心观点非常有意思模型中的权重并不是同等重要的研究发现只有0.1%~1%的权重对模型输出精度影响较大。AWQ的聪明之处在于它只对这些显要权重保持高精度FP16而对其他权重则进行低比特量化。这样就能在几乎不影响模型精度的情况下大幅降低模型大小。那么问题来了如何识别这些关键权重呢AWQ提出了三种方法随机挑选简单但效果不稳定基于权重分布按权重绝对值大小排序基于激活值分布这是AWQ最终采用的方法2.2 缩放因子(Scaling)的妙用AWQ的第二个创新点是引入了缩放因子。量化过程可以表示为 w Round(w × Δ / s) × s / Δ其中w是原始权重Δ是量化因子s是缩放因子这个缩放因子的作用很巧妙对重要权重乘以较大的s相当于减小了量化误差对不重要权重乘以较小的s相当于允许更大的量化误差这样就在硬件友好性和模型精度之间取得了很好的平衡。3. AutoAWQ代码实现详解3.1 量化流程概览AutoAWQ的量化过程主要分为四个步骤提取模型各层的线性模块计算并应用缩放因子计算并应用截断值(clipping)执行权重量化让我们用Qwen1.5模型为例看看代码实现def init_quant(self, n_samples128, seqlen512): # 获取模型各层 modules self.awq_model.get_model_layers(self.model) # 准备校准数据集 samples get_calib_dataset(dataself.calib_data, tokenizerself.tokenizer) samples torch.cat(samples, dim0)3.2 关键步骤解析3.2.1 计算最佳缩放因子这是AWQ最核心的部分代码实现如下def _search_best_scale(self, module, prev_op, layers, inp, module2inspectNone): # 合并所有权重 weight torch.cat([_m.weight for _m in layers], dim0) # 计算权重的相对大小 w_scale weight.abs() / (weight.abs().amax(dim1, keepdimTrue) 1e-6) w_mean w_scale.mean(0) # 计算输入激活的平均值 x_mean inp.abs().view(-1, inp.shape[-1]).mean(0) # 网格搜索寻找最佳比例因子 best_error float(inf) for ratio in range(n_grid): ratio ratio / n_grid if self.duo_scaling: scales (x_mean.pow(ratio) / (w_mean.pow(1-ratio) 1e-4)).clamp(min1e-4) else: scales x_mean.pow(ratio).clamp(min1e-4).view(-1) # 应用量化并计算误差 loss ((fp16_output - int_w_output).float().pow(2).mean().item()) if loss best_error: best_error loss best_scales scales.clone() return best_scales这段代码做了几件重要的事情计算权重和输入激活的统计特性使用网格搜索寻找最优的缩放因子选择使量化误差最小的缩放方案3.2.2 权重量化实现找到最佳参数后实际的量化过程是这样的def _apply_quant(self, module, named_linears): for name, linear_layer in named_linears.items(): # 将权重转换为INT4 linear_layer.weight.data, scales, zeros self.pseudo_quantize_tensor( linear_layer.weight.data ) # 根据量化方式创建对应的线性层 if self.version gemm: q_linear WQLinear_GEMM.from_linear( linearlinear_layer, w_bitself.w_bit, group_sizeself.group_size, scalesscales, zeroszeros ) # 替换原始线性层 set_op_by_name(module, name, q_linear)量化后的权重会以特殊的格式存储通常是每组权重共享一个scale和zero point以节省存储空间。4. AWQ的实际应用效果4.1 精度与速度的权衡在实际测试中AWQ量化后的模型表现出几个特点模型大小大幅减小4bit量化后约为原模型的1/4推理速度理论上应该更快但因为需要反量化操作有时反而比FP16慢精度损失通常在1%以内对大多数应用影响不大4.2 不同配置的影响AutoAWQ提供了几个重要参数可以调整group_size量化组大小默认128w_bit量化位数通常是4网格搜索点数默认20测试表明增加网格点数如从20到100对最终精度提升有限但会增加量化时间。因此通常使用默认值就能获得不错的效果。5. 与其他量化方法的对比5.1 AWQ vs GPTQGPTQ是另一种流行的4bit量化方法两者的主要区别在于GPTQ需要校准数据AWQ不需要GPTQ是逐层量化AWQ是全局优化AWQ考虑了激活分布GPTQ只考虑权重5.2 AWQ vs SqueezeLLMSqueezeLLM使用了3bit量化比AWQ更激进模型更小但精度损失更大需要特殊的稀疏化处理硬件支持不如4bit方案广泛在实际项目中AWQ通常能在模型大小和推理速度之间取得更好的平衡。特别是在边缘设备上部署大模型时AWQ的优势更加明显。