同一个模型为什么有 16GB 和 4GB 两个版本?量化到底省了什么、牺牲了什么?这篇用大白话讲清楚。

同一个模型,为什么有的要几十 GB 显存,有的几 GB 就能跑?差别往往不在"模型不一样",而在"存法不一样"。这种把模型参数用更少比特存下来的技术,就叫量化。这篇用尽量通俗的方式讲清它省了什么、又牺牲了什么。
量化到底在做什么
模型参数是数字。训练时通常用 16 位甚至 32 位浮点数保存,精度高但占地方。量化做的事,是用更少的位数去近似这些数字:比如从 16 位降到 8 位(INT8),甚至 4 位(INT4)。位数越少,每个参数占的空间越小,整个模型体积和运行时显存占用就随之下降。一句话概括——用一点点精度,换大幅的资源节省。
为什么它能省这么多
参数数量决定了模型大小,而每个参数占多少位决定了"乘以几"。从 16 位降到 4 位,理论上权重体积能缩到约四分之一,再配合更省内存的运行时,原本塞不进消费级显卡的模型就跑得动了。这也是量化成为本地部署标配的原因:它直接决定了你那张显卡能不能跑、跑多快。
GGUF、INT4 这些名字怎么分
这里有两层概念容易混。INT8/INT4 指的是"量化到几位的精度";GGUF 是一种文件格式,常见于 llama.cpp 生态,把模型权重、配置和元数据打包在一起,方便分发和加载。前者是"压缩到什么程度",后者是"用什么容器装"。一个 GGUF 文件内部可以是不同量化档位,所以下载时会看到各种以量化等级命名的版本。
代价是什么
天下没有免费的午餐。位数压得越低,精度损失越可能显现:轻则回答略有变化,重则在复杂推理、数学计算上明显变差。而且不同模型、不同任务对量化的耐受度不一样,不能一概而论。还有一个常见误区:量化只减体积、不"增强能力",它让大模型变得能跑,但不会让小模型变大。
怎么选
原则很简单:在硬件允许的范围内,选你能负担的最高精度。显存充裕就用高一点的量化和更长上下文;显存紧张再往下压。选好之后,务必用你实际关心的任务测一测,看质量是否可接受,而不是只看"能跑起来"。具体档位和兼容性以所用运行框架的官方说明为准。
结论:量化是一场有意识的取舍——用可接受的精度损失,换来大幅降低的部署门槛。理解了这个交换,你就能在本地部署时做出清醒的选择。
皮皮 AI 导航
AI 工具榜