自己部署大模型,为什么并发一高就卡?vLLM 靠显存分页和连续批处理,把吞吐拉上去。本文讲原理、上手命令和常见坑。

很多人第一次自己部署大模型,用的是最直接的方式:加载模型、来一个请求算一个。单用户测试还行,一旦并发上来就排长队、显存还浪费。vLLM 是这几年最常用的推理框架之一,核心就是用更聪明的方式管理显存和批处理,把吞吐提上去。
两个关键机制
PagedAttention:它借鉴操作系统的虚拟内存分页,把注意力的键值缓存(KV cache)切成固定大小的块来管理,按需分配、减少碎片。传统做法要为每个请求预留连续的大块显存,浪费严重;分页之后,显存利用率明显提高,能同时服务更多请求。
连续批处理(continuous batching):不等一整批请求都结束才接下一批,而是某个请求一结束就立刻补进新请求。这样 GPU 很少空转,整体吞吐自然上去了。这两点叠加,就是"同样模型、不同框架、速度差好几倍"的主要原因。
上手其实不难
vLLM 提供了 OpenAI 兼容的服务端,启动后你原来的调用代码改个地址就能用。典型步骤是:安装 vLLM,用它的命令行启动服务并指定模型,然后通过 HTTP 接口发请求。几个常调的参数值得记住:显存占用比例(控制给模型留多少显存)、最大上下文长度(太长会吃显存)、以及张量并行度(多卡时如何切分)。具体参数名与默认值以官方文档为准。
几个常见的坑
- 显存 OOM:上下文设得太长、并发开得太大,都会撑爆显存。先小后大逐步压测。
- 模型兼容性:并非所有模型、所有量化格式都被完整支持,部署前先确认该模型在支持列表内。
- 长上下文代价:上下文翻倍,KV 缓存占用也跟着涨,别把"支持超长上下文"当成免费午餐。
什么时候该用它
如果你只是本地偶尔试玩,直接用 Ollama 这类工具更省心;但如果你要对外提供 API、要支撑多用户并发、在意单位成本,vLLM 这类专用推理框架的优势就非常明显。选型的关键不是"谁更快",而是"你的负载形态是什么"。
结论:vLLM 的价值在于把 GPU 用得更满。理解 PagedAttention 与连续批处理这两个机制,再按负载调好显存与并发,你就能用同样的硬件服务更多请求。
皮皮 AI 导航
AI 工具榜