vLLM：高性能开源LLM推理库，低延迟高吞吐且兼容多生态部署解决方案

一、vLLM是什么

vLLM（Very Large Language Model inference）是一款面向大语言模型推理与服务的高性能、易用性优先的开源库，最初由加州大学伯克利分校Sky Computing Lab研发，后发展为社区驱动的开源项目，核心定位是为全球开发者提供“高效、灵活、低成本”的LLM部署与推理解决方案，打破传统推理框架在显存管理、计算效率上的瓶颈，推动大语言模型从实验室快速走向工业落地。

在大语言模型推理落地过程中，传统推理框架（如Hugging Face Transformers + PyTorch）普遍面临三大核心痛点：一是显存利用率低，KV Cache（推理时存储key/value向量的缓存）易产生碎片和冗余，70B参数模型需140GB+显存，GPU利用率常低于30%；二是延迟高，自回归解码的串行特性导致单次生成需数十至数百token，端到端延迟难以压缩；三是吞吐量低，静态批处理模式下，需等待整批请求全部完成才能处理下一批，GPU空闲时间长，且部署成本居高不下。

vLLM的出现正是为了解决上述痛点，其凭借革命性的PagedAttention分页注意力机制与高度工程化的推理流水线，实现了显存利用率、吞吐量与延迟的全方位优化。据官方基准测试，vLLM相较于传统Hugging Face Transformers框架，可实现2-24倍吞吐量提升，显存利用率提升至90%+，P99延迟降低60%以上，且无需修改模型代码，即可快速适配主流开源大模型。

目前，vLLM已成为工业界事实上的LLM推理标准，Hugging Face、NVIDIA、AWS、阿里云、字节跳动等头部机构均将其集成至生产系统，同时支持Python语言开发，社区活跃度极高，开发者可通过官方文档、论坛、Slack等渠道获取技术支持与交流反馈，且项目持续迭代更新，不断完善硬件适配与功能扩展。

二、功能特色

vLLM的核心优势集中在“高性能、高兼容、高灵活、低成本”四大维度，围绕LLM推理与服务的全流程需求，打造了覆盖模型适配、硬件支持、部署方式、性能优化的全场景功能，具体特色如下：

1. 极致推理性能，兼顾低延迟与高吞吐

vLLM通过多重核心技术优化，实现了推理性能的跨越式提升，彻底解决传统框架的性能瓶颈：

• 高效显存管理：基于PagedAttention分页注意力机制，借鉴操作系统虚拟内存分页思想，将KV Cache分割为固定大小的物理块，通过Block Table维护逻辑块与物理块的映射，实现KV Cache的高效分配与释放，消除内存碎片，显存利用率提升至90%+，并发数提升8倍；

• 动态连续批处理：支持连续批处理（Continuous Batching），打破传统静态批处理的限制，每生成1个token后重新编排批次，完成生成的请求释放资源，新请求动态插入空闲slot，同时实现Prefill（预填充）与Decode（解码）阶段并行处理，GPU利用率从不足60%提升至90%+，吞吐量提升3-10倍，延迟降低80%；

• 多量化方案支持：兼容GPTQ、AWQ、AutoRound等主流量化方案，支持INT4/INT8/FP8等多种量化精度，可在几乎不损失模型效果的前提下，进一步降低显存占用，适配低配置硬件设备；

• 额外性能优化：集成推测解码、分块预填充等技术，进一步压缩推理延迟；适配FlashAttention/FlashInfer等优化CUDA内核，结合CUDA/HIP图实现快速模型执行，注意力与FFN计算速度提升2-4倍。

2. 全生态兼容，上手门槛极低

vLLM深度适配主流LLM生态与开发习惯，无需复杂配置与代码修改，即可快速上手：

• 模型生态兼容：无缝对接Hugging Face Transformers生态，支持绝大多数主流开源模型，包括Llama系列、GPT-2、OPT、Mixtral/Deepseek-V2等混合专家模型，LLaVA等多模态模型，以及E5-Mistral等嵌入模型，无需修改模型代码，直接加载Hugging Face模型即可运行推理；

• 接口兼容友好：提供与OpenAI兼容的API服务端，开发者可直接使用OpenAI的客户端代码调用vLLM服务，无需修改业务逻辑，轻松实现现有LLM服务的迁移升级；

• 开发工具适配：支持与FastChat等开源项目集成，可作为FastChat的推理引擎，提供更高吞吐量的模型推理服务；同时适配魔搭社区官方镜像，镜像中已预装vLLM，开发者可直接使用，简化环境配置流程。

3. 多硬件适配，部署场景灵活

vLLM打破硬件限制，全面适配各类主流计算硬件，支持单机到多机的灵活部署：

• 多硬件兼容：支持NVIDIA/AMD/Intel GPU/CPU、TPU等主流硬件，同时兼容Intel Gaudi、IBM Spyre、华为昇腾等硬件插件，可根据实际部署环境选择合适的硬件设备，降低硬件成本；

• 分布式推理支持：支持张量并行、流水线并行、数据并行、专家并行等多种分布式推理策略，可实现单机多GPU、多机多GPU部署，解决大模型无法放入单个GPU或单个节点的问题，满足大规模LLM服务的部署需求；

• 多样化部署方式：支持离线推理、在线API服务部署，同时提供Helm Chart部署方案，可快速实现Kubernetes环境下的标准化部署，支持从S3等对象存储拉取模型，适配企业级规模化部署场景。

4. 工程化特性完善，适配生产需求

vLLM在易用性之外，完善了各类工程化特性，可直接适配生产环境的复杂需求：

• 实用功能扩展：支持流式输出、前缀缓存、多LoRA加载、工具调用、结构化输出等功能，满足对话生成、代码补全、多模态推理等各类实际业务场景需求；

• 性能监控与调优：提供内置的性能基准测试工具（benchmarks）、Profiler性能分析工具，以及NSYS性能可视化工具，可快速分析内核/算子性能，定位性能瓶颈，实现推理性能的精准调优；

• 工程化配置规范：通过pre-commit钩子实现自动格式化（ruff、clang-format）、拼写检查、Markdown校验等，保障代码质量；提供夜间构建服务，为main分支的每个提交生成预编译wheel包，方便开发者获取最新测试版，快速验证新功能；

• 安全与漏洞管理：通过GitHub Security Advisories披露漏洞，建立了完善的漏洞管理流程，保障生产环境部署的安全性。

vLLM核心功能特色与性能提升对应表

三、技术细节

vLLM的高性能与高灵活性，源于其底层的系统性技术创新，核心围绕“显存管理、计算优化、调度策略、分布式扩展”四大维度展开，每个技术细节都针对性解决了传统LLM推理的核心痛点，且实现了工程化落地，具体技术细节如下：

1. 核心创新：PagedAttention分页注意力机制

PagedAttention是vLLM最核心的技术创新，彻底重构了大模型推理中KV Cache的内存管理方式，其灵感直接源自操作系统中的虚拟内存分页机制，核心目标是解决KV Cache的内存碎片与冗余问题，提升显存利用率。

其核心实现细节分为三个部分：

• 物理块池（Physical Block Pool）：vLLM启动时，会在GPU显存中预分配一大块连续内存，将其分割为固定大小的物理块（通常每个块包含16个token的KV Cache数据），由BlockAllocator（块分配器）统一管理，通过空闲列表（free_list）维护空闲的物理块ID，实现物理块的O(1)时间复杂度分配与释放，无搜索开销，且无需移动块内容，仅更新映射关系，实现零拷贝迁移；

• Block Table（块表）：每个推理请求会维护一个独立的Block Table，用于记录该请求的KV Cache逻辑块与物理块的映射关系，逻辑块对应请求的token序列分段，物理块则是实际存储KV数据的内存块，通过这种映射关系，可实现非连续物理块的连续逻辑访问，彻底消除内存碎片；

• 块级注意力计算内核：vLLM实现了定制化的CUDA内核（paged_attention_v1.cu），支持对非连续物理块的KV Cache进行高效注意力计算，核心逻辑是先加载当前请求的查询向量（Q），再通过Block Table找到对应的物理块，逐块加载键向量（K）和值向量（V），计算注意力分数并完成加权求和，最终输出注意力计算结果，确保非连续内存访问的高效性，同时兼容FlashAttention等优化内核，进一步提升计算速度。

2. 效率倍增：连续批处理（Continuous Batching）调度策略

大模型推理分为Prefill（预填充）和Decode（解码）两个阶段：Prefill阶段一次性计算输入prompt所有token的KV Cache，速度较快；Decode阶段逐token生成，每次仅计算1个token，速度较慢，传统静态批处理模式下，需等待整批请求全部完成Decode阶段，才能处理下一批请求，导致GPU在Decode阶段长时间空闲，利用率极低。

vLLM的连续批处理策略彻底打破了这种限制，核心原理是“逐token动态调度，批次实时重组”，具体实现细节如下：

• 动态批次重组：每完成1个token的Decode生成后，vLLM会重新编排当前批次，对已经完成生成任务（达到预设token长度或停止条件）的请求，释放其占用的物理块与计算资源，同时将新进入的请求动态插入到空闲的资源slot中，实现批次的实时更新，避免GPU空闲；

• Prefill与Decode并行：通过智能调度，将不同请求的Prefill阶段与Decode阶段并行处理，例如，当一批请求处于Decode阶段（逐token生成）时，调度新的请求进入Prefill阶段（计算prompt的KV Cache），最大化利用GPU的计算资源，将GPU利用率从不足60%提升至90%以上；

• 优先级调度支持：内置优先级调度机制，可对低延迟请求（如实时对话服务）设置更高优先级，确保这类请求优先获得计算资源，兼顾吞吐量与延迟，适配不同业务场景的需求（如实时对话需低延迟，离线批量推理需高吞吐量）。

3. 底层优化：计算内核与硬件适配技术

vLLM在计算层面进行了深度优化，结合各类硬件特性，进一步提升推理效率，同时实现了多硬件适配，具体细节如下：

• 计算内核优化：集成FlashAttention、FlashInfer等业界领先的优化CUDA内核，这些内核通过内存访问模式优化、计算与访存重叠等技术，大幅提升注意力计算与FFN计算的效率，相比传统内核，计算速度提升2-4倍；同时，vLLM自身实现了定制化的CUDA内核（如PagedAttention内核、量化内核），针对LLM推理场景进行专项优化，进一步压缩计算延迟；

• 多硬件适配技术：针对不同硬件架构，提供对应的适配方案，例如，针对NVIDIA GPU，优化CUDA内核与显存访问；针对AMD GPU，适配HIP框架；针对Intel CPU/GPU，优化计算调度；针对TPU、Intel Gaudi等特殊硬件，提供插件接口，可通过自定义插件实现硬件适配，同时支持多硬件混合部署，灵活利用现有硬件资源；

• 量化技术适配：支持GPTQ、AWQ、AutoRound等多种主流量化方案，针对不同量化精度（INT4/INT8/FP8），实现了对应的量化内核优化，在量化过程中，通过精度补偿策略，最大限度减少模型效果损失，同时大幅降低显存占用，例如，INT4量化可将模型显存占用降低75%，让大模型能够在低配置GPU上运行推理。

4. 分布式推理技术细节

vLLM支持多种分布式推理策略，可根据模型大小与部署环境，灵活选择合适的分布式方案，具体技术细节如下：

• 张量并行（Tensor Parallelism）：适用于模型太大无法放入单个GPU，但可放入单个节点多GPU的场景，核心原理是将模型的层分割到不同的GPU上，每个GPU负责一部分层的计算，同时通过通信机制实现层间数据交互，目前支持Megatron-LM的张量并行算法，单节点部署时，可通过Python原生多进程管理分布式运行时，无需额外依赖Ray框架，只需设置tensor_parallel_size参数（等于GPU数量），即可实现多GPU张量并行推理；

• 流水线并行（Pipeline Parallelism）：适用于模型太大无法放入单个节点，或单个节点多GPU无法均匀划分模型大小的场景，核心原理是将模型沿着层分割到不同的节点（或GPU）上，每个节点（或GPU）负责一部分层的计算，请求按流水线方式依次经过各个节点，完成推理，目前作为在线服务的测试功能，支持LLaMa、GPT2、Mixtral等主流模型，需设置pipeline_parallel_size参数（等于节点数量或GPU数量），同时可与张量并行结合使用；

• 多节点分布式部署：当单个节点GPU数量不足时，可通过Ray框架构建多节点集群，实现多机多GPU部署，核心步骤是先启动头节点与工作节点，构建Ray集群，确保所有节点的执行环境（Python环境、模型路径）一致（推荐使用Docker镜像），然后设置tensor_parallel_size（每个节点的GPU数量）与pipeline_parallel_size（节点数量），即可实现多节点分布式推理，部署方式与单机推理一致，无需修改额外代码；

• 分布式执行后端：默认情况下，单节点多GPU部署使用Python多进程（mp）作为执行后端，多节点部署使用Ray作为执行后端，开发者可通过distributed-executor-backend参数手动指定，灵活适配不同部署场景。

四、应用场景

vLLM凭借其高性能、高兼容、灵活部署的特点，适配从个人开发者到企业级的各类LLM推理部署场景，覆盖离线推理、在线服务、科研测试等多个领域，具体应用场景如下，每个场景均结合实际需求，说明vLLM的应用方式与优势：

1. 个人开发者与中小团队：快速实现LLM离线推理与轻量服务

个人开发者与中小团队通常面临硬件资源有限、开发成本低、上手门槛低的需求，vLLM的易用性与高性能可完美适配这类场景：

• 离线推理场景：开发者可通过vLLM快速实现大模型离线批量推理，例如，批量处理文本生成、摘要总结、翻译、代码补全等任务，相比传统框架，vLLM可在普通消费级GPU（如NVIDIA RTX 3090/4090）上运行70B量化模型，且推理速度更快，批量处理效率提升显著；同时支持多LoRA加载，可快速切换不同的模型微调版本，满足多样化推理需求；

• 轻量在线服务：通过vLLM的API服务端功能，快速部署轻量级LLM在线服务，用于个人项目、内部工具等场景，例如，搭建个人对话机器人、内部文档问答工具、代码补全插件等，无需复杂的部署配置，通过简单命令即可启动API服务，且支持流式输出，提升用户体验，同时高吞吐量特性可支持多个用户同时访问，无需担心性能瓶颈。

2. 企业级场景：大规模LLM在线服务部署

企业级场景对LLM服务的吞吐量、延迟、稳定性、规模化部署能力要求较高，vLLM的工程化特性与分布式推理能力可完美适配，主要应用于：

• 高吞吐对话服务：搭建企业级对话机器人、智能客服等服务，这类服务通常面临大量并发请求，vLLM的连续批处理与分布式推理能力，可实现高吞吐量、低延迟的推理响应，例如，电商智能客服，可同时处理数千条用户咨询，P99延迟控制在数百毫秒内，且显存利用率高，可降低硬件部署成本；

• 内容生成服务：用于内容创作、文案生成、广告撰写等场景，企业可部署大规模LLM服务，支持内部员工或外部用户的批量内容生成需求，vLLM的离线推理与在线服务结合模式，可实现批量任务异步处理、实时请求快速响应，提升内容生成效率；

• 多模态推理服务：结合LLaVA等多模态模型，部署多模态推理服务，用于图像问答、图像生成、视频字幕生成等场景，vLLM的多模型兼容特性，可快速加载多模态模型，且高性能推理能力可支持实时多模态交互；

• 企业内部工具：部署企业内部文档问答、代码评审、数据处理等工具，通过vLLM的前缀缓存、多LoRA加载等功能，适配企业内部不同业务场景的需求，同时支持Kubernetes部署，可实现服务的规模化扩展与稳定运行。

3. 科研机构：LLM性能测试与技术研究

科研机构在大模型研究过程中，通常需要进行大量的性能测试、模型对比、技术创新验证，vLLM的高性能与灵活扩展能力可提供有力支持：

• 模型性能对比测试：科研人员可通过vLLM的基准测试工具，快速对比不同大模型（如Llama 3、Mixtral、Qwen等）的推理性能（吞吐量、延迟、显存占用），同时可对比不同量化方案、不同硬件环境下的模型性能，为模型选择与优化提供数据支撑；

• 推理技术研究：可基于vLLM的开源代码，开展LLM推理优化技术研究，例如，改进PagedAttention机制、优化连续批处理策略、适配新型硬件架构等，vLLM完善的代码结构与插件系统，可降低研究与开发成本，加速技术落地；

• 大模型部署技术研究：研究多机多GPU分布式推理、模型压缩与量化、大规模服务调度等技术，vLLM的分布式推理框架与工程化配置，可作为研究的基础平台，快速验证部署方案的可行性与性能。

4. 特殊场景：定制化硬件适配与边缘部署

vLLM的多硬件适配特性，可支持一些特殊场景的LLM部署，满足个性化需求：

• 定制化硬件部署：针对企业内部的特殊硬件环境（如华为昇腾、Intel Gaudi等），可通过vLLM的插件接口，开发自定义硬件插件，实现vLLM在特殊硬件上的适配，充分利用现有硬件资源，降低部署成本；

• 边缘设备部署：通过量化技术与硬件优化，vLLM可适配边缘设备（如边缘服务器、工业网关）的LLM部署需求，例如，在工业场景中，部署轻量级LLM服务，实现实时数据处理、设备故障诊断等功能，无需依赖云端服务，提升响应速度与安全性；

• 混合硬件部署：结合不同类型的硬件（如GPU+CPU、多厂商GPU混合），实现LLM服务的混合部署，灵活分配计算任务，例如，将Prefill阶段分配给GPU处理，Decode阶段分配给CPU处理，兼顾性能与成本。

五、使用方法

vLLM的使用方法简洁易懂，支持pip安装与源码编译两种方式，可快速实现离线推理、在线API服务、分布式推理等多种场景的部署，以下详细介绍具体使用方法，包含步骤说明、代码示例与命令，确保不同水平的开发者都能快速上手：

1. 环境准备与安装

vLLM的安装依赖Python 3.8及以上版本，支持Windows、Linux、macOS（仅CPU/GPU支持有限）系统，核心依赖包括PyTorch、CUDA（推荐11.8及以上版本，用于GPU加速），以下是两种安装方式：

（1）pip快速安装（推荐）

对于大多数开发者，推荐使用pip安装，可直接获取预编译的wheel包，无需手动编译，命令如下：

# 基础安装（支持CPU与NVIDIA GPU）
pip install vllm

# 安装支持AMD GPU的版本（需提前安装HIP框架）
pip install vllm[amd]

# 安装支持Ray（用于多节点分布式推理）的版本
pip install vllm[ray]

# 安装支持量化方案（GPTQ/AWQ）的版本
pip install vllm[quantization]

# 安装最新测试版（夜间构建，需指定镜像源）
pip install vllm --pre --index-url https://wheels.vllm.ai

（2）源码编译安装（用于定制化需求）

如果需要修改源码、适配定制化硬件或功能，可通过源码编译安装，步骤如下：

# 克隆GitHub仓库
git clone https://github.com/vllm-project/vllm.git
cd vllm

# 安装依赖
pip install -r requirements.txt

# 编译并安装vLLM（需安装CUDA Toolkit）
python setup.py install

（3）验证安装

安装完成后，可通过以下代码验证是否安装成功：

from vllm import LLM, SamplingParams

# 定义采样参数（控制生成效果）
sampling_params = SamplingParams(temperature=0.7, max_tokens=100)

# 加载模型（使用小型模型快速验证，无需大量显存）
llm = LLM(model="facebook/opt-125m")

# 生成文本
prompts = ["Hello, my name is", "The future of AI is"]
outputs = llm.generate(prompts, sampling_params)

# 打印输出结果
for output in outputs:
  prompt = output.prompt
  generated_text = output.outputs[0].text
  print(f"Prompt: {prompt}")
  print(f"Generated text: {generated_text}\n")

如果能够成功加载模型并生成文本，说明安装成功。

2. 快速上手：离线推理（最常用场景）

离线推理是vLLM最常用的场景，可快速加载Hugging Face模型，实现批量文本生成，步骤如下：

（1）基础离线推理

from vllm import LLM, SamplingParams

# 1. 配置采样参数（根据需求调整）
# temperature：生成随机性，0表示确定性生成，越高随机性越强（0-1之间）
# max_tokens：最大生成token数
# top_p：核采样参数，控制生成文本的多样性
sampling_params = SamplingParams(
  temperature=0.8,
  max_tokens=200,
  top_p=0.95,
  stop=["\n\n"] # 生成停止条件
)

# 2. 加载模型（支持本地模型与Hugging Face远程模型）
# 远程模型：直接指定模型名称，自动下载
llm = LLM(
  model="meta-llama/Llama-3.1-8B-Instruct", # Hugging Face远程模型
  tensor_parallel_size=1, # GPU数量，1表示单GPU
  gpu_memory_utilization=0.9 # 显存利用率阈值，0.9表示使用90%的显存
)

# 3. 准备输入prompt（支持批量输入）
prompts = [
  "请总结vLLM的核心优势：",
  "编写一段Python代码，使用vLLM实现离线推理：",
  "解释什么是PagedAttention机制，通俗易懂："
]

# 4. 执行推理并获取结果
outputs = llm.generate(prompts, sampling_params)

# 5. 解析输出结果
for i, output in enumerate(outputs):
  prompt = output.prompt
  generated_text = output.outputs[0].text
  print(f"第{i+1}个请求：")
  print(f"Prompt: {prompt}")
  print(f"Generated text: {generated_text}\n")

（2）加载量化模型（降低显存占用）

如果硬件显存有限，可加载量化模型（如GPTQ、AWQ量化），步骤如下：

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.7, max_tokens=150)

# 加载GPTQ量化模型（需提前安装vllm[quantization]）
llm = LLM(
  model="TheBloke/Llama-3.1-8B-Instruct-GPTQ",
  tensor_parallel_size=1,
  gpu_memory_utilization=0.9,
  quantization="gptq" # 指定量化方案
)

# 加载AWQ量化模型
# llm = LLM(
#   model="TheBloke/Llama-3.1-8B-Instruct-AWQ",
#   tensor_parallel_size=1,
#   gpu_memory_utilization=0.9,
#   quantization="awq"
# )

prompts = ["请介绍vLLM的使用方法："]
outputs = llm.generate(prompts, sampling_params)
print(outputs[0].outputs[0].text)

（3）多LoRA加载（适配微调模型）

如果需要使用多个微调后的LoRA模型，可通过以下方式加载，实现快速切换：

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.7, max_tokens=100)

# 加载基础模型，并指定多个LoRA模型路径
llm = LLM(
  model="meta-llama/Llama-3.1-8B-Instruct",
  tensor_parallel_size=1,
  lora_configs=[
    {"path": "./lora1", "alpha": 16}, # 第一个LoRA模型
    {"path": "./lora2", "alpha": 16}  # 第二个LoRA模型
  ]
)

# 生成时指定使用的LoRA模型（通过lora_id指定）
outputs = llm.generate(
  prompts=["请使用第一个LoRA模型生成文本："],
  sampling_params=sampling_params,
  lora_id=0 # 使用第一个LoRA模型
)
print(outputs[0].outputs[0].text)

3. 在线服务：部署OpenAI兼容的API服务

vLLM支持部署与OpenAI兼容的API服务，可直接使用OpenAI的客户端代码调用，步骤如下：

（1）启动API服务（命令行方式）

# 单GPU启动API服务（加载远程模型）
vllm serve meta-llama/Llama-3.1-8B-Instruct --tensor-parallel-size 1 --port 8000

# 单GPU启动API服务（加载本地模型）
vllm serve ./local-model-path --tensor-parallel-size 1 --port 8000

# 多GPU启动API服务（张量并行）
vllm serve meta-llama/Llama-3.1-70B-Instruct --tensor-parallel-size 4 --port 8000

# 多GPU+流水线并行启动API服务（测试功能）
vllm serve meta-llama/Llama-3.1-70B-Instruct --tensor-parallel-size 4 --pipeline-parallel-size 2 --port 8000

# 加载量化模型并启动API服务
vllm serve TheBloke/Llama-3.1-8B-Instruct-GPTQ --quantization gptq --port 8000

启动成功后，API服务将运行在http://localhost:8000，支持OpenAI兼容的接口（如/completions、/chat/completions）。

（2）调用API服务（Python客户端示例）

可使用OpenAI的Python客户端调用服务，无需修改代码，示例如下：

from openai import OpenAI

# 连接vLLM API服务
client = OpenAI(
  base_url="http://localhost:8000/v1",
  api_key="dummy-key" # 占位符，无需实际API密钥
)

# 调用聊天接口（Chat Completions）
response = client.chat.completions.create(
  model="meta-llama/Llama-3.1-8B-Instruct",
  messages=[
    {"role": "user", "content": "请介绍vLLM的核心功能"}
  ],
  temperature=0.7,
  max_tokens=200,
  stream=True # 流式输出
)

# 打印流式输出结果
for chunk in response:
  if chunk.choices[0].delta.content:
    print(chunk.choices[0].delta.content, end="")

# 调用文本生成接口（Completions）
response = client.completions.create(
  model="meta-llama/Llama-3.1-8B-Instruct",
  prompt="请总结vLLM的优势：",
  temperature=0.7,
  max_tokens=200
)

print(response.choices[0].text)

4. 分布式推理：多机多GPU部署（Ray集群方式）

当模型太大无法放入单个节点时，可通过Ray集群实现多机多GPU部署，步骤如下：

（1）准备环境

所有节点需安装相同版本的vLLM、Ray、PyTorch，且确保节点间网络互通，推荐使用Docker镜像确保环境一致（参考魔搭社区vLLM镜像）。

（2）启动Ray集群

1. 选择一个节点作为头节点，执行以下命令：

  ray start --head --node-ip-address=头节点IP --port=6379 --dashboard-port=8265

启动成功后，会输出连接命令（包含头节点IP与密码），例如：`ray start --address='头节点IP:6379' --password='xxx'`。

2. 其他节点作为工作节点，执行头节点输出的连接命令，加入Ray集群：

  ray start --address='头节点IP:6379' --password='xxx'

3. 检查集群状态（任意节点执行）：

  ray status

若能看到所有节点与GPU信息，说明集群搭建成功。

（3）运行分布式推理

from vllm import LLM, SamplingParams

sampling_params = SamplingParams(temperature=0.7, max_tokens=100)

# 多机多GPU分布式推理（张量并行+流水线并行）
llm = LLM(
  model="meta-llama/Llama-3.1-70B-Instruct",
  tensor_parallel_size=8, # 每个节点的GPU数量（假设每个节点8个GPU）
  pipeline_parallel_size=2, # 节点数量（假设2个节点）
  distributed_executor_backend="ray" # 指定使用Ray作为执行后端
)

prompts = ["请介绍分布式推理的实现方式："]
outputs = llm.generate(prompts, sampling_params)
print(outputs[0].outputs[0].text)

5. Kubernetes部署（企业级场景）

vLLM提供Helm Chart部署方案，可快速实现Kubernetes环境下的标准化部署，步骤如下：

# 克隆vLLM仓库，获取Helm Chart
git clone https://github.com/vllm-project/vllm.git
cd vllm/helm/vllm

# 修改values.yaml配置（模型路径、GPU数量、端口等）
# 例如，设置模型路径为S3对象存储路径，GPU数量为4，端口为8000

# 部署vLLM服务
helm install vllm . -n vllm-namespace --create-namespace

# 查看部署状态
kubectl get pods -n vllm-namespace

# 暴露服务（NodePort方式）
kubectl expose deployment vllm -n vllm-namespace --type=NodePort --port=8000 --target-port=8000

部署成功后，可通过Kubernetes集群的NodePort访问vLLM API服务，支持规模化扩展与负载均衡。

六、常见问题解答（FAQ）

1. 安装vLLM失败，提示CUDA版本不兼容怎么办？

vLLM的GPU加速功能依赖CUDA Toolkit，不同版本的vLLM对CUDA版本有明确要求（通常支持CUDA 11.8及以上版本），若提示CUDA版本不兼容，可通过以下两种方式解决：一是升级CUDA Toolkit至兼容版本（推荐11.8或12.1），注意CUDA版本需与PyTorch版本匹配，升级完成后重新安装vLLM；二是安装CPU版本的vLLM，无需CUDA支持，命令为pip install vllm[cpu]，但CPU版本推理速度较慢，仅适合测试场景；三是使用预编译的wheel包，指定与当前CUDA版本匹配的版本，例如，CUDA 12.1版本可使用命令pip install vllm --pre --index-url https://wheels.vllm.ai --extra-index-url https://download.pytorch.org/whl/cu121。

2. 加载模型时提示“Out of memory”（显存不足），如何解决？

显存不足是加载大模型时最常见的问题，可通过以下几种方式逐步解决：首先，使用量化模型，通过INT4/INT8量化可大幅降低显存占用，例如，70B模型INT4量化后，显存占用可从140GB降至35GB左右，加载时需指定quantization参数（如quantization="gptq"）；其次，调整显存利用率阈值，通过gpu_memory_utilization参数设置，例如，gpu_memory_utilization=0.9表示使用90%的GPU显存，可适当提高该值（不超过0.95），充分利用显存；再次，使用分布式推理，通过tensor_parallel_size参数设置多个GPU，将模型分割到多个GPU上，例如，70B模型可使用4个GPU，设置tensor_parallel_size=4；最后，减少模型加载时的缓存占用，可通过disable_custom_allocation=True参数禁用自定义内存分配，或使用load_format="auto"参数自动选择合适的模型加载格式，减少显存占用。

3. 推理性能不如预期，如何优化？

若vLLM推理性能（吞吐量、延迟）不如官方基准测试，可从以下几个方面进行优化：一是检查硬件环境，确保GPU支持Tensor Cores（如NVIDIA Turing、Ampere架构），且CUDA版本已升级至11.8及以上，Tensor Cores可大幅提升注意力计算效率；二是调整采样参数，减少max_tokens（最大生成token数）、降低temperature（生成随机性），可提升推理速度，同时开启streaming=True（流式输出），可降低感知延迟；三是优化批处理设置，通过max_num_batched_tokens参数调整批处理大小，例如，设置max_num_batched_tokens=4096，增大批处理规模，提升吞吐量；四是使用优化内核，确保已安装FlashAttention/FlashInfer，vLLM会自动集成这些内核，若未生效，可手动指定enable_flash_attention=True参数；五是检查模型格式，优先使用Hugging Face的safetensors格式模型，加载速度与推理速度均优于bin格式；六是进行性能分析，使用vLLM内置的Profiler工具（vllm profile命令），定位性能瓶颈，针对性优化。

4. 部署多节点分布式推理时，节点间无法通信怎么办？

多节点分布式推理依赖节点间的网络通信，若出现无法通信的问题，可从以下几个方面排查：首先，检查所有节点的网络是否互通，确保头节点的IP地址可被所有工作节点访问，关闭节点间的防火墙（或开放Ray集群所需端口，如6379、8265）；其次，确保所有节点的Ray版本一致，且启动Ray集群时，头节点的--node-ip-address参数设置正确（需设置为节点的公网或内网IP，不可设置为127.0.0.1）；再次，检查所有节点的执行环境是否一致，包括Python版本、vLLM版本、PyTorch版本、模型路径，推荐使用Docker镜像部署，确保环境统一；最后，若使用云服务器部署，需确保云服务器的安全组已开放相关端口，且节点间处于同一局域网或VPC内，避免网络隔离。

5. 加载Hugging Face模型时，提示“Model not found”或下载缓慢怎么办？

若提示“Model not found”，需检查模型名称是否正确，确保模型名称与Hugging Face Hub上的名称一致（可登录Hugging Face Hub搜索确认），若加载本地模型，需确保模型路径正确，且模型文件完整（包含config.json、model.safetensors等文件）；若下载模型缓慢，可通过以下方式解决：一是设置Hugging Face镜像源，例如，设置环境变量export HF_ENDPOINT=https://mirror.sjtu.edu.cn/huggingface，使用国内镜像源加速下载；二是手动下载模型，登录Hugging Face Hub下载模型文件，解压至本地，然后通过model="./本地模型路径"加载本地模型，避免在线下载；三是使用魔搭社区的镜像，魔搭社区已预装vLLM与常用大模型，可直接使用，无需额外下载。

6. 使用量化模型时，生成效果变差怎么办？

量化模型在降低显存占用的同时，可能会轻微损失模型生成效果，可通过以下方式改善：一是选择合适的量化方案与精度，优先使用AWQ/GPTQ量化方案，这两种方案的量化效果优于普通INT8量化，精度上可根据需求选择INT8（效果较好，显存占用降低50%）或INT4（显存占用降低75%，效果略有损失）；二是调整量化参数，加载量化模型时，可设置quantization_config参数，调整量化精度补偿策略，例如，增大group_size（分组大小），减少量化误差；三是使用量化微调模型，选择经过量化微调的模型（如Hugging Face Hub上带有“GPTQ-finetuned”“AWQ-finetuned”标签的模型），这类模型在量化后，生成效果更优；四是关闭部分优化，若生成效果损失严重，可关闭enable_flash_attention等优化参数，牺牲部分性能，换取更好的生成效果。

七、相关链接

• GitHub仓库：https://github.com/vllm-project/vllm

• 官方文档：https://docs.vllm.ai

• 官方论文：https://arxiv.org/pdf/2309.06180.pdf

• 官方论坛：https://discuss.vllm.ai

八、总结

vLLM是由加州大学伯克利分校Sky Computing Lab发起的高性能开源大语言模型推理与服务库，核心依托PagedAttention分页注意力机制、连续批处理、底层计算内核优化等技术创新，彻底解决了传统LLM推理中显存利用率低、延迟高、吞吐量低、部署成本高的核心痛点。其具备与Hugging Face生态无缝兼容、多硬件适配、多量化方案支持、OpenAI兼容API等优势，支持单机单卡到多机多卡的分布式推理，可快速实现LLM离线推理与在线服务部署，兼顾易用性与高性能，适配个人开发者、科研机构及企业级等各类LLM推理部署场景。vLLM完善了工程化特性，包括流式输出、多LoRA加载、性能监控与调优、安全漏洞管理等，可直接适配生产环境的复杂需求，目前已成为工业界广泛采用的LLM推理标准之一，被Hugging Face、NVIDIA、AWS、阿里云等头部机构集成至生产系统。整体而言，vLLM以“高效、灵活、低成本”为核心定位，无需复杂配置与代码修改，即可帮助开发者快速实现大模型的高效部署与推理，大幅降低LLM推理落地的门槛与成本，是LLM从实验室走向工业落地的重要工具。