vLLM

Open-R1：开源推理大模型框架，完整复现DeepSeek-R1全训练流程

Open-R1 是由 Hugging Face 团队主导开源的一套完整工程化框架，核心作用是完整复现 DeepSeek-R1 推理型大模型全训练流程。原版 DeepSeek-R1 仅对外发布模型权重，并未开放...

vLLM：高性能开源LLM推理库，低延迟高吞吐且兼容多生态部署解决方案

vLLM是一款高性能开源大语言模型（LLM）推理与服务库，核心依托PagedAttention分页注意力机制、连续批处理等技术创新，解决传统LLM推理中显存利用率低、延迟高、吞吐量低的...

将 LoRA 模型部署为 API 服务：FastAPI + vLLM 集成实战

本文AI铺子详细讲解如何通过 FastAPI（高性能异步 Web 框架） 与 vLLM（高性能 LLM 推理引擎） 集成，实现 LoRA 模型的低延迟、高吞吐量 API 部署。全程基于真实可复现的步...

高并发AI服务部署方案对比：vLLM、TGI 与 FastChat 性能压测报告

在大模型应用日益普及的背景下，如何高效部署AI推理服务成为关键课题。本文聚焦当前主流的三种部署方案 —— vLLM、TGI（Text Generation Inference）与 FastChat，通过构建...