TensorRT-LLM:英伟达开源的LLM推理优化框架,极致提速GPU大模型部署与运行
TensorRT-LLM是NVIDIA推出的开源大语言模型(LLM)推理优化框架,专为NVIDIA全系列GPU量身打造。该框架整合了投机解码、专家并行、KV-Cache智能管理、低精度量化等前沿技术...
TensorRT-LLM是NVIDIA推出的开源大语言模型(LLM)推理优化框架,专为NVIDIA全系列GPU量身打造。该框架整合了投机解码、专家并行、KV-Cache智能管理、低精度量化等前沿技术...
vLLM是一款高性能开源大语言模型(LLM)推理与服务库,核心依托PagedAttention分页注意力机制、连续批处理等技术创新,解决传统LLM推理中显存利用率低、延迟高、吞吐量低的...
SGLang是一款开源的大模型高性能推理框架,主打低延迟、高吞吐量的模型推理能力,原生支持结构化生成,创新采用RadixAttention技术实现KV缓存高效复用,兼容主流大模型与多...
Kimi K2.5是由北京月之暗面科技(Moonshot AI)发布的开源多模态大模型,同步上线于Hugging Face官方仓库,是Kimi系列模型的重磅升级版本。其核心定位是“面向全场景的高性...
DeepSeek-OCR 2是由deepseek-ai开源的新一代OCR(光学字符识别)模型,基于视觉因果流设计理念,核心是让AI模拟人类阅读逻辑处理图像与文档,该模型采用DeepEncoder V2架构...
LingBot-Depth是蚂蚁集团旗下灵波科技(Robbyant)开源的高精度空间感知模型,基于创新的掩码深度建模(MDM)范式,无需更换高端硬件,即可将消费级RGB-D相机的原始深度数据...
FrankenMotion是一款开源的部位级人体运动生成与合成框架,项目构建了全球首个具备异步、部位级文本标注的Frankenstein运动数据集,并提出基于扩散模型的部位感知运动生成方...
HeartMuLa 是一套开源的多语言音乐基础模型项目,核心目标是构建全链路的音乐生成与音视频文本处理能力,为开发者、研究者和普通用户提供开箱即用的音乐 AI 工具集。它是首...
D4RT是由Google DeepMind主导开发的开源4D重建与跟踪框架,核心是通过一套统一架构,从普通2D视频中精准还原动态场景的3D几何结构与时间维度的运动轨迹(即4D建模)。该框架...
FlowAct-R1是字节跳动开源的实时交互式数字人视频生成框架,基于MMDiT架构构建,其通过分块扩散强制策略、结构化记忆库与多阶段蒸馏技术,实现25FPS@480p分辨率、首帧1.5秒...