TensorRT-LLM:英伟达开源的LLM推理优化框架,极致提速GPU大模型部署与运行
TensorRT-LLM是NVIDIA推出的开源大语言模型(LLM)推理优化框架,专为NVIDIA全系列GPU量身打造。该框架整合了投机解码、专家并行、KV-Cache智能管理、低精度量化等前沿技术...
TensorRT-LLM是NVIDIA推出的开源大语言模型(LLM)推理优化框架,专为NVIDIA全系列GPU量身打造。该框架整合了投机解码、专家并行、KV-Cache智能管理、低精度量化等前沿技术...
SGLang是一款开源的大模型高性能推理框架,主打低延迟、高吞吐量的模型推理能力,原生支持结构化生成,创新采用RadixAttention技术实现KV缓存高效复用,兼容主流大模型与多...
D4RT是由Google DeepMind主导开发的开源4D重建与跟踪框架,核心是通过一套统一架构,从普通2D视频中精准还原动态场景的3D几何结构与时间维度的运动轨迹(即4D建模)。该框架...
FlowAct-R1是字节跳动开源的实时交互式数字人视频生成框架,基于MMDiT架构构建,其通过分块扩散强制策略、结构化记忆库与多阶段蒸馏技术,实现25FPS@480p分辨率、首帧1.5秒...
MiniRAG 是由香港大学数据科学学院开发的开源轻量级检索增强生成(RAG)框架,专为资源受限场景下的小型语言模型(SLM)优化设计。该框架通过语义感知异构图索引机制和轻量...
LightRAG是由HKUDS开源的轻量级检索增强生成(RAG)框架,旨在解决传统RAG系统依赖扁平数据表示、上下文感知不足等痛点。该框架创新性融合知识图谱与向量检索技术,采用双层...
FantasyWorld 是由高德地图(AMAP)与北京邮电大学联合研发的开源 3D 世界建模框架,核心围绕几何一致的世界建模目标,通过在冻结的视频基础模型上增设可训练的几何分支,实...
Stable Video Infinity(简称 SVI)是由 EPFL 旗下 VITA 实验室开发的开源超长视频生成项目,核心依托 “Error Recycling(误差回收)” 技术,突破传统视频生成的长度限制...
TwinFlow 是一款面向大模型「单步生成(One-step Generation)」的开源项目,核心目标是解决传统扩散模型在图像生成任务中存在的「生成步数多、推理速度慢、资源消耗高」等...
UltraEval-Audio是全球首个开源的音频大模型专属评测框架,聚焦语音理解与语音生成类任务的全维度、标准化评估。该框架聚合34个权威基准数据集,覆盖语音、声音、医疗、音乐...
RayAI是一款基于Ray分布式计算框架构建的智能体运行时框架,专为AI智能体、MCP服务器和代码沙箱场景设计。它以分布式架构为核心,提供框架无关的兼容性、安全隔离的代码执行...
Spatia是一款由悉尼大学、微软研究院等机构联合研发的开源视频生成框架,核心优势在于通过持久化3D场景点云构建可更新的空间记忆,结合动态-静态解纠缠设计,解决了传统视频...
OmniVCus是一个开源的视频生成与编辑框架,核心目标是通过多维度的控制条件,实现对视频内容的精准定制——无论是指定主体的动作与场景搭配,还是通过文本指令修改细节、用...
ideoPipe是一款基于C++开发的轻量级开源视频分析与结构化框架,旨在简化计算机视觉算法的集成流程,支持x86_64/aarch64架构的Ubuntu系统及NVIDIA GPU、华为昇腾、瑞芯微RK3...
InstanceAssemble是一款面向布局到图像(Layout-to-Image)生成的开源轻量级框架,该项目聚焦解决传统图像生成技术中“空间布局控制不精准”的核心痛点——无论是稀疏布局(...