Strata：消费级PC运行超大MoE模型的C++推理引擎
Strata是C++开发的MoE大模型推理引擎，分层存储突破显存限制，12G显存NVIDIA显卡本地运行125B Qwen3.8-Flash-Next，支持OpenAI兼容API，超长上下文，Windows/Linux一键部署...
AngelSpec：腾讯开源统一投机解码草稿模型训练框架
AngelSpec 是腾讯混元AI基础设施团队开源、基于PyTorch构建的工业级投机解码（Speculative Decoding）草稿模型全流程训练框架，框架打通训练、在线评估、分布式部署链路，原...
RedKnot：小红书开源的长上下文LLM推理优化工具，分头KV缓存加速长文本服务
RedKnot 是小红书AI Infra团队开源、面向长上下文大模型推理服务的高性能优化扩展方案。项目基于SGLang推理引擎做注意力层扩展，兼容SGLang全部原生能力。
DeepSpeed-MII：DeepSpeed 团队推出的大模型推理高性能优化与部署工具
DeepSpeed-MII是由微软DeepSpeed团队打造的开源Python大模型推理部署专用库，全称为Model Implementations for Inference，是DeepSpeed生态中聚焦于模型推理阶段的核心组件...