RedKnot：小红书开源的长上下文LLM推理优化工具，分头KV缓存加速长文本服务 RedKnot 是小红书AI Infra团队开源、面向长上下文大模型推理服务的高性能优化扩展方案。项目基于SGLang推理引擎做注意力层扩展，兼容SGLang全部原生能力。 7天前 AI新闻 78
DeepSpeed-MII：DeepSpeed 团队推出的大模型推理高性能优化与部署工具 DeepSpeed-MII是由微软DeepSpeed团队打造的开源Python大模型推理部署专用库，全称为Model Implementations for Inference，是DeepSpeed生态中聚焦于模型推理阶段的核心组件... 5个月前 AI新闻 162
