大模型推理

DeepSpeed-MII：DeepSpeed 团队推出的大模型推理高性能优化与部署工具

DeepSpeed-MII是由微软DeepSpeed团队打造的开源Python大模型推理部署专用库，全称为Model Implementations for Inference，是DeepSpeed生态中聚焦于模型推理阶段的核心组件...