Megatron-LM：NVIDIA开源大模型训练框架，极致并行与GPU优化加速千亿参数模型训练 Megatron-LM是NVIDIA开源的面向GPU深度优化的大模型训练模型，包含Megatron-LM训练框架与Megatron Core核心库两大组件，支持GPT、BERT、T5、MoE、Mamba、多模态等全品类模型... 3小时前 AI新闻 62
