Megatron-LM:NVIDIA开源大模型训练框架,极致并行与GPU优化加速千亿参数模型训练 Megatron-LM是NVIDIA开源的面向GPU深度优化的大模型训练模型,包含Megatron-LM训练框架与Megatron Core核心库两大组件,支持GPT、BERT、T5、MoE、Mamba、多模态等全品类模型... 3小时前 AI新闻 62