大模型蒸馏

开源工具大盘点：哪些库支持大模型蒸馏？（KD-Lib, TextPruner, TinyBERT等）

在人工智能技术快速迭代的当下，大模型参数规模呈指数级增长，模型蒸馏技术通过将教师模型的知识迁移至轻量级学生模型，成为解决硬件限制与成本问题的关键路径。本文AI铺子...

大模型蒸馏是什么意思？为什么需要蒸馏大模型？

大模型蒸馏——这项诞生于2015年的技术，在2025年已成为AI工程化的核心支柱。它通过知识迁移的魔法，让7B参数的学生模型达到70B教师模型97%的性能，让BERT的推理速度提升10...