FastMTP:腾讯开源的大语言模型推理加速技术
FastMTP是由腾讯BAC团队开发的一种针对大语言模型(LLM)的高效推理加速技术,旨在通过增强多token预测(Multi-Token Prediction, MTP)能力来显著提升大语言模型的推理速度...
FastMTP是由腾讯BAC团队开发的一种针对大语言模型(LLM)的高效推理加速技术,旨在通过增强多token预测(Multi-Token Prediction, MTP)能力来显著提升大语言模型的推理速度...
Ling-V2是一款基于混合专家(Mixture of Experts,MoE)架构设计的开源大型语言模型系列,旨在实现高性能与计算效率的完美平衡。作为开源大语言模型领域的创新成果,Ling-V...
《大语言模型安全:构建安全的AI应用》由全球LLM安全领域“奠基者Steve Wilson撰写,是LLM安全领域的“破局之作”。在生成式AI深度融入企业业务、安全漏洞升级为战略风险的...
《Happy-LLM:从零开始的大语言模型原理与实践教程》是由国内知名开源社区Datawhale打造的系统性大语言模型(LLM)学习指南,该电子书既覆盖从NLP基础到Transformer架构的理...
大语言模型(LLM)是一种基于深度学习的自然语言处理模型,通过海量文本数据的预训练学习语言规律,具备理解、生成和推理文本的能力。其核心目标是通过统计规律学习,模拟人...