BitNet:微软开源1-bit大语言模型高效推理框架
BitNet是微软推出的一个开源1-bit大语言模型推理框架,专门用于运行1-bit量化的大语言模型(LLM)。该项目最初是为了支持微软自研的BitNet b1.58模型而创建的,但现在已经扩...
BitNet是微软推出的一个开源1-bit大语言模型推理框架,专门用于运行1-bit量化的大语言模型(LLM)。该项目最初是为了支持微软自研的BitNet b1.58模型而创建的,但现在已经扩...
Ming-UniAudio是一个创新的开源框架,旨在统一语音理解、生成和编辑任务。通过基于VAE框架和因果Transformer架构的统一连续语音tokenizer(MingTok-Audio),它能够有效整合...
xLLM 是京东开源的一款高性能大语言模型推理框架,专为国产 AI 加速器优化,采用服务 - 引擎解耦架构,实现高效的企业级部署。该框架通过全图流水线执行、动态形状图优化、...
LongCat-Flash-Chat 是美团开源的一款高性能大语言模型聊天系统,基于 LongCat-Flash 大模型架构构建。该项目旨在提供一个高性能、低延迟、可扩展的大语言模型聊天解决方案...
CWM (Code World Model) 是 Meta 发布的一个 320 亿参数的开源大语言模型,专为代码生成和代码状态推理而设计。它不仅能理解和生成代码,还能通过工具调用与容器化环境交互...
从简单的文本生成到复杂的多模态内容创作,AI正以前所未有的方式降低创意表达的门槛。本文将深入探讨如何利用大语言模型特别是通义千问的多模态模型Qwen-Image,来解决生活...
SpikingBrain-7B是一个受大脑神经机制启发的大型语言模型项目,该项目的核心目标是通过创新的架构设计和技术整合,解决传统大语言模型在计算效率、能耗和长序列处理方面的局...
FastMTP是由腾讯BAC团队开发的一种针对大语言模型(LLM)的高效推理加速技术,旨在通过增强多token预测(Multi-Token Prediction, MTP)能力来显著提升大语言模型的推理速度...
Ling-V2是一款基于混合专家(Mixture of Experts,MoE)架构设计的开源大型语言模型系列,旨在实现高性能与计算效率的完美平衡。作为开源大语言模型领域的创新成果,Ling-V...
《Happy-LLM:从零开始的大语言模型原理与实践教程》是由国内知名开源社区Datawhale打造的系统性大语言模型(LLM)学习指南,该电子书既覆盖从NLP基础到Transformer架构的理...
大语言模型(LLM)是一种基于深度学习的自然语言处理模型,通过海量文本数据的预训练学习语言规律,具备理解、生成和推理文本的能力。其核心目标是通过统计规律学习,模拟人...