dInfer：蚂蚁集团推出的扩散语言模型专用高性能推理框架 dInfer 是蚂蚁集团开源的针对扩散语言模型（dLLMs）的高效可扩展推理框架，该框架通过模块化设计将推理流程拆解为模型、扩散迭代管理器、解码策略、KV 缓存管理四大组件，支... 1周前 AI新闻 3
BitNet：微软开源1-bit大语言模型高效推理框架 BitNet是微软推出的一个开源1-bit大语言模型推理框架，专门用于运行1-bit量化的大语言模型（LLM）。该项目最初是为了支持微软自研的BitNet b1.58模型而创建的，但现在已经扩... 1周前 AI新闻 4
