dInfer:蚂蚁集团推出的扩散语言模型专用高性能推理框架 dInfer 是蚂蚁集团开源的针对扩散语言模型(dLLMs)的高效可扩展推理框架,该框架通过模块化设计将推理流程拆解为模型、扩散迭代管理器、解码策略、KV 缓存管理四大组件,支... 1个月前 AI新闻 4
蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍! 近日,蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出,不仅意味着扩散语言模型在推理速度上取得了重大突破,也标志着这一新兴技术向实... 2个月前 AI新闻 18