dLLMs

dInfer：蚂蚁集团推出的扩散语言模型专用高性能推理框架

dInfer 是蚂蚁集团开源的针对扩散语言模型（dLLMs）的高效可扩展推理框架，该框架通过模块化设计将推理流程拆解为模型、扩散迭代管理器、解码策略、KV 缓存管理四大组件，支...