Strata:消费级PC运行超大MoE模型的C++推理引擎 Strata是C++开发的MoE大模型推理引擎,分层存储突破显存限制,12G显存NVIDIA显卡本地运行125B Qwen3.8-Flash-Next,支持OpenAI兼容API,超长上下文,Windows/Linux一键部署... 7天前 AI新闻 99
DLCM:字节跳动开源的动态大概念模型,自适应语义压缩与高效概念级推理 DLCM(Dynamic Large Concept Models)是字节跳动等机构联合推出的开源分层语言建模框架,打破传统LLM的token级均匀计算范式,通过端到端学习语义边界,将计算资源从冗余to... 9个月前 AI新闻 187