如何为你的硬件选择最合适的量化级别:GPU/VRAM对照表推荐
在深度学习模型部署场景中,量化技术已成为平衡模型性能与硬件资源的关键手段。然而,量化级别的选择并非越激进越好,过度量化会导致模型精度损失超过5%,而保守量化则可能...
在深度学习模型部署场景中,量化技术已成为平衡模型性能与硬件资源的关键手段。然而,量化级别的选择并非越激进越好,过度量化会导致模型精度损失超过5%,而保守量化则可能...
InfinityStar 是字节跳动开源的视觉生成框架,核心基于统一时空自回归建模,实现了图像与视频生成的一体化解决方案。该框架突破传统自回归模型的局限,首次支持工业级 720p...
KaLM-Embedding是一款开源的多功能紧凑多语言文本嵌入模型,聚焦通用文本嵌入任务,凭借多语言支持、紧凑高效、优质训练数据及先进训练技术四大核心优势,在语义表征任务中...
Kosong是由Moonshot AI开发的开源LLM抽象层,名称源自马来语和印尼语中的“空”,寓意为AI代理开发提供灵活、无束缚的底层支撑。该项目基于Python 3.13+构建,核心目标是统...
PandaWiki是由长亭科技(Chaitin)开发的开源AI知识库搭建系统,以AI大模型为核心驱动力,支持快速搭建产品文档、技术手册、FAQ等多样化知识库。其集成了AI创作、智能问答、...
闲鱼智能监控机器人(ai-goofish-monitor)是一款基于 Playwright 和多模态 AI 模型开发的开源工具,专为闲鱼平台二手商品检索设计。它通过可视化 Web 界面实现多任务实时监...
本文AI铺子详细讲解如何通过 FastAPI(高性能异步 Web 框架) 与 vLLM(高性能 LLM 推理引擎) 集成,实现 LoRA 模型的低延迟、高吞吐量 API 部署。全程基于真实可复现的步...
Saber-Translator是一款开源的一站式 AI 漫画翻译与编辑工具,支持从图像/PDF导入、文本区域检测、多引擎OCR识别、AI翻译到图像修复和文本渲染的全流程处理。该工具集成了多...
Kiss-Translator(简约翻译)是一款开源免费的翻译工具,提供浏览器扩展与油猴脚本两种形式,支持网页双语对照、划词翻译、输入框翻译等全场景需求。其集成了Google、DeepL、...
NoteGen是一款开源、轻量且高效的跨平台 Markdown 笔记应用。其核心定位是:“连接记录与创作”。它通过独特的双页面设计和强大的 AI 能力,让用户能够轻松地将零散的“记录...
