Krea 2:Krea AI开源的文生图大模型,支持LoRA跨版本通用

原创 发布日期:
61

一、Krea 2是什么

Krea 2是独立AI实验室Krea AI从零完整训练、开源发布的文本生成图像模型,该模型主打创意美学与多元风格创作,在行业测评平台Artificial Analysis的独立实验室开源文生图榜单中排名第一,是兼顾本地部署、LoRA微调、极速高清出图的开源图像生成方案。模型分为Krea 2 RAW基础底模、Krea 2 Turbo快速蒸馏版两套权重,官方标准化工作流为「RAW训练LoRA,Turbo落地推理」,LoRA权重跨版本通用,适配开发者、设计师、AI研究人员全场景使用。

二、功能特色

  1. 双模型分工体系,训练生产分离
    RAW无蒸馏、可塑性极强,专门用于LoRA微调、模型二次训练;Turbo经过蒸馏压缩,仅8步即可生成高清大图,适合批量、快速出图,两套模型LoRA互通,大幅降低自定义风格开发成本。

  2. 顶级原生美学表现力
    原生适配插画、写实、潮流艺术、概念设计、人像、产品摄影等数十种风格,色彩层次、光影质感、画面构图表现突出,无需大量提示词优化即可产出高质量创意图像。

  3. 超大分辨率支持
    RAW最高原生支持1024分辨率;Turbo最高支持2048高清输出,满足海报、商业印刷、高清素材生产需求。

  4. 极简本地部署,多生态兼容
    采用uv包管理器一键安装依赖,原生支持ComfyUI、Fal、SGLang三大推理平台;兼容Kohya、Huggingface Diffusers、Ostris AI等主流LoRA训练工具。

  5. 高度可调推理参数
    开放采样步数、CFG引导、时序偏移mu、分辨率、随机种子、批量生成数量等全维度参数,适配艺术创作、稳定量产、学术实验等不同需求。

  6. 宽松开源许可
    基础开源权重采用社区许可,个人非商用自由使用;商用场景可联系官方采购商业授权,无严苛版权限制。

Krea 2:Krea AI开源的文生图大模型,支持LoRA跨版本通用

三、技术细节

1. 核心架构

项目基于MMDiT(多模态扩散Transformer) 架构开发,配套自研autoencoder自编码器完成图像压缩与重建,仓库提供mmdit.pyautoencoder.pyencoder.py完整底层代码,双流注意力机制实现文本与图像特征双向交互,提升提示词遵循度与画面细节还原能力。

2. 两大模型技术差异

维度 Krea 2 RAW(基础底模) Krea 2 Turbo(蒸馏加速版)
蒸馏处理 无蒸馏、原生预训练权重 8步蒸馏压缩,移除冗余采样步骤
推荐采样步数 52步 8步
CFG引导参数 推荐3.5,开启引导提升细节 推荐0.0,关闭CFG保障速度画质平衡
时序偏移mu 分辨率动态自适应 固定1.15,官方最优参数
最大输出分辨率 1024px 2048px
核心定位 LoRA训练、二次微调、学术研究 快速推理、商业批量出图、本地生产

3. 工程实现细节

  • 代码语言:100% Python,仓库包含推理、采样、编码器、自编码器全套源码;

  • 依赖管理:使用uv工具,uv sync一键拉取全部依赖,配套pyproject.tomluv.lock配置文件;

  • 权重格式:safetensors安全权重文件,托管于Hugging Face;

  • 运行方式:通过环境变量OSS_RAWOSS_TURBO指定权重路径,执行inference.py脚本完成图像生成;

  • 采样模块:独立sampling.py实现全套扩散采样逻辑,支持自定义采样调度。

四、应用场景

  1. 专业创意设计
    插画师、概念设计师、潮流艺术家快速生成原画、海报、潮玩视觉、艺术概念稿,原生风格表现力减少后期修图工作量。

  2. AI模型二次开发
    AI开发者、研究者基于RAW训练角色、风格、IP专属LoRA,训练完成后迁移至Turbo快速批量生成素材。

  3. 商业素材量产
    电商产品图、短视频封面、自媒体配图、广告视觉素材,使用Turbo 8步极速生成,支持2048高清商用尺寸。

  4. 本地离线部署
    工作室、企业私有本地AI绘图工作站,无需联网API,保障素材版权与数据安全。

  5. AI学术实验
    扩散模型、LoRA微调、少步蒸馏相关研究,提供完整可修改底层代码,支持自定义训练与消融实验。

  6. 可视化节点工作流
    ComfyUI用户搭建自动化绘图流水线,结合ControlNet、高清修复插件实现全链路自动化创作。

五、使用方法

1. 环境部署

  1. 克隆官方仓库:git clone https://github.com/krea-ai/krea-2

  2. 进入项目目录,一键安装依赖:uv sync

  3. 前往Hugging Face下载RAW、Turbo两套safetensors权重;

  4. 配置环境变量指定权重路径:

export OSS_RAW=你的RAW权重文件路径
export OSS_TURBO=你的Turbo权重文件路径

2. RAW基础模型推理命令

适用于风格微调、精细艺术创作,完整采样流程:

uv run inference.py "a fox walking in the snow" \
 --checkpoint oss_raw --steps 52 --cfg 3.5

3. Turbo极速高清推理命令

适用于批量高清商用素材,8步快速出2K图:

uv run inference.py "a fox walking in the snow" \
 --checkpoint oss_turbo --steps 8 --cfg 0.0 --mu 1.15 --width 2048 --height 2048

4. 核心可调参数说明

  • --steps:扩散采样步数,RAW推荐52,Turbo固定8;

  • --cfg:分类自由引导,0代表关闭,RAW推荐3.5;

  • --mu:时序偏移系数,Turbo固定1.15效果最佳;

  • --width/--height:输出分辨率,自动补齐16倍数;

  • --num-images:单次批量生成图片数量;

  • --seed:随机种子,固定种子可复现相同图像。

六、竞品对比

选取行业主流开源方案Stable Diffusion 3、Flux.1 Dev与Krea 2横向对比:

对比维度 Krea 2 Stable Diffusion 3 Flux.1 Dev
核心优势 美学质感顶尖,RAW/Turbo分工,LoRA跨版本通用,最高2048分辨率 文本文字渲染强,社区插件生态成熟,ControlNet适配完善 少步采样速度快,复杂人物、手部细节精准,提示词遵循度高
模型架构 MMDiT双流扩散Transformer MMDiT+修正流Rectified Flow 单流Transformer扩散架构
蒸馏加速方案 Turbo 8步蒸馏,独立训练底模RAW SD3 Turbo蒸馏版本,无专用微调底模 Schnell 4步极速模型,Dev为基础开源版
LoRA适配 RAW专用训练底模,LoRA可直接迁移Turbo 统一权重训练,蒸馏版LoRA兼容性一般 Dev训练LoRA,Schnell兼容度有限
最大分辨率 Turbo支持2048px 原生1024,超分插件实现2K 原生1024-1792
适用人群 艺术创作者、LoRA开发者、本地批量生产 新手、插件重度使用者、电商美工 人物写实、复杂多主体场景创作者
开源协议 社区许可,商用需单独授权 MIT宽松开源,商用无额外授权费 Apache 2.0,非商用免费

七、常见问题解答(FAQ)

Q:我应该选择RAW还是Turbo模型使用?

A:如果需要训练专属LoRA、做模型微调、学术研究,选择Krea 2 RAW;如果日常快速出图、批量生成高清商用素材,直接使用Krea 2 Turbo。官方标准工作流是在RAW训练LoRA,再加载到Turbo中推理。

Q:Krea 2 Turbo仅8步采样,画质会大幅下降吗?

A:不会,Turbo经过专业蒸馏优化,在关闭CFG、mu=1.15参数下,8步输出画质接近RAW 52步效果,同时推理速度提升数倍,是速度与画质平衡的最优方案。

Q:RAW训练出来的LoRA,能直接在Turbo上使用吗?

A:可以,官方原生支持两套模型LoRA互通,无需二次转换,是该项目核心优势,大幅降低自定义风格开发成本。

Q:Krea 2支持多大分辨率输出?

A:RAW基础模型最高支持1024分辨率;Turbo蒸馏版原生支持1024~2048分辨率,分辨率会自动补齐至16的整数倍。

Q:本地运行Krea 2需要什么硬件配置?

A:推荐显存≥16G独立显卡(RTX 4090/A100等);2048分辨率Turbo推理建议24G以上显存,显存不足可降低输出分辨率运行。

Q:有哪些工具可以用来训练Krea 2 RAW的LoRA?

A:官方推荐工具包含Huggingface Diffusers、Ostris AI toolkit、Fal训练平台、Kohya(musubi tuner),全部适配RAW底模微调。

Q:除了本地Python脚本,还有哪些平台能运行Krea 2?

A:支持ComfyUI可视化节点、Fal云端推理、SGLang高性能推理引擎,三种主流部署方式,兼顾可视化操作与云端批量生产。

八、相关链接

  1. GitHub仓库地址:https://github.com/krea-ai/krea-2

九、总结

Krea 2是Krea AI推出的一款从零训练、主打美学创作的开源文生图模型,通过RAW基础底模与Turbo蒸馏加速版的双模型差异化设计,解决了传统开源模型微调难、推理慢、分辨率上限低的痛点,凭借Artificial Analysis独立实验室榜单第一的美学表现、通用LoRA迁移机制、2048高清输出能力,适配设计师、AI开发者、科研人员等多元人群,同时兼容主流绘图与训练生态,提供完整可本地部署的开源代码与清晰标准化使用流程,是兼顾创意艺术生产与模型二次开发的一体化开源图像生成方案。

打赏
THE END
作者头像
AI铺子
关注ai行业发展,专注ai工具推荐