PaperBanana：北大联合谷歌开源的学术插图自动生成框架

一、PaperBanana是什么

PaperBanana是由北京大学与谷歌云AI研究院联合研发的开源智能体框架，核心定位是为AI科学家及科研工作者提供出版级学术插图的全自动化生成服务，解决科研过程中方法流程图、统计图表绘制耗时、精度不足、风格不统一的痛点，让研究者从繁琐的绘图工作中解放，将更多精力投入核心研究。

该框架基于多智能体协作机制，整合视觉语言模型（VLM）、检索增强生成（RAG）、代码生成与迭代优化技术，可直接根据论文文本描述，自动完成从逻辑规划、风格设计到图像生成、精度校验的全流程，输出符合NeurIPS、ICLR、CVPR等顶会审美标准的学术插图，同时支持对人工草图的优化升级，是当前学术可视化领域的突破性开源项目。

从技术本质来看，PaperBanana并非单一的图像生成工具，而是一套端到端的学术插图自动化解决方案，通过拆解学术绘图的核心流程，分配不同智能体各司其职，形成闭环协作体系，兼顾了生成效率、内容保真度与学术专业性，填补了AI科研工具在视觉表达环节的空白。

二、功能特色

PaperBanana的核心功能围绕“自动化、高精度、学术化、易使用”四大核心设计，形成差异化竞争优势，具体特色如下：

1. 全流程自动化绘图，零门槛生成学术插图

无需用户手动操作绘图软件，仅需输入论文方法描述、实验数据或简单草图，框架即可自动完成参考检索、逻辑规划、风格适配、图像渲染、迭代优化全流程，一键输出可直接用于论文的插图，大幅降低学术绘图的技术门槛与时间成本。

2. 双模式生成，兼顾方法图创意与统计图精度

框架采用混合渲染策略，针对不同类型插图提供专属生成模式，解决传统AI绘图“精度不足、风格违和”的问题：

• 方法流程图模式：调用Nano Banana Pro视觉生成模型，生成结构清晰、布局合理的架构图、流程图，适配复杂研究逻辑的可视化表达；

• 统计图表模式：直接生成可执行的Matplotlib/Python代码，确保柱状图、折线图、热力图等图表的数值精准无误，满足实验数据可视化的严谨性要求。

3. 顶会级学术风格自动对齐，告别“非学术感”

内置基于NeurIPS 2025等顶会论文插图训练的学术审美指南，自动适配配色（Soft Tech Pastels柔和科技色调）、字体、布局比例、线条规范等细节，生成的插图自带专业学术质感，避免传统AI生成图的色彩突兀、排版杂乱问题，同时支持领域差异化风格定制（如Agent类论文卡通化图标、理论类极简布局）。

4. 多智能体闭环迭代，保障内容保真与质量

通过5个专业智能体（Retriever、Planner、Stylist、Visualizer、Critic）协作，形成生成-审查-优化的闭环迭代机制，Critic智能体可从逻辑准确性、内容完整性、美观度等维度校验插图，自动提出修改意见，最多支持3轮迭代优化，确保插图与论文核心内容高度匹配，无逻辑错误、信息遗漏。

5. 兼容草图优化与多格式输出，适配多元需求

不仅支持从文本直接生成插图，还能对用户手绘的草图、初稿进行智能美化与规范化调整，提升现有插图的专业度；同时支持像素级图像（PNG/JPG）、矢量图、可编辑代码等多格式输出，满足论文排版、后期修改、数据复现等不同使用场景。

6. 开源免费，轻量化部署与社区化迭代

项目采用开源模式发布，核心代码与数据集（待上线）对科研人员免费开放，支持本地轻量化部署与云端调用，同时依托GitHub社区持续迭代优化，兼容主流科研工具链，可无缝集成到论文写作、实验分析流程中。

为更清晰呈现PaperBanana与传统学术绘图、通用AI绘图工具的差异，整理对比表格如下：

三、技术细节

PaperBanana的技术架构以多智能体协作为核心，结合RAG检索、视觉语言模型、代码生成与迭代优化技术，形成一套严谨且高效的学术插图生成体系，核心技术细节如下：

1. 核心架构：五智能体协作体系

框架由5个专业化智能体组成，各司其职、协同完成全流程绘图任务，具体分工如下：

• Retriever（检索智能体）：基于RAG技术，从内置的顶会论文插图库（PaperBananaBench）中检索结构相似的参考图，为后续生成提供视觉布局与逻辑参考，无需主题完全匹配，仅需借鉴优质插图的结构范式即可提升生成质量；

• Planner（规划智能体）：解析用户输入的文本描述，拆解研究方法的逻辑结构，规划插图的模块划分、连接关系、层级布局，构建可视化逻辑骨架，确保插图与论文内容的逻辑一致性；

• Stylist（风格智能体）：基于训练好的学术审美模型，生成适配当前插图类型的风格指南，包括配色方案、字体选择、线条粗细、模块比例等，强制对齐顶会学术风格，避免非专业视觉表达；

• Visualizer（视觉生成智能体）：执行核心渲染任务，根据规划与风格指令，切换双模式生成：方法图调用Nano Banana Pro生成高清图像，统计图生成Matplotlib可执行代码，兼顾创意与精度；

• Critic（批判优化智能体）：模拟导师审查视角，从保真度（内容匹配度）、简洁性（信息冗余度）、可读性（逻辑清晰度）、美观度（风格适配度）四大维度校验插图，输出优化指令，驱动迭代调整，直至达到出版标准。

2. 关键技术支撑

• 检索增强生成（RAG）：构建包含292个NeurIPS 2025方法论图测试用例的PaperBananaBench基准库，通过语义检索匹配优质参考图，解决AI绘图“布局无章、逻辑混乱”的问题，实验验证可显著提升生成质量；

• 视觉语言模型（VLM）融合：整合前沿VLM模型的图文理解能力，精准解析文本中的研究逻辑，将抽象概念转化为具体视觉元素，同时支持对图像内容的语义校验，保障插图与文本的一致性；

• 混合渲染引擎：针对不同插图类型设计专属渲染逻辑，方法图采用生成式模型保证视觉效果，统计图采用代码生成保证数据精度，实现“创意+严谨”的双重平衡；

• 闭环迭代优化机制：Critic智能体的反馈指令直接作用于Planner与Visualizer，形成自动迭代循环，默认3轮优化即可达到最优效果，无需人工干预，大幅提升最终插图的合格率。

3. 性能指标与基准测试

为验证框架有效性，研究团队基于PaperBananaBench进行全面测试，对比Vanilla Nano-Banana-Pro基线模型，核心性能提升如下：

• 保真度（Faithfulness）：+2.8%，插图与论文内容的匹配度更高；

• 简洁性（Conciseness）：+37.2%，有效减少冗余信息，逻辑更清晰；

• 可读性（Readability）：+12.9%，模块布局更合理，易于理解；

• 美观度（Aesthetics）：+6.6%，学术风格适配度显著提升；

• 综合得分：+17.0%，整体性能远超基线模型；

• 人类盲测：72.7%的科研人员认为PaperBanana生成插图优于传统方法，认可度极高。

四、应用场景

PaperBanana的核心价值是解决科研可视化痛点，适配学术研究全流程，同时可延伸至科普、教育、工业研发等领域，具体应用场景如下：

1. 学术论文写作

• 顶会/期刊论文投稿：自动生成符合NeurIPS、ICLR、CVPR、AAAI等顶会标准的方法流程图、系统架构图、实验统计图，直接用于论文排版，提升投稿通过率；

• 学位论文撰写：适配硕士、博士学位论文的插图规范，批量生成各类可视化图表，节省论文修改与排版时间；

• 论文初稿优化：对现有草图、低质量插图进行美化升级，统一全文插图风格，提升论文整体质感。

2. 科研汇报与展示

• 学术会议报告：生成高清、专业的汇报插图，用于PPT演示、海报展示，清晰传递研究核心逻辑，增强汇报效果；

• 课题答辩：制作逻辑严谨、视觉美观的插图，辅助答辩内容表达，提升评审认可度。

3. 科研教学与科普

• 高校课程教学：用于计算机、人工智能、数据科学等专业的课堂演示，生成直观的方法流程图，帮助学生理解复杂理论；

• 科普内容创作：将专业科研成果转化为通俗易懂的可视化插图，用于科普文章、短视频、公众号等内容创作，降低大众理解门槛。

4. 工业研发与技术文档

• 企业技术研发：为AI算法、系统架构、实验数据生成专业插图，用于技术专利申请、内部技术文档、产品说明；

• 数据可视化分析：针对实验数据、业务数据生成高精度统计图表，辅助研发决策与结果复盘。

5. 自主AI科学家配套工具

作为自主AI科学家的视觉表达模块，填补AI在“研究-实验-可视化”全流程中的短板，实现从文献阅读、实验设计到成果可视化的全自动化，推动科研智能化升级。

五、使用方法

PaperBanana的设计遵循“轻量化、易上手”原则，支持本地部署与云端调用两种方式，核心使用流程如下（注：项目核心代码与数据集预计上线后可完整执行，当前可通过官方Demo体验基础功能）：

1. 环境准备

• 基础依赖：Python 3.8及以上版本、Git、Node.js（前端交互可选）；

• 硬件要求：本地部署建议配备8GB及以上显存的GPU（如NVIDIA RTX 3060及以上），无GPU可使用CPU模式（生成速度较慢）；

• 克隆仓库：通过Git命令克隆GitHub仓库至本地

 git clone https://github.com/dwzhu-pku/PaperBanana.git
 cd PaperBanana

2. 依赖安装

执行以下命令安装项目所需Python依赖库：

pip install -r requirements.txt

3. 核心使用流程

模式一：文本直接生成插图（最常用）

1. 输入论文描述：在框架交互界面或配置文件中，输入研究方法的文本描述（建议清晰说明模块、流程、数据关系）；

2. 选择插图类型：选择“方法流程图”或“统计图表”，并指定目标顶会风格（如NeurIPS）；

3. 启动生成：执行生成命令，框架自动启动多智能体协作流程，默认3轮迭代优化；

4. 输出结果：生成完成后，在指定目录获取插图文件（图像格式+代码格式），直接用于论文。

模式二：草图优化生成

1. 上传草图：将手绘草图、PPT初稿等图像文件上传至框架指定路径；

2. 触发优化：执行草图优化命令，Planner智能体解析草图逻辑，Stylist智能体调整风格，Visualizer智能体重绘；

3. 获取优化结果：输出规范化、高美观度的学术插图，保留原草图核心逻辑。

模式三：统计图表代码生成

1. 输入实验数据：上传CSV/Excel格式的实验数据文件，或直接输入数据参数；

2. 选择图表类型：指定柱状图、折线图、热力图等类型；

3. 生成代码与图像：框架自动生成Matplotlib代码，执行后输出高精度统计图表，支持代码二次修改。

4. 结果导出与二次编辑

• 格式导出：支持PNG、SVG、PDF等格式导出，适配不同论文排版工具（Word、LaTeX）；

• 二次编辑：统计图可直接修改生成的Python代码调整细节，方法图可通过矢量图软件进行微调，兼顾自动化与自定义需求。

六、常见问题解答

Q1：PaperBanana生成的插图是否可以直接用于顶会论文投稿？

A1：可以。PaperBanana基于NeurIPS等顶会插图风格训练，生成的插图在排版、配色、逻辑表达上均符合顶会规范，且经过人类盲测验证，72.7%的科研人员认可其质量，可直接用于论文投稿，无需大幅修改。

Q2：没有GPU可以使用PaperBanana吗？生成速度会受影响吗？

A2：可以使用。框架支持CPU模式部署，无GPU设备也能正常运行，但生成速度会显著降低（方法图生成时间从分钟级延长至10-30分钟，统计图影响较小）。建议有条件的用户配备GPU，提升使用效率。

Q3：如何调整生成插图的风格，适配不同期刊/会议的要求？

A3：框架内置多套顶会风格模板，使用时可通过参数指定目标会议（如NeurIPS、ICLR、CVPR）；同时支持自定义风格配置，可在Stylist智能体的配置文件中修改配色、字体、布局参数，适配个性化需求。

Q4：统计图表的数值精度如何保障？是否会出现数据错误？

A4：PaperBanana的统计图采用代码生成模式，直接输出可执行的Matplotlib代码，数据来源于用户输入的原始文件，无图像生成的精度损耗，可保证数值零误差；同时Critic智能体会校验数据逻辑，避免出现图表与数据不匹配的问题。

Q5：项目目前代码未完全上线，如何提前体验功能？

A5：可通过项目GitHub仓库的官方Demo链接体验基础生成功能，核心代码与PaperBananaBench数据集预计两周内完整上线，上线后可通过本地部署使用全部功能，可关注仓库更新通知。

Q6：PaperBanana支持哪些学科领域的插图生成？

A6：核心适配人工智能、计算机科学、数据科学等领域的方法图与统计图，同时可扩展至理工科通用学术可视化场景；对于人文社科类插图，可通过自定义风格与逻辑规划实现基础生成，后续社区迭代将进一步拓展学科适配范围。

Q7：生成的插图是否有版权问题？可以商用吗？

A7：项目采用开源许可证（CC BY-SA 4.0），生成的插图版权归用户所有，可用于学术投稿、教学、商用等场景，仅需在使用时注明基于PaperBanana生成，遵守署名与相同方式共享规则即可。

七、相关链接

• GitHub官方仓库：https://github.com/dwzhu-pku/PaperBanana

• 项目论文（arXiv）：https://arxiv.org/abs/2601.23265

• 官方Demo体验入口：https://dwzhu-pku.github.io/PaperBanana/

八、总结

PaperBanana作为北京大学与谷歌云AI研究院联合推出的开源学术插图自动化框架，通过多智能体协作、双模式生成、顶会风格适配与闭环迭代优化等核心技术，彻底解决了科研人员在学术绘图中耗时、精度不足、风格不统一的痛点，实现了从文本/草图到出版级插图的全自动化生成。其不仅能高效产出符合顶会标准的方法流程图与高精度统计图表，还支持草图优化、多格式输出与轻量化部署，适配学术论文、科研汇报、教学科普等多元场景，同时依托开源社区实现持续迭代，为科研工作者提供了零门槛、高质量的可视化解决方案，有效提升科研效率与成果表达专业性，成为AI科研工具链中不可或缺的重要组成部分。