MemGUI-Agent：快手联合浙大开源的长时序移动端GUI智能体

原创 发布日期：
59

一、MemGUI-Agent 是什么

MemGUI-Agent 是快手联合浙江大学团队开源的端到端长时序移动端GUI智能体完整工程方案，配套论文、数据集、训练脚本、离线评测工具一站式开源，该项目核心解决传统手机GUI智能体长流程任务痛点：多步骤操作时上下文持续膨胀、UI记忆丢失、长任务成功率暴跌。创新提出ConAct（Context-as-Action，上下文即动作） 原生记忆框架，把上下文管理嵌入模型每一轮输出，无需外置记忆模块，实现长步骤手机任务稳定执行。

项目包含两大可用模型：零样本直接使用的 MemGUI-Agent-235B 大模型；轻量化可本地微调 MemGUI-8B-SFT（基于Qwen3-VL-8B-Instruct LoRA微调）；配套专属数据集 MemGUI-3K、两套标准移动端GUI评测基准 MemGUI-Bench、MobileWorld，完整覆盖数据、训练、离线评测、真机推演全链路。

MemGUI-Agent：快手联合浙大开源的长时序移动端GUI智能体

二、功能特色

  1. 原生内置长时序上下文管理 ConAct
    区别于其他GUI智能体外置记忆压缩模块，MemGUI-Agent将记忆更新作为模型输出动作的一环，自动折叠历史操作、UI界面信息，控制提示词长度，解决长任务Token溢出、记忆遗忘问题。

  2. 双模型方案兼顾性能与部署成本
    235B超大模型零样本无需微调，长任务基准表现顶尖；8B轻量模型开源微调脚本，普通多卡服务器即可训练，适合企业私有化部署、本地测试。

  3. 专属高质量移动端标注数据集 MemGUI-3K
    包含2956条完整手机操作轨迹、82103个任务步骤、64430条人工校验有效步骤，配套完整数据处理脚本，开箱即用搭建GUI智能体训练集。

  4. 标准化离线评测工具链
    内置离线评估脚本，自动统计动作匹配率、记忆折叠效果、输出格式合规度，快速验证模型记忆管理能力，无需真机环境即可完成迭代验证。

  5. 完整工程化开源链路
    数据集下载、截图恢复、训练数据构建、LoRA微调、离线评测全部提供一键Shell脚本，Python+Shell双语言工程，快速复现论文实验结果。

  6. 跨基准泛化能力强
    在自有MemGUI-Bench、分布外MobileWorld纯UI两套基准均取得行业靠前成功率，适配全新陌生APP界面，泛化能力优于多数同类开源方案。

三、技术细节

3.1 核心 ConAct 上下文即动作架构

ConAct 作为模型原生记忆机制，每轮推理同步维护三类结构化存储字段，随每一步GUI操作自动更新折叠：

  1. 折叠动作历史：压缩久远操作步骤，仅保留关键决策行为，剔除重复无效操作；

  2. 折叠UI状态：汇总历史页面关键UI元素、弹窗、按钮、输入信息，避免重复传入完整截图；

  3. 近期步骤记录：完整保留最近N轮原始界面与操作，保障短期任务逻辑连贯。

模型输出下一步点击、滑动、输入等GUI动作时，同步输出更新后的结构化记忆，全程一体化端到端，不依赖外部记忆数据库、独立摘要模型。

3.2 模型参数与训练配置（MemGUI-8B-SFT）

基座模型：Qwen/Qwen3-VL-8B-Instruct，采用LoRA监督微调，完整固定超参如下表：

参数项 配置数值
训练方式 LoRA SFT
训练轮数 Epochs 1
学习率 1e-4
LoRA秩 / Alpha 8 / 32
目标微调模块 all-linear 全线性层
上下文最大长度 32768
单卡训练批次 2
梯度累积步数 8
训练硬件 8卡GPU

训练依托ms-swift框架，提供一键启动脚本，支持自定义环境变量修改训练参数。

3.3 数据集 MemGUI-3K 技术规格

  • 完整手机操作轨迹：2956条

  • 总任务步骤：82103步

  • 人工审核有效步骤：64430步

  • 配套工具：自动下载、截图还原、多模态训练JSONL生成脚本，输出train_sft.jsonl、test_sft.jsonl标准训练文件。

3.4 基准评测核心指标

  1. MemGUI-Bench（自有基准）

    • MemGUI-Agent-235B：Pass@3 62.5%

    • MemGUI-8B-SFT：Pass@1 23.4%

  2. MobileWorld（分布外陌生UI基准）

    • MemGUI-Agent-235B：任务成功率29.1%

    • MemGUI-8B-SFT：任务成功率17.9%

3.5 仓库目录技术分层

MemGUI-Agent/
├── data/memgui3k/    数据集下载、转换、还原工具
├── evaluation/memgui3k_offline_eval/ 离线步骤评测工具
├── scripts/       数据集一键处理脚本
├── training/ms_swift/  8B LoRA微调模板与脚本
├── website/       项目页配套资料
├── requirements.txt   Python依赖清单
└── README.md       官方使用文档

工程语言占比：Python 83.2%，Shell 16.8%。

MemGUI-Agent：快手联合浙大开源的长时序移动端GUI智能体

四、应用场景

  1. 移动端APP自动化测试
    面向开发者，自动执行多步骤长流程回归测试，跨页面操作、表单填写、弹窗处理，依靠ConAct记忆长期操作流程，无需人工编写固定脚本，降低迭代测试人力成本。

  2. 企业手机RPA流程自动化
    销售、运营、财务人员跨APP重复操作自动化，例如多平台数据收集、表单填报、订单查询，长流程任务不会因上下文过长丢失前置操作信息。

  3. AI手机数字助理研发
    手机厂商、AI团队搭建原生GUI操控助手，自然语言下达复杂多步骤指令，自动完成订票、购物、比价、文件整理等连贯操作。

  4. GUI智能体算法研究
    高校、科研机构用于长时序多模态智能体、上下文压缩、移动端视觉语言模型相关实验，配套完整标注数据集与标准化评测基准。

  5. 无障碍辅助操作
    简化手机复杂多步操作，通过自然语言一键完成系列交互，降低老年、行动不便用户操作门槛。

五、完整使用方法

步骤1：环境依赖安装

执行命令安装全部Python依赖：

pip install -r requirements.txt

步骤2：下载并处理MemGUI-3K数据集

  1. 拉取完整数据集文件

bash scripts/download_memgui3k.sh

  1. 还原原始手机截图至 data/MemGUI-3K/images/

bash scripts/restore_memgui3k_images.sh

  1. 生成多模态训练JSONL数据集（训练/测试集拆分）

bash scripts/build_memgui3k_training_data.sh

生成文件路径：data/MemGUI-3K/training_data/train_sft.jsonl、test_sft.jsonl

步骤3：训练 MemGUI-8B-SFT 轻量化模型

运行ms-swift提供的一键训练脚本，使用上表标准超参完成LoRA微调：

bash training/ms_swift/train_memgui_8b_sft.sh

完整训练命令、环境变量配置可查阅 training/ms_swift/README.md。

步骤4：离线模型效果评测

使用离线评估工具，比对模型输出与数据集标准步骤，输出动作匹配、记忆折叠、格式合规三类指标：
工具路径：evaluation/memgui3k_offline_eval/，查阅目录内README获取执行脚本。

步骤5：端到端真机推演全流程

完整真实设备任务执行、长轨迹评测需配套两个官方评测仓库：MemGUI-Bench、MobileWorld。

六、竞品对比

选取行业主流开源项目 Mobile-Agent-v3、UI-TARS、MemGUI-Agent横向对比：

对比维度 MemGUI-Agent Mobile-Agent-v3（阿里通义） UI-TARS（字节）
核心技术亮点 ConAct原生上下文记忆，长时序折叠内置模型 GUI-Owl视觉定位，多尺度模型家族 像素级UI定位，外置对话历史缓存
长任务上下文方案 模型端到端一体化记忆，无外置模块 外置Prompt摘要压缩，分段截断历史 手动切片截断历史，上限固定轮次
配套专属数据集 MemGUI-3K（2956条手机完整轨迹） 无专属标注移动端数据集 桌面+移动端混合数据集，移动端样本偏少
轻量化开源微调方案 8B LoRA完整训练脚本开箱即用 7B/32B微调，参数配置复杂 仅提供推理，微调流程未完整开源
分布外陌生UI表现 MobileWorld基准29.1%（235B） MobileWorld基准低于27% 侧重桌面端，移动端泛化偏弱
工程完整度 数据/训练/离线评测全链路脚本 推理完善，数据处理工具缺失 推理能力强，长时序评测工具简单
开源协议 Apache 2.0 Apache 2.0 Apache 2.0

MemGUI-Agent：快手联合浙大开源的长时序移动端GUI智能体

七、常见问题解答（FAQ）

Q：MemGUI-Agent 的 ConAct 和传统外置记忆压缩有什么区别？

A：传统GUI智能体采用独立模块、额外大模型做历史摘要，推理前后多一轮调用，增加延迟与Token消耗；ConAct将记忆折叠、更新逻辑融入模型单次推理输出，每一步生成操作指令时同步更新结构化UI与动作记忆，单轮推理完成任务决策+上下文管理，长时序任务效率更高，不会出现外置模块与主模型逻辑割裂问题。

Q：MemGUI-8B-SFT 可以在单卡GPU上训练吗？

A：官方标准训练配置为8卡GPU，单卡可通过降低批次、增大梯度累积、缩短最大上下文长度调整参数运行，但会影响训练收敛效果与记忆学习能力，科研场景建议使用多卡环境复现论文结果。

Q：MemGUI-3K数据集是否可以商用？

A：项目整体代码基于Apache 2.0开源协议，数据集随仓库同步开源，商用场景可正常使用，仅需遵循协议标注项目来源，无额外商用授权限制。

Q：没有235B超大模型，仅使用MemGUI-8B-SFT能完成复杂长流程手机任务吗？

A：8B轻量化模型Pass@1指标23.4%，适合短流程、简单手机任务；超过10步的超长复杂任务、陌生全新APP界面，235B零样本模型成功率优势明显，可根据业务场景按需选择模型。

Q：离线评测工具能否替代真机端到端测试？

A：离线评测仅用于快速校验模型输出格式、动作匹配、记忆折叠逻辑，属于迭代快速验证手段；真实设备动态界面、弹窗、网络变化等真实场景问题，仍需使用MemGUI-Bench、MobileWorld仓库做真机推演测试。

Q：项目支持Windows系统部署吗？

A：仓库脚本以Linux Shell编写，Windows可通过WSL、Linux虚拟机运行完整数据处理、训练流程；Windows原生CMD/PowerShell未适配所有bash脚本，推荐Linux服务器环境使用。

八、相关链接

  1. MemGUI-Agent 主仓库：https://github.com/kwai/MemGUI-Agent

  2. 论文arXiv预印本地址：https://arxiv.org/abs/2606.19926

  3. Hugging Face数据集：https://huggingface.co/datasets/lgy0404/MemGUI-3K

  4. 项目官网：https://memgui-agent.github.io/

九、总结

MemGUI-Agent是当前少有的完整聚焦移动端长时序GUI任务的开源端到端智能体工程，依托独创ConAct上下文即动作技术解决行业普遍存在的长流程记忆丢失、上下文膨胀痛点，同时提供可直接落地的8B轻量化微调方案、高质量专属手机标注数据集与标准化离线评测工具，完整覆盖数据生产、模型训练、效果验证全流程，兼顾科研实验与企业自动化测试、手机AI助理落地需求，相比同类开源方案在长步骤任务、陌生UI泛化、工程开箱易用性上具备独特优势，所有代码、数据集、模型相关资产完全开源免费，无闭源依赖。

AI智能体 手机自动化 开源项目
打赏

版权及免责申明：本文由@dotaai原创发布。该文章观点仅代表作者本人，不代表本站立场。本站不承担任何相关法律责任。

如若转载，请注明出处：https://www.aipuzi.cn/ai-news/memgui-agent.html

THE END
作者头像
dotaai
正在和我的聊天机器人谈恋爱，它很会捧场。