MAI-UI：阿里通义推出的开源 GUI 智能体框架，赋能移动场景人机交互革新

一、MAI-UI是什么

MAI-UI是阿里通义实验室多模态交互团队推出的开源基础GUI智能体项目，核心定位是以现实世界为中心的全尺寸Foundation GUI Agents，聚焦移动场景的人机交互革新，旨在解决传统GUI智能体在实际落地中的各类痛点，让AI智能体能够像人类一样理解GUI界面、执行操作任务，甚至通过工具调用和人机交互提升任务成功率与效率。

作为一款全尺寸GUI智能体基座，MAI-UI覆盖从轻量到超大参数的完整模型家族，包括2B、8B、32B以及235B-A22B等不同变体，不同参数模型针对性适配不同部署场景，既满足端侧轻量化部署需求，也能支撑云端复杂任务处理。与传统GUI智能体仅依赖UI界面操作不同，MAI-UI首次将用户交互、MCP工具调用、端云协同三大核心能力原生集成于统一架构，实现了从“单纯界面操作”到“智能决策执行”的升级，不仅能精准识别GUI界面元素完成定位与操作，还能根据任务需求选择最优执行路径，大幅提升复杂场景下的任务成功率。

目前MAI-UI已正式开源核心代码与2B、8B模型，同步发布技术报告与项目官网，在ScreenSpot-Pro、MMBench GUI L2、AndroidWorld、MobileWorld等多项权威GUI智能体评测中全面登顶SOTA，性能超越Gemini-3-Pro、UI-Tars-2、Seed1.8等主流模型，成为现阶段GUI智能体领域的标杆性开源项目，为开发者落地移动智能助手、自动化办公、场景化任务处理等应用提供了成熟基座。

二、功能特色

MAI-UI之所以能在众多GUI智能体中脱颖而出，核心源于四大核心功能特色，既解决传统GUI智能体的固有痛点，又实现了功能层面的创新突破，让GUI智能体真正具备实用落地价值。

特色一：原生支持人机交互，拒绝臆断保障意图对齐

传统GUI智能体在面对模糊指令、信息缺失的任务时，往往会基于现有信息强行执行，最终导致任务偏离用户真实意图，而MAI-UI原生集成主动交互能力，具备“不懂就问”的核心特性。当接收到的用户指令不完整、表述模糊或关键信息缺失时，模型不会盲目执行，而是主动向用户发起提问，澄清关键信息后再推进任务，同时会将澄清后的信息纳入统一任务记忆，确保全程执行路径与用户意图一致。

这一特色让MAI-UI在模糊任务场景下表现尤为突出，在MobileWorld的Agent–User Interaction子任务中，MAI-UI成功率达到51.1%，比现有最优端到端GUI模型高出18.7个百分点。比如用户下达“帮我规划下午行程”的模糊指令时，传统模型可能会随意生成行程，而MAI-UI会主动询问“请问你下午的出发地点、目的地、核心需求（如办事、逛街）是什么”，获取完整信息后再精准规划，从根源上避免任务失败。

特色二：MCP工具优先调用，替代繁琐UI操作提升效率

传统GUI智能体执行任务完全依赖GUI界面操作，一个简单的出行规划任务需要经历“打开地图APP→搜索目标→筛选结果→查看详情→切换APP记录”等数十步操作，任何一步遇到广告弹窗、界面加载延迟、按钮偏移，都会导致任务中断。MAI-UI创新性引入MCP（Model-Callable Protocol）工具调用协议，核心遵循“工具优先”原则，当识别到任务可通过结构化工具高效完成时，会优先调用工具而非操作界面，将数十步易错UI操作压缩为几次可靠API调用。

比如执行“查找附近4公里内招商银行网点，规划从当前位置到网点再到银泰城的行程，总耗时不超过2小时，结果记录到笔记APP”的任务，传统GUI智能体需反复切换APP、手动操作筛选，而MAI-UI会直接调用amap_poi_search、amap_direction等结构化工具，快速获取网点信息与行程耗时，筛选符合条件的方案后自动写入笔记APP，全程无需手动操作界面，既提升效率又降低出错概率。在MobileWorld的MCP工具调用子任务中，MAI-UI成功率达37.5%，相比现有最优GUI智能体提升32.1个百分点，工具调用能力行业领先。

特色三：原生端云协同架构，兼顾性能、隐私与部署成本

GUI智能体落地面临“端侧性能不足、云端隐私风险”的两难困境：纯端侧部署受限于硬件资源，小参数模型无法处理复杂任务；纯云端部署依赖网络，且存在隐私数据上传风险，同时调用成本较高。MAI-UI原生设计端云协同架构，让轻量模型与大模型各司其职，完美平衡性能、隐私与成本三大核心需求。

端侧部署轻量MAI-UI-2B模型，常驻设备本地，一方面负责执行日常简单GUI任务，如APP加购、日历查询、消息回复等，满足高频基础需求；另一方面充当“轨迹监控器”，实时判断任务执行路径是否偏离，精准识别任务卡点。云端部署8B、32B等大参数模型，仅在端侧模型处理复杂任务卡住时接力执行，且切换时端侧模型会自动生成“错误摘要”，让云端模型快速理解失败原因，无需从头执行，大幅提升协同效率。

更关键的是，MAI-UI的端云协同架构具备隐私保护机制，当任务涉及支付密码、短信验证码、身份证信息等敏感内容时，全程在端侧执行，绝不向云端上传任何隐私数据；仅非敏感任务在端侧无法处理时才触发云端调用，真正实现“能本地，就本地；需上云，也不传隐私”。实测数据显示，该架构让MAI-UI在AndroidWorld评测中端侧任务成功率提升33%，云端模型调用减少超40%，兼顾实用性与安全性。

特色四：动态环境稳健执行，在线强化学习适配复杂场景

真实的移动设备环境充满不可预测的动态干扰，比如任务执行中突然弹出广告、APP强制跳转、界面按钮偏移、操作无响应等，这些干扰会导致传统GUI智能体直接中断任务，难以适配真实使用场景。MAI-UI通过大规模在线强化学习训练，具备极强的动态环境适应能力，即使面临各类干扰，也能保持任务连贯性，稳健完成目标。

MAI-UI支持超长轨迹训练与动态扰动注入机制，训练过程中模拟广告弹窗、权限请求、UI偏移等真实干扰场景，让模型学会“识别偏离—自主回退—重新定位—验证结果”的闭环能力。比如执行“删除Pro Expense中所有完全重复的支出记录”任务时，即使被意外带入错误APP、反复返回主屏幕、多次点击无响应，MAI-UI也能快速调整执行策略，最终完成任务。同时，MAI-UI支持并行环境扩展，从32个并行环境扩展至512个时，任务成功率提升5.2个百分点；环境步骤预算从15步增加至50步时，成功率提升4.3个百分点，在复杂动态场景下的稳健性远超传统GUI智能体。

三、技术细节

MAI-UI的核心功能落地，依托四大核心技术支撑，从数据、架构、训练、模型四大层面构建完整技术体系，既保证模型性能领先，又具备可落地、可扩展的技术优势，技术细节通俗易懂且逻辑清晰，便于开发者理解与二次开发。

1. 核心技术一：自演化数据管道，筑牢模型训练基础

数据是GUI智能体的核心根基，传统GUI智能体训练数据存在维度单一、缺乏交互与工具调用信息、无法持续更新等问题，导致模型泛化能力不足。MAI-UI搭建自演化数据管道，实现训练数据的多维度集成与持续迭代，为模型性能提供底层保障。

该数据管道的核心是“多维度数据融合+人工标注+自动生成”的闭环流程，核心集成三类关键数据：一是GUI界面定位与操作数据，覆盖手机、电脑、网页等多终端UI界面，标注界面元素、操作逻辑、任务路径等核心信息；二是用户交互数据，记录模型与用户的澄清对话、意图确认等交互过程，让模型学会主动交互；三是MCP工具调用数据，包含各类场景下的工具调用逻辑、参数配置、返回结果处理等信息，强化模型工具优先的决策能力。

同时，自演化数据管道具备持续迭代能力，模型训练过程中会自动挖掘高频错误任务与未覆盖场景，生成新增训练数据需求，结合人工标注补充高质量数据，再反馈至训练流程，让模型在迭代中不断完善能力，适配更多复杂场景。

2. 核心技术二：统一架构设计，集成三大核心能力

MAI-UI采用统一技术架构，将用户交互、MCP工具调用、端云协同三大核心能力原生集成，而非简单拼接，确保各能力协同发挥作用，架构核心分为四层，从下到上逐层支撑模型运行。

• 底层：环境感知层，负责识别GUI界面元素、设备状态、网络环境等基础信息，为上层决策提供数据支撑；

• 中间层：核心决策层，是模型的大脑，负责解析用户指令、判断任务类型、选择执行路径（界面操作/工具调用）、发起用户交互，同时管理统一任务记忆；

• 上层：执行层，根据决策层指令，完成GUI界面操作、MCP工具调用、端云协同切换等具体执行动作；

• 顶层：监控层，实时监控任务执行轨迹，识别偏离与卡点，触发纠错或云端接力机制。

统一架构让MAI-UI具备极强的灵活性，无论是简单的界面点击，还是复杂的多工具协同调用，都能通过架构内的流程闭环高效完成，避免各能力之间的冲突与割裂。

3. 核心技术三：大规模在线强化学习，提升动态环境稳健性

MAI-UI突破传统GUI智能体“静态训练、离线部署”的局限，采用大规模在线强化学习技术，让模型在动态环境中持续学习优化，核心包含三大关键设计，确保模型在真实场景中的稳健性。

• 超长轨迹训练：支持最长50步的任务轨迹训练，覆盖复杂多步骤任务的全流程，让模型学会长周期任务的规划与衔接，避免因步骤过长导致遗忘目标；

• 动态扰动注入：训练过程中主动注入广告弹窗、APP跳转、权限请求、UI偏移等真实干扰，让模型提前适应各类突发情况，学会应对策略；

• 大规模并行训练：支持从32到512的并行环境扩展，大幅提升训练效率，同时让模型接触更多样化的场景与干扰，提升泛化能力。

通过该技术，MAI-UI在AndroidWorld评测中实现全尺寸模型成功率提升，2B模型提升3.0个百分点、8B模型提升6.0个百分点、32B模型提升2.5个百分点，动态环境下的任务稳健性大幅领先。

4. 核心技术四：全尺寸模型家族，适配多场景部署需求

MAI-UI打造全尺寸模型家族，不同参数模型针对性优化，满足端侧、云端、复杂任务等不同部署场景，兼顾轻量化与高性能，开发者可按需选择，具体参数与适配场景如下表所示： 表1 MAI-UI全尺寸模型家族参数与适配场景表

目前开源的模型为MAI-UI-2B与MAI-UI-8B，满足绝大多数开发者的基础开发与部署需求，32B及235B-A22B模型可通过官方渠道申请调用。

此外，MAI-UI在核心性能上实现全面领先，在GUI grounding（界面定位）与GUI导航（任务执行）两大核心任务的权威评测中登顶SOTA，核心评测成绩如下表所示： 表2 MAI-UI核心评测SOTA成绩表

四、应用场景

MAI-UI凭借强大的GUI定位、工具调用、端云协同与交互能力，可适配多领域多场景的任务自动化需求，核心落地场景覆盖办公、出行、生活、开发四大类，每个场景都能解决实际痛点，具备极高的实用价值。

场景一：自动化办公，提升职场工作效率

办公场景中存在大量重复繁琐的GUI操作任务，比如数据统计、报表生成、邮件发送、文件整理等，耗费职场人大量时间，MAI-UI可实现办公任务全流程自动化，解放双手提升效率。

• 核心落地场景1：跨APP数据整理与报表生成。比如“从企业微信导出上周销售数据，从Excel中提取对应客户信息，匹配后生成销售报表并发送给部门主管”，MAI-UI可自动打开企业微信导出数据、切换Excel筛选匹配、调用报表工具生成文档，最后通过邮件发送，全程无需手动操作；

• 核心落地场景2：代码开发辅助与信息同步。比如“查询GitHub上指定项目近7天代码提交记录，筛选核心更新内容，格式化后发送给开发组邮件列表”，MAI-UI可调用GitHub API获取提交记录，无需手动打开网页筛选，快速整理后自动发送邮件；

• 核心落地场景3：日程与任务管理。比如“同步日历中本周会议安排，提醒每天待办事项，会议结束后自动生成会议纪要并同步至云文档”，MAI-UI可联动日历、笔记APP，实现日程管理全流程自动化。

场景二：智能出行规划，简化出行流程

出行场景涉及地图查询、票务预订、行程规划等多APP操作，步骤繁琐且易出错，MAI-UI可实现出行任务一站式处理，让出行更便捷。

• 核心落地场景1：多目的地行程规划。比如“规划从家到公司附近招商银行网点，再到银泰城的下午行程，要求总耗时不超过2小时，筛选距离最近的网点，记录行程详情”，MAI-UI调用地图工具快速获取网点与路线信息，筛选符合耗时要求的方案，自动记录至笔记APP；

• 核心落地场景2：票务查询与预订辅助。比如“查询明天从杭州到上海的高铁票，筛选下午时段、二等座、价格低于60元的车次，生成备选列表并提醒预订”，MAI-UI可打开购票APP筛选符合条件的车次，无需手动翻找，快速生成备选方案；

• 核心落地场景3：出行信息同步与提醒。比如“查询目的地未来3天天气，根据天气调整出行计划，提醒携带对应物品，同步至手机提醒事项”，MAI-UI联动天气APP与提醒工具，实现出行信息智能适配与同步。

场景三：日常生活服务，提升生活便捷度

日常生活中的购物、缴费、信息查询等场景，同样涉及多APP交互，MAI-UI可化身生活助手，实现生活服务自动化处理。

• 核心落地场景1：购物比价与加购。比如“查询京东、淘宝上指定型号耳机的价格，筛选最低价商品，加入购物车并提醒下单”，MAI-UI可跨平台查询价格，无需手动切换APP，快速找到最优选择；

• 核心落地场景2：生活缴费与账单管理。比如“查询本月水电燃气账单，核对金额后完成缴费，记录缴费明细至记账APP”，MAI-UI可联动缴费APP与记账工具，实现账单查询、缴费、记录一站式完成；

• 核心落地场景3：生活信息查询与整理。比如“查询附近评分4.5以上的川菜馆，筛选距离1公里内、支持外卖的商家，生成推荐列表”，MAI-UI调用本地生活工具获取商家信息，精准筛选后生成推荐结果，无需手动翻找评价。

场景四：开发与测试，赋能技术研发效率

对于开发者而言，MAI-UI可作为GUI自动化测试、智能助手开发的基座，大幅降低开发与测试成本，提升研发效率。

• 核心落地场景1：APP GUI自动化测试。开发者可基于MAI-UI搭建自动化测试框架，模拟用户操作流程，自动测试APP界面元素是否正常、操作是否流畅、异常场景是否能正常响应，无需手动编写大量测试用例；

• 核心落地场景2：智能助手开发。开发者可基于MAI-UI的开源模型与架构，快速搭建适配特定场景的智能助手，比如电商智能客服助手、智能家居中控助手等，无需从零开发GUI理解与执行能力；

• 核心落地场景3：跨终端交互适配。MAI-UI支持手机、电脑、网页等多终端GUI界面，开发者可基于其搭建跨终端智能交互应用，实现“一次开发，多端适配”。

五、使用方法

MAI-UI开源提供完整的代码仓库、模型文件与使用示例，支持本地部署与调用，整体使用流程简单清晰，分为环境准备、模型部署、快速上手、进阶使用四大步骤，开发者可快速落地。

步骤一：环境准备，满足基础运行条件

MAI-UI基于Python开发，核心依赖Python 3.8及以上版本，同时需要安装相关依赖库，确保模型正常运行，具体环境要求与依赖安装步骤如下：

1. 系统要求：支持Windows、Linux、macOS三大主流系统，端侧部署推荐Android、iOS系统（适配2B模型）；

2. Python版本：必须安装Python 3.8、3.9、3.10或3.11版本，不支持更低版本；

3. 依赖安装：克隆仓库后，进入仓库根目录，执行以下命令安装核心依赖

# 克隆MAI-UI仓库
git clone https://github.com/Tongyi-MAI/MAI-UI.git
# 进入仓库目录
cd MAI-UI
# 安装核心依赖
pip install -r requirements.txt

4. 额外配置：若需使用MCP工具调用功能，需根据对应工具的API要求配置密钥（如地图API、GitHub API等），配置文件位于src/config/tool_config.py中。

步骤二：模型部署，按需选择部署方式

MAI-UI支持端侧部署、云端部署两种核心方式，不同模型适配不同部署方式，开源的2B、8B模型支持本地部署，32B及以上模型需申请官方权限，具体部署方式如下：

1. 端侧部署（适配2B模型）：适用于手机、平板等移动设备，需先将MAI-UI-2B模型转换为端侧适配格式（如ONNX），再通过端侧推理框架部署，官方提供Android/iOS端部署示例，位于cookbook/edge_deploy/目录；

2. 本地部署（适配2B、8B模型）：适用于电脑本地测试与开发，直接下载模型文件（从Hugging Face仓库获取），放置于models/目录，无需额外配置，即可本地调用；

3. 云端部署（适配8B、32B模型）：适用于复杂任务处理，可将模型部署至云服务器，通过API接口提供调用服务，官方提供Docker镜像与部署脚本，位于deploy/cloud/目录。

步骤三：快速上手，3分钟完成基础调用

MAI-UI提供cookbook目录，包含两个核心示例笔记本，帮助开发者快速上手，分别是grounding.ipynb（GUI界面定位）与run_agent.ipynb（智能体任务执行），以run_agent.ipynb为例，3分钟即可完成基础任务调用：

1. 打开示例文件：进入cookbook目录，打开run_agent.ipynb笔记本；

2. 加载模型与配置：运行第一部分代码，加载MAI-UI模型（默认加载8B模型，可修改为2B模型），配置任务参数与工具权限；

3. 下达任务指令：在任务输入框中输入简单GUI任务，比如“打开系统日历，查看明天的日程安排”；

4. 执行并查看结果：运行代码，模型会自动识别日历界面、执行查看操作，输出任务执行结果与轨迹，全程无需手动干预。

步骤四：进阶使用，自定义任务与工具

对于有进阶需求的开发者，可基于MAI-UI进行自定义开发，比如新增自定义任务、扩展MCP工具、适配特定APP界面等，核心进阶操作如下：

1. 自定义任务：修改src/prompt.py中的任务提示词模板，适配特定场景任务，同时在src/unified_memory.py中配置任务记忆规则，提升任务连贯性；

2. 扩展MCP工具：在src/utils/tool/目录下新增工具调用脚本，遵循MCP协议规范，配置工具名称、参数、返回格式，即可让模型支持新工具调用；

3. 适配特定APP：收集目标APP的GUI界面数据，标注界面元素与操作逻辑，补充至自演化数据管道，重新微调模型，即可让模型适配特定APP的操作。

六、常见问题解答

Q1：MAI-UI支持哪些操作系统与终端的GUI界面？

A：MAI-UI支持多终端多操作系统的GUI界面，核心覆盖手机端Android、iOS系统，电脑端Windows、macOS、Linux系统，同时支持网页端GUI界面，适配绝大多数主流APP与网页，对于小众APP或自定义界面，可通过补充界面数据微调模型实现适配。

Q2：开源的2B、8B模型与未开源的32B、235B-A22B模型有何区别？

A：核心区别在于参数规模与性能，2B、8B模型侧重轻量化与部署便捷性，满足多数基础场景需求，可免费开源使用；32B、235B-A22B模型参数更大，规划推理能力更强，适配复杂任务与极致性能需求，目前暂未开源，开发者可通过官方项目网站提交申请，审核通过后可获取调用权限。

Q3：MCP工具调用功能如何配置？是否支持自定义工具？

A：MCP工具调用需先在src/config/tool_config.py中配置对应工具的API密钥与调用地址，官方已内置地图、邮件、GitHub等常用工具；同时支持自定义工具，只需遵循MCP协议规范，在src/utils/tool/目录下新增工具脚本，定义工具名称、输入参数、输出格式，即可实现自定义工具调用。

Q4：端云协同部署如何保障隐私安全？是否会上传敏感数据？

A：MAI-UI的端云协同架构具备严格的隐私保护机制，端侧模型会自动识别敏感信息，涉及支付密码、短信验证码、身份证、银行卡等敏感内容的任务，全程在端侧执行，绝不向云端上传任何敏感数据；仅非敏感任务且端侧无法处理时，才会触发云端调用，且调用时仅上传任务执行轨迹与错误摘要，不包含任何隐私信息。

Q5：MAI-UI是否支持二次开发与商用？

A：MAI-UI基于Apache 2.0开源协议开源，支持开发者进行二次开发、修改、分发，同时允许商用，但需遵循开源协议要求，保留原作者版权声明，不得用于违法违规场景；商用前建议查看官方开源协议详情，确保合规使用。

Q6：运行MAI-UI需要较高的硬件配置吗？端侧部署有何要求？

A：不同模型硬件要求不同，本地运行2B模型仅需8G内存、无独立显卡即可；运行8B模型建议16G内存、GTX 1060及以上显卡；端侧部署2B模型，手机需Android 10.0/iOS 14.0及以上系统，内存4G及以上，即可流畅运行，无需高端配置。

Q7：传统GUI智能体迁移至MAI-UI架构是否复杂？

A：迁移难度较低，MAI-UI提供完善的适配接口，传统GUI智能体的界面定位数据、任务执行逻辑可直接适配MAI-UI的自演化数据管道，只需少量修改适配统一架构，即可实现迁移，同时能快速获得用户交互、工具调用、端云协同等新增能力。

七、相关链接

MAI-UI官方提供完整的资源支持，包含代码仓库、模型下载、技术报告、项目官网等，开发者可通过以下官方链接获取所需资源，确保使用的是最新正版资源：

1. 开源代码仓库（GitHub）：https://github.com/Tongyi-MAI/MAI-UI

2. 模型下载仓库（Hugging Face）：https://huggingface.co/Tongyi-MAI

3. 官方项目网站：https://tongyi-mai.github.io/MAI-UI/

4. 技术报告（arXiv）：https://arxiv.org/abs/2512.22047

八、总结

MAI-UI是阿里通义实验室开源的全尺寸基础GUI智能体项目，聚焦移动场景人机交互革新，核心覆盖2B、8B、32B、235B-A22B全尺寸模型，原生集成用户交互、MCP工具调用、端云协同三大核心能力，通过自演化数据管道、大规模在线强化学习等核心技术，解决了传统GUI智能体交互缺失、操作局限、部署困难、动态环境脆弱等四大核心痛点，在ScreenSpot-Pro、AndroidWorld等多项权威评测中全面登顶SOTA，性能超越Gemini-3-Pro、UI-Tars-2等主流模型。该项目采用统一架构设计，兼顾轻量化与高性能，端侧2B模型可常驻设备保障隐私，云端大模型可处理复杂任务提升性能，同时支持MCP工具优先调用，替代繁琐UI操作提升效率，还具备动态环境稳健执行能力，适配真实使用场景的各类干扰。MAI-UI的应用场景覆盖自动化办公、智能出行、日常生活、开发测试四大核心领域，能实现多场景任务自动化处理，具备极高的实用价值；同时提供完整的开源资源与使用教程，环境准备简单，部署方式灵活，支持二次开发与商用，遵循Apache 2.0开源协议，为开发者落地GUI智能体相关应用提供了成熟、高效的基座，是现阶段GUI智能体领域极具标杆意义的开源项目，推动了移动场景下一代人机交互的落地与革新。