AgentCPM-GUI – 清华联合面壁智能核心平台的端侧图形用户界面智能体开发模型

AgentCPM-GUI是什么

AgentCPM-GUI 是清华大学和面壁智能团队联合推出的开源端侧 GUI Agent ，针对中文应用优化。模型基于 MiniCPM-V（80 亿参数）构建，能接受智能手机截图作为输入，自主执行用户指定的任务。模型基于大规模中文安卓应用界面数据预训练，显著提升对 GUI 元素的理解和定位能力。AgentCPM-GUI 在中文 Grounding Benchmark 和 Agent Benchmark 上均取得 SOTA 性能，是首个针对中文应用精细优化的开源 GUI Agent。

AgentCPM-GUI的主要功能

中文应用操作：理解和操作多种中文应用，如高德地图、大众点评、哔哩哔哩和小红书等。
任务自动化执行：接受用户指令后，自动拆分任务步骤，在对应应用中准确执行，如点单、播放视频等。
高质量 GUI 定位：准确定位屏幕上的按钮、输入框、标签等 GUI 元素。
OCR 定位与识别：识别屏幕中的文本内容，根据文本描述执行相应操作。

AgentCPM-GUI的技术原理

预训练：基于大规模中文安卓应用界面数据进行预训练，覆盖常见的按钮、输入框、标签、图标等通用 GUI 控件。基于高质量的 GUI Grounding 预训练，提升模型对视觉界面元素的理解和定位能力。具备 OCR Grounding 能力，准确定位和识别屏幕中的文本内容。
强化微调（RFT）：设计动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励函数，引导模型自主生成高质量的思维链过程。在奖励函数的引导下，模型不断优化自身策略，获取更高的奖励，提升任务的执行成功率。
紧凑动作空间设计：基于紧凑的 JSON 格式，将动作平均长度压缩至 9.7 个 token，减少推理时的计算和内存需求。紧凑的动作空间设计让模型更适合在移动设备上部署，加快端侧推理速度，缓解隐私安全问题。