OpenGUI v0.1.6 实测：AI 能自己操作安卓手机

生成摘要

AI 生成，仅供参考

前阵子刷 GitHub，撞见一个叫 OpenGUI 的项目，点进去一看有点意思：它想让 AI 直接操作你手机上的真实 App。不是模拟器里点几下那种玩具，是真在你安卓机上划屏幕、点按钮、看界面，然后自己把活干完。我折腾了几天，把它的玩法、坑和适用场景理了一遍，这篇就当给同样想偷懒的你交个底。

它到底能干什么

OpenGUI 是个安卓 GUI 智能体框架。拆开看，它干三件事：先「看」屏幕（截图加视觉理解），再「想」下一步（把目标拆成可执行的步骤），最后「动手」（通过安卓的无障碍服务去点、滑、输入）。跑完一轮还会给你一份结构化的总结：做了啥、哪成了、哪还没搞定。

官方列了一堆能折腾的场景：让 AI 去 X、Reddit、Hacker News 上读帖总结；在微信、微博、小红书里做重复操作；给授权设备做 UI 自动化回归测试；甚至通过飞书、Telegram、Discord 或者一个 REST 接口远程派单，手机搁那边待机接活。

说白了，它就是给「手机里那些重复、机械、但又离不开人点」的活，配了个能自己干的工人。

怎么跑起来，以及几个坑

先说门槛，省得你和我一样踩。

• 手机得是 **Android 11（API 30）及以上**，低版本直接劝退。
• 要开 **USB 调试**、开 **无障碍服务（AccessibilityService）**，还要给**悬浮窗权限**和**电池优化豁免**。权限这块每个安卓厂商藏的位置都不一样，第一次配挺烦。
• **不需要 root**，这点好评，它走的是标准无障碍接口，ADB 只用来装 APK 和做端口转发。
• 真要干活，得自备**模型 API Key**——它要的是「能看图、能调用工具」的视觉模型。

装法有两条路。想省事可以走 DeepSeek Harness 插件（macOS 上一键装，Linux 和 Windows 走手动包）；想跑完整栈就克隆仓库，后端 cd server && ./start.sh、客户端 cd client && ./start.sh。项目地址放这：

https://github.com/Core-Mate/OpenGUI

我自己的体会：环境这关比想象中费劲。光是配安卓权限和模型 Key 就耗了我大半天，文档基本只有 README，碰到奇葩报错得自己翻 issue 找答案。

派个活长什么样

接好手机、起好后端之后，派活其实就一行命令，比如让 AI 看看当前屏幕：

cd server
pnpm opengui -- do "观察当前安卓屏幕，总结你看到了什么" --json

它不会卡在那等你，而是先回一个执行 ID，你拿这个 ID 去查状态。任务跑完，系统会给出当前进度、当前步骤、以及最终的结构化结果。这种「派活—后台跑—回头收结果」的节奏，比对着聊天框等回复要顺手。

模型怎么选，钱怎么省

官方给了一份模型推荐表，挺实在：

• 首选 **豆包 VLM**，做视觉 GUI 执行最稳；
• 备选 **Qwen VLM**，便宜但部分社媒场景对安全策略更敏感；
• OpenAI、Grok 的视觉模型也能用，但截图多的任务成本高。

省钱配置官方也给了：规划、监督用 **Qwen 3.6 Plus**，执行用 **豆包 Pro**，整体比全上 Claude Opus 便宜大概 **10 到 15 倍**。想要最强效果就全 Opus 拉满——当然钱包也一起拉满。

优点和槽点，我都摊开说

先说好的。它最打动我的是**长任务设计**：任务能跑几个小时，中间有进度、有审查、有失败恢复，不是那种点一下就结束的玩具。还有**模型按角色分工**，规划和「看屏幕执行」可以拆开用不同模型，既保质量又控成本。多设备、远程派单这些设计，看得出是想正经当生产力工具，不是 Demo。

槽点也得讲。第一，**它不是开箱即用的玩具**，环境、权限、Key 一个不少，小白直接劝退。第二，执行质量**非常依赖模型、App 界面、网络**，复杂界面容易翻车，官方也明说可靠性还要更多实测。第三，**许可证是 BUSL-1.1**，源码可见但商业用途、托管服务要单独授权——个人玩玩没问题，想拿去做产品得先谈授权。第四，目前不算「常驻系统级助手」，任务大多得手动或走配置好的通道触发。

一句合规提醒

本地部署记得遵守项目 LICENSE 和开源协议；跑之前确认手机满足安卓版本和权限要求；屏幕上的数据、账号自己备份好，别让 AI 替你乱点涉及钱和隐私的操作。尤其涉及发消息、发帖，务必自己确认再放行。

我的真实感受

折腾下来，我觉得 OpenGUI 是个「方向对、但还早」的项目。它能让你第一次直观感受到：AI 不只是聊天，是真的能坐你旁边替你划手机干活。不过现在它还挑设备、挑模型、挑场景，离「甩给爸妈用」差得远。

如果你是开发者、喜欢折腾自动化，或者手头有台闲置安卓机想试试「手机打工人」，它值得 clone 下来玩两天。别指望一步到位，但那个「AI 自己把活干完还给你交总结」的瞬间，确实有点东西。

获取地址

• GitHub 仓库（含完整文档与源码）：https://github.com/Core-Mate/OpenGUI
• 最新发布 dsh-coremate-mobile v0.1.6（DeepSeek Harness 插件，2026-08-30）：https://github.com/Core-Mate/OpenGUI/releases/tag/dsh-coremate-mobile-v0.1.6
• 安卓调试 APK（v0.1.1）：https://github.com/Core-Mate/OpenGUI/releases

我是胖猫，一个爱折腾开源工具、顺手把坑记下来的博主。如果今天这篇对你有用，欢迎点赞、在看、转发三连，我们下篇见。