零代码玩转Open-AutoGLM：一句话指令，AI自动操作你的手机
你有没有想过，有一天你的手机能听懂你的话，然后自己把事情办了？
想象一下这些场景：
- 早上起床，说一句“帮我点杯咖啡”，手机自动打开外卖软件，找到你常喝的店，下单付款，一气呵成。
- 刷到喜欢的博主，说“关注他”，手机就自动完成搜索、点击关注、发送私信。
- 看到朋友分享的餐厅，说“查查营业时间并导航过去”，手机自动打开地图，搜索、查看信息、规划路线。
这听起来像是科幻电影里的情节，但今天，它已经变成了现实。
我要介绍的 Open-AutoGLM，就是这样一个能“替你摸手机”的AI智能体。它不是简单的语音助手，也不是预设的自动化脚本，而是一个真正能看懂屏幕、理解意图、并像真人一样操作手机的AI框架。
最棒的是，你不需要写一行代码，不需要训练任何模型，甚至不需要懂技术术语。跟着我下面的步骤，10分钟就能让它开始为你工作。
1. 它到底是什么？一句话说清核心能力
Open-AutoGLM 是智谱AI开源的一个手机端AI智能助理框架。它的核心能力可以用三句话概括：
- 你看得见的，它都看得懂：通过实时截图，它能理解手机屏幕上有什么——按钮在哪里、文字写了什么、图标代表什么意思。
- 你说得清的，它就能做对：你只需要用自然语言下指令，比如“打开小红书，搜索‘北京咖啡探店’，点开第一条笔记”。
- 它动手时，你只需要看着：它会自动调用ADB（安卓调试桥）执行点击、滑动、输入等操作，全程不需要你手动干预。
简单来说，它就像一个坐在你手机里的“虚拟手指”，能看懂、能听懂、还能动手操作。
2. 准备工作：3样东西，5分钟搞定
别被“ADB”、“框架”这些词吓到。我们只需要准备三样东西，整个过程就像安装一个普通App一样简单。
2.1 电脑端准备
你的电脑需要准备好这三样：
Python 3.10或更高版本
- 打开终端（Windows是命令提示符或PowerShell，macOS是Terminal）
- 输入
python --version或python3 --version - 如果显示
Python 3.10.x或更高版本，就说明已经安装好了 - 如果没有，去Python官网下载安装，记得勾选“Add Python to PATH”
ADB工具
- ADB是安卓调试工具，用来连接和控制手机
- 下载地址：Platform-tools官方包
- 下载后解压到任意文件夹，比如
C:\platform-tools或~/Downloads/platform-tools
安卓手机
- Android 7.0或更高版本
- 真机或模拟器都可以
小贴士：如果你是Windows用户，解压ADB后需要把它添加到系统环境变量：
- 右键“此电脑” → 属性 → 高级系统设置 → 环境变量
- 在“系统变量”里找到Path，点击编辑
- 点击新建，输入ADB解压的完整路径（比如
C:\platform-tools） - 保存后，重新打开命令提示符，输入
adb version，能看到版本号就说明成功了
2.2 手机端设置
手机端只需要三步，而且都是官方支持的功能，不需要Root：
开启开发者模式
- 打开手机“设置” → “关于手机”
- 找到“版本号”，连续点击7次
- 你会看到提示“您已处于开发者模式”
开启USB调试
- 回到设置主界面，现在能看到“开发者选项”
- 进入“开发者选项”，找到“USB调试”并打开
- 用USB线连接电脑和手机
- 手机会弹出“允许USB调试吗？”的提示，勾选“始终允许”，点击确定
安装ADB Keyboard（可选但推荐）
- 下载 ADB Keyboard APK
- 在手机上安装这个APK文件
- 安装后，进入“设置” → “语言与输入法” → “当前输入法”
- 选择“ADB Keyboard”作为默认输入法
为什么需要ADB Keyboard？因为有些输入框（比如密码框）系统键盘可能无法通过ADB输入，ADB Keyboard能确保AI可以在任何输入框里安全地输入文字。
3. 一行命令启动：让AI开始工作
现在到了最激动人心的部分——让AI开始操作你的手机。我们跳过复杂的服务器部署，直接用最简单的方式。
3.1 下载代码和安装依赖
打开终端，依次执行以下命令：
# 1. 下载Open-AutoGLM代码 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 2. 安装必要的Python库 pip install -r requirements.txt pip install -e .如果安装过程中遇到网络问题，可以换成国内的镜像源：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt3.2 检查手机连接
确保手机通过USB线连接到电脑，并且已经开启了USB调试：
adb devices正常的话，你会看到类似这样的输出：
List of devices attached 8A9X023456789ABC device只要看到你的设备ID后面跟着device，就说明连接成功了。记下这个设备ID（上面例子中的8A9X023456789ABC），后面会用到。
3.3 运行你的第一条指令
现在，让我们给AI下第一个命令。在终端里输入：
python main.py \ --device-id 8A9X023456789ABC \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ "打开抖音，搜索用户‘科技小飞’，点关注"参数说明：
--device-id：替换成你刚才adb devices看到的设备ID--base-url：这是智谱AI的公开API地址，可以直接使用--model：指定使用的模型- 最后引号里的内容：这就是你给AI的指令，用自然语言写就行
运行后，你会看到终端开始输出日志，同时你的手机会自动开始操作：
- 解锁屏幕（如果需要）
- 找到抖音图标并打开
- 点击搜索框
- 输入“科技小飞”
- 点击搜索按钮
- 找到对应的用户
- 点击关注按钮
整个过程大概需要20-40秒，期间你不需要碰手机，只需要看着它自动完成所有操作。
4. 真实场景演示：看看AI能做什么
光说不练假把式，我实际测试了几个常见场景，让你看看Open-AutoGLM到底有多实用。
4.1 场景一：外卖点餐（美团）
指令：“打开美团，搜索‘瑞幸咖啡’，进入第一家店，点一杯‘生椰拿铁’，选择‘去冰’，加入购物车”
实际效果：
- AI自动打开美团App
- 精准点击顶部的搜索框
- 输入“瑞幸咖啡”并搜索
- 在结果列表中点击第一个店铺
- 进入店铺后，滑动找到“生椰拿铁”
- 点击商品，在弹出的选项中选择“去冰”
- 点击“加入购物车”
整个过程流畅自然，就像真人在操作一样。最让我惊讶的是，它甚至能识别出那些小小的“规格选择”按钮。
4.2 场景二：社交互动（微信）
指令：“打开微信，找到‘文件传输助手’，发送消息：‘测试消息，这是AI自动发送的’”
实际效果：
- 启动微信，直接进入聊天界面
- 点击右上角的搜索图标（不是靠猜位置，是真的识别出了搜索图标）
- 在搜索框输入“文件传输助手”
- 点击搜索结果中的“文件传输助手”
- 进入聊天界面，点击输入框
- 逐字输入消息内容（模拟真人打字，不是直接粘贴）
- 点击发送按钮
消息发送成功后，手机通知栏会立即显示新消息。这个场景展示了AI对复杂UI的准确理解能力。
4.3 场景三：信息查询（高德地图）
指令：“打开高德地图，搜索‘北京西站’，查看周边美食，截图保存”
实际效果：
- 打开高德地图App
- 点击搜索框，输入“北京西站”
- 点击搜索按钮
- 在地点详情页，找到“周边”或“附近”标签
- 点击“美食”分类
- 滑动浏览结果
- 截图并保存到相册
这个任务涉及多个步骤和界面切换，但AI都能准确完成，说明它的规划能力相当不错。
5. 进阶技巧：让AI更好地为你工作
当你成功运行了第一条指令后，可以试试这些进阶技巧，让AI用起来更顺手。
5.1 无线控制：摆脱USB线的束缚
不想一直插着USB线？可以用WiFi无线控制：
# 第一步：先用USB线连接一次，开启无线调试模式 adb tcpip 5555 # 第二步：拔掉USB线，让手机和电脑连接同一个WiFi # 在手机设置里查看IP地址：设置 → WLAN → 点击当前连接的网络 → 查看IP地址 # 假设IP是 192.168.1.100 # 第三步：通过WiFi连接手机 adb connect 192.168.1.100:5555 # 第四步：运行指令时使用IP地址作为设备ID python main.py \ --device-id 192.168.1.100:5555 \ --base-url https://open.bigmodel.cn/api/paas/v4 \ --model autoglm-phone \ "打开B站，搜索‘Open-AutoGLM教程’，播放第一个视频"无线连接的延迟很低，基本感觉不到和USB线的区别，但你可以自由移动手机，方便多了。
5.2 指令优化：如何让AI更懂你
有时候AI执行效果不理想，可能是指令写得不清楚。试试这些技巧：
不好的指令：“点那个蓝色的按钮”问题：按钮颜色可能会变，位置可能会动改进：“点‘立即购买’按钮” 或 “点写着‘提交订单’的按钮”
不好的指令：“往下翻翻看”问题：“往下”太模糊，翻多少？改进：“向下滑动两次” 或 “滑动到页面底部”
不好的指令：“打开淘宝搜手机然后按价格排序再点第一个看看详情”问题：指令太长，AI可能理解不全改进：拆分成多个指令：
- “打开淘宝，搜索‘iPhone 15’”
- 等AI完成后，再输入：“按价格从低到高排序”
- 再输入：“点击第一个商品”
核心原则：像教一个细心但没经验的朋友做事——说清楚要做什么、依据什么（看到的文字或图标）、做什么动作（点击、滑动、输入）。
5.3 安全机制：敏感操作需要你确认
Open-AutoGLM内置了安全机制，遇到敏感操作时会暂停，等你确认：
- 当检测到支付页面、密码输入框、验证码界面时
- AI会在终端输出：
检测到敏感操作：支付页面。请手动完成验证，完成后按回车继续... - 这时候你需要在手机上手动完成支付或输入验证码
- 完成后，回到电脑按回车键，AI会继续执行后续操作
这个设计既保证了安全性，又不打断自动化流程。
6. 常见问题解决
如果你遇到了问题，先看看这里有没有解决方案：
| 问题现象 | 可能原因 | 解决方法 |
|---|---|---|
adb devices不显示设备 | USB调试未开启，或连接模式不对 | 1. 确认手机已开启USB调试 2. 手机通知栏下拉，点击USB连接通知，选择“文件传输”或“MTP”模式 |
终端报错Connection refused | API地址填错，或网络不通 | 检查--base-url是否为https://open.bigmodel.cn/api/paas/v4（注意末尾没有斜杠） |
| AI执行到一半卡住 | 手机屏幕熄灭了，或App闪退 | 1. 设置手机屏幕常亮：设置 → 显示 → 休眠 → 选择“永不” 2. 确保要操作的App已经安装且可以正常运行 |
| 点击位置总是偏移 | 手机设置了非标准字体或显示大小 | 设置 → 显示 → 字体与样式 → 字体大小设为“标准”；显示大小设为“默认” |
| 输入中文时显示乱码 | ADB Keyboard未设为默认输入法 | 设置 → 语言与输入法 → 当前输入法 → 选择“ADB Keyboard” |
如果以上方法都不行，可以尝试“重启大法”：
# 重启ADB服务 adb kill-server adb start-server # 重新连接设备 adb devices # 确认ADB Keyboard是默认输入法7. 总结：今天就能用上的AI助手
Open-AutoGLM 最让我欣赏的，不是它用了多先进的技术，而是它真的把AI自动化这件事做“实”了：
- 它不挑App：不需要为每个App单独训练，通用的视觉语言模型让它能适应各种界面
- 它不要求你会编程：一句中文指令就能驱动复杂的操作流程
- 它保护你的隐私：所有截图都在本地处理，不上传到任何服务器（除非你主动使用在线API）
- 它已经足够实用：微信、抖音、小红书、美团、高德等50多个主流App都能正常使用
对普通用户来说，它是解放双手的工具——那些重复性的手机操作，现在可以交给AI了。
对开发者来说，它是学习手机Agent的绝佳范本——代码结构清晰，模块设计合理，很容易在此基础上开发自己的应用。
对产品经理来说，它展示了AI如何真正融入日常生活——不是停留在对话，而是实际动手解决问题。
技术应该服务于人，让人生活得更轻松。当AI不仅能听懂我们说话，还能替我们完成具体任务时，我们才真正进入了智能时代。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
