AI 智能体与 MCP
通过 droidline mcp,让 Claude、ChatGPT、Cursor、VS Code、Gemini CLI 或任何 MCP 客户端能够查看并操作 Android 手机,包含每种客户端的设置方法和获得好结果的技巧。
本页为译文。如与英文版不一致,以英文版为准。 English
MCP(Model Context Protocol)是 AI 助手使用外部工具的标准方式。droidline mcp 是一个 MCP 服务器:你的助手连接到它之后,就能查看手机屏幕,并在上面点击、输入和滚动,所用的命令与你在脚本中使用的相同。
工作原理
- 每条 Droidline 命令都对应一个同名工具。名称中的点改为下划线:
chrome.go变成chrome_go。 dump返回去掉了空字段的精简界面树,因此模型消耗的 token 更少。screenshot返回一张模型能看到的图片。- 服务器会告诉智能体该怎么做:用
dump查看界面,按text、id或desc操作元素,只在没有元素的界面上使用坐标。 - 对于 Wi-Fi、移动数据和飞行模式,服务器会让智能体先用
intent打开设置页面,再用带cuts_network=true和wait=true的batch点击开关,这样手机离线时也能自行完成。 - 如果
droidline serve没有运行,droidline mcp会在自己的进程中启动一个服务器。你仍然需要用droidline pair配对一次手机。
设置客户端
选择你所用助手的标签页。无论哪种情况,命令都是 droidline mcp;如果 droidline 不在 PATH 中,请改用程序的完整路径,例如 C:\\Tools\\droidline\\droidline.exe(在 JSON 中反斜杠要写两次)。
依次打开 Settings、Developer、Edit Config,或者直接编辑配置文件:
- Windows:
%APPDATA%\Claude\claude_desktop_config.json - macOS:
~/Library/Application Support/Claude/claude_desktop_config.json
{
"mcpServers": {
"droidline": { "command": "droidline", "args": ["mcp"] }
}
}重启 Claude Desktop。新对话的工具菜单中会出现 Droidline 的工具。
在 ChatGPT 桌面应用中,依次打开 Settings、MCP servers、Add server。名称填 droidline,选择 STDIO,命令填 droidline,参数填 mcp,保存后点击 Restart。
ChatGPT 桌面应用、Codex CLI 和 Codex IDE 扩展共用同一份配置,所以也可以在终端中添加:
codex mcp add droidline -- droidline mcp或者直接写入 ~/.codex/config.toml(Windows 上是 %USERPROFILE%\.codex\config.toml):
[mcp_servers.droidline]
command = "droidline"
args = ["mcp"]浏览器中的 ChatGPT 不会读取这份本地配置,请使用桌面应用或 Codex。
claude mcp add droidline -- droidline mcp然后启动 claude,让它查看你的手机。claude mcp list 会显示服务器是否已连接。
把下面的内容加入 ~/.cursor/mcp.json,对所有项目生效;或者加入某个项目中的 .cursor/mcp.json:
{
"mcpServers": {
"droidline": { "command": "droidline", "args": ["mcp"] }
}
}打开 Cursor 的设置,进入 MCP,确认 droidline 已列出并已启用。
把下面的内容加入工作区中的 .vscode/mcp.json:
{
"servers": {
"droidline": { "type": "stdio", "command": "droidline", "args": ["mcp"] }
}
}点击配置上方出现的 CodeLens 启动服务器,然后在 Copilot 的智能体模式中使用这些工具。
gemini mcp add -s user droidline droidline mcp加上 -s user 会对所有项目生效;不加则只添加到当前项目。也可以直接写入 ~/.gemini/settings.json:
{
"mcpServers": {
"droidline": { "command": "droidline", "args": ["mcp"] }
}
}在 Gemini CLI 中输入 /mcp,可以看到服务器是否已连接以及它的工具列表。
在 AI Assistant 中依次打开 Settings、Tools、AI Assistant、Model Context Protocol (MCP),点击 Add。选择 STDIO 连接,把下面的内容粘贴到 JSON configuration:
{
"mcpServers": {
"droidline": { "command": "droidline", "args": ["mcp"] }
}
}点击 OK,再点击 Apply 启动服务器。Status 列会显示是否已连接。
打开 Settings、AI、MCP Servers,点击 Add Server 并选择 Add Local Server;或者把下面的内容加入 Zed 的 settings.json:
{
"context_servers": {
"droidline": { "command": "droidline", "args": ["mcp"], "env": {} }
}
}在 MCP Servers 中,droidline 旁边的圆点为绿色表示服务器正在运行。
任何能通过标准输入和标准输出启动服务器的 MCP 客户端都可以使用。把它配置为运行:
droidline mcp不需要设置任何环境变量。如果存在 DROIDLINE_DEVICE、DROIDLINE_TOKEN 等设置,会读取它们。
选择手机
只有一部手机在线时,智能体就使用它。有多部手机时,智能体会调用 devices,并在每次调用工具时传入 device。要设置默认使用的手机,加上 --device。智能体在调用工具时仍然可以指定另一部手机,所以这是默认值,不是限制:
{
"mcpServers": {
"droidline": { "command": "droidline", "args": ["mcp", "--device", "shelf-01"] }
}
}
添加两个名称和设备都不同的条目,一个助手就能按名称使用两部手机。
怎样提问效果好
目标明确并且有办法验证结果时,智能体表现最好。下面是一些效果不错的提示:
- “打开我手机上的设置,告诉我它连接的是哪个 Wi-Fi 网络。”
- “在演示应用中以 knife 身份登录,然后告诉我主界面上的余额。”
- “截一张图,找到关闭这个弹窗的按钮,然后点击它。”
- “用 droidline 包写一个 Python 脚本,完成你刚才做的事。”
最后一条是个好习惯:先让智能体探索一次新应用,再把它做过的操作变成一个不需要它也能运行的脚本。
限制智能体能用的工具
默认情况下,Droidline 的每条命令都是一个工具,只有 sms、calls 和 contacts 例外,它们要在 --tools 写了名称时才会出现。从 0.1.6 版起有两个选项可以缩小范围:
--tools列出智能体能看到和调用的全部工具。调用列表之外的工具会被拒绝,工具名写错时droidline mcp不会启动。--read-only只保留查看手机的工具,例如dump、screenshot、ocr、exists和notifications。点击、输入、打开应用和更改设置的工具一个都不留。
{
"mcpServers": {
"droidline-look": { "command": "droidline", "args": ["mcp", "--read-only"] },
"droidline-tap": { "command": "droidline", "args": ["mcp", "--tools", "dump,screenshot,touch"] }
}
}
两个选项同时使用时,工具必须同时满足两者。batch 里的步骤也按同样规则检查,所以不能借 batch 运行没有交给智能体的工具。这些选项写在客户端启动 droidline mcp 的配置里,智能体无法更改。配对、重命名或撤销手机的命令从来都不是工具。
谨慎选择要连接的手机
连接到 droidline mcp 的智能体能做你在手机上能做的任何事,包括发送消息和更改设置。Droidline 分不清普通按钮和发送、付款按钮,所以能调用 touch 的智能体两种都能点。试用期间,请使用测试手机或没有登录个人账户的手机,只给智能体完成任务需要的工具,并在客户端中保持逐个工具确认的功能开启,用于 clear_data、input 和 notification_reply 等会修改数据的命令。