使用文档
连接设备。
交给你的 AI。
一个设备 Key,让客户端与 AI 找到彼此。
从下载到第一次操作,按下面几步开始。
ANDROID 0.2.0
学习一次,快速回复。
即时通讯工具包已加入手机控制工具。AI 在聊天阶段调用 mobile_im_session,查询已学配方;首次使用通过控件与截图学习,验证成功后复用。布局变化时暂停并更新配方,旧版保留。
手机同时监听系统通知和控件变化,并用低频截图补漏。请在客户端开启“即时通讯通知监听”。进入工具包后显示半透明状态面板;可随时暂停,完整手机控制继续可用。
新消息通过持久队列和 WebSocket 通知外部 AI。需要运行源码中的 im:agent 接收器,配置小模型接口与主 AI 回调;仅安装 MCP 不会自动唤醒闲置的 AI 对话。
发送审核成功代表新的己方气泡可见,不代表已送达。失败或不确定时暂停该会话,交由主 AI 修复。新版已通过本地协议与构建验证,真实聊天 App 的连续收发尚待使用端验收。
01 · 快速开始
两端,一把 Key。
- 准备设备 Key。向服务管理员获取已登记的设备 API Key。客户端不会自动注册新 Key;它与 Cloudflare 部署令牌无关。
- 连接你的设备。下载 Windows 或 Android 客户端,输入设备 Key,等待显示“已连接”。
- 连接你的 AI。ChatGPT 内测可在 MCP 地址的
apikey参数中填写同一个 Key,身份验证选择“无身份验证”。支持请求头的客户端也可使用 Bearer 认证。 - 确认连接,开始操作。先让 AI 调用
computer_status。确认connected与ready都为true,再读取界面并操作。
02 · Windows
双击,即可开始。
下载版面向 Windows 11 x64,内置运行环境,无需另装 Node 或 .NET SDK。请在要控制的、已登录的桌面用户会话中运行。
- 下载 OctoComputer.exe,双击运行。
- 程序自动打开本机登录页面。输入已登记的设备 Key,点击连接。
- 保留启动器窗口,看到“已连接”后,在 AI 端配置相同 Key。
关闭浏览器页面不会断开连接。需要停止时,点击登录页中的“退出并断开连接”,或关闭 EXE 启动器窗口。已经打开的目标应用会继续运行。
Key 仅保存在当前进程内存中,重启客户端后需要重新输入。断线后会持续尝试重连,退出登录即停止。本版不含开机自启、托盘或持久登录,也不支持操作锁屏、UAC 安全桌面或没有交互式桌面的后台会话。
03 · Android
你的手机,同样连接。
支持 Android 11 及更新版本,无需 root 或 ADB。首次使用需要你在系统设置中开启无障碍服务。
- 下载 OctoComputer.apk,按系统提示允许此来源安装。
- 打开 Octo Computer,点击“启用无障碍服务”,在系统设置中启用 Octo Computer。
- 部分 Android 13+ 手机需要先到应用信息菜单选择“允许受限设置”,再开启无障碍服务。
- 回到客户端,输入已登记的设备 Key,点击“登录并连接”。在 AI 端使用同一个 Key。
切换到其他应用不会退出,AI 可以继续操作当前界面。点击“退出并停止远程控制”即可断开。Key 仅保存在当前进程内存中;退出登录、关闭无障碍服务或进程被系统结束后,需要重新登录。
网络断开时会持续重连,重试间隔最高约 30 秒。系统结束进程或厂商省电策略仍可能中断运行,客户端不保证永久后台保活。
04 · MCP
接入 ChatGPT / Codex。
ChatGPT 网页端内测
- 客户端输入已登记的设备 Key,等待“已连接”。
- 添加自定义 MCP,填写下面的完整 URL,将占位值替换为同一个 Key 经 URL 编码后的值。
- 身份验证选择“无身份验证”,保存并连接。服务端仍校验 URL 中的 Key,不需要 OAuth。
https://computer.o3o3o.com/mcp?apikey=REPLACE_WITH_URL_ENCODED_DEVICE_API_KEY
普通字母、数字 Key 可直接替换。包含 +、&、#、% 等字符时,用 encodeURIComponent(key) 编码 Key 本身;设备客户端仍填写原始 Key。
Codex 请求头配置
| 协议 | Streamable HTTP |
|---|---|
| 服务地址 | https://computer.o3o3o.com/mcp |
| 认证请求头 | Authorization: Bearer 你的设备Key |
Codex 桌面端、CLI 和 IDE 可通过 MCP 配置接入。在 ~/.codex/config.toml 中加入以下内容;Windows 通常位于 %USERPROFILE%\.codex\config.toml。
将 REPLACE_WITH_DEVICE_API_KEY 替换为客户端填写的同一个设备 Key,保留 Bearer 后的空格。保存后重新启动 Codex。
[mcp_servers.octo_computer]
url = "https://computer.o3o3o.com/mcp"
http_headers = { Authorization = "Bearer REPLACE_WITH_DEVICE_API_KEY" }
startup_timeout_sec = 30
tool_timeout_sec = 180
enabled = true
工具超时设为 180 秒,给最长 120 秒的设备命令留出返回时间。先请 AI“查看当前设备连接状态”,再让它读取窗口或手机界面。
URL Key 仅适用于 /mcp;提供了 Authorization 请求头时,以请求头为准,不会回退到 URL 的 Key。本项目不提供 OAuth 或旧式 SSE。网页端不会读取本机 TOML;以上步骤不代表已在用户的 ChatGPT / Codex 账号完成连接测试。
配置参考:OpenAI MCP 文档 · 配置字段说明
05 · 工具
先理解界面,再操作。
服务统一暴露 21 个工具:1 个共用状态工具、6 个 Windows 操作工具、9 个 Android 基础操作工具,以及 5 个即时通讯工具。系统会拒绝与当前设备平台不匹配的操作。
Windows · 7 个可用工具
| 工具 | 功能 |
|---|---|
computer_status | 查询连接、就绪与忙碌状态;手机同样可用。 |
window_management | 列出、查找、激活、关闭或调整窗口。 |
app | 启动应用并等待窗口。 |
ui_find | 按名称、类型或 Automation ID 查找控件。 |
ui_snapshot | 读取界面控件树,可根据上次快照返回差异。 |
ui_batch | 一次请求依序执行最多 64 步,包含点击、输入、按键与鼠标操作。 |
screenshot_control | 截取窗口或屏幕,向 AI 返回图片。 |
即时通讯 · 学习一次,日常本地执行
0.4.2 聚焦控件读取与学习。AI 从真实界面学习每种稳定布局的控件结构、消息方向和新增规则,生成版本化 JavaScript 放入 APK;日常由本机程序识别并推送,布局失效才重新学习,不逐事件调用云端模型。
候选规则必须结合前后控件树与截图核验真实新增、未变化及负例,试运行结果不会作为确认的新消息推送。控件不可读、身份不明确或顺序有歧义时等待补读,不猜测正文。OCR 暂不集成,作为后续完善方向记录。
使用 mobile_im_session 进入监听,mobile_im_skill 管理学习规则,mobile_im_send 执行回复,mobile_im_audit 审核发送,im_events 读取事件。完整手机控制工具仍然可用。打开监控面板。
Android · 9 个基础操作工具
| 工具 | 功能 |
|---|---|
mobile_snapshot | 读取当前无障碍界面树、元素及坐标。 |
mobile_find | 按文本、描述、资源 ID 等查找元素。 |
mobile_tap | 按元素或屏幕坐标点击、长按。 |
mobile_input | 向可编辑元素输入文本,支持清空或追加。 |
mobile_swipe | 执行指定路径与时长的滑动。 |
mobile_key | 返回、主页、最近任务、通知栏与快捷设置。 |
mobile_launch | 按包名启动可见的桌面应用。 |
mobile_screenshot | 返回 JPEG 截图与缩放信息。 |
mobile_batch | 一次请求依序执行最多 32 步,可返回最后界面。 |
批处理适合已经确定的连续步骤;遇到意外界面,应让 AI 重新观察。设备串行执行命令。断线、取消或超时后不会自动重放;出现结果未知时,先读取当前界面,避免重复点击或提交。
06 · 常见问题
你可能还想了解。
设备 Key 从哪里来?为什么无法连接?
设备 Key 需要由服务管理员预先登记,当前没有公开自助注册入口。任意填写的新 Key 不会自动生效。先确认 Key 已登记、两端完全一致,并检查是否已有另一台设备使用该 Key 在线。管理员刚添加记录时,全球同步可能需要一点时间。
电脑需要公网 IP 或开放端口吗?
不需要。客户端主动通过加密 WebSocket 连接 Cloudflare。AI 请求由 Worker 验证 Key 后交给对应 Durable Object,再转给设备执行并返回结果。KV 保存已登记的 Key 索引。
多台设备或同一份 VPS 镜像怎么用?
可以预装相同客户端,公共服务地址不变。每台设备启动后输入各自的已登记 Key,即可连接各自的 DO。同一个 Key 同时只允许一台设备在线;另一台不会抢走已有连接。
关闭客户端后,AI 还能操作吗?
退出登录或结束客户端进程后,设备连接会停止。Windows 仅关闭浏览器登录页不算退出;请使用页面中的退出按钮或关闭启动器窗口。Android 切换到其他应用也不算退出,请使用“退出并停止远程控制”。
当前版本测试到了哪一步?
Android 0.4.2 为控件读取与学习版,不包含 OCR SDK 或模型。QQ 9.3.65 已在实机读取正文并成功运行本地脚本;未变化和离开聊天页两个场景已通过独立截图审核。规则仍为候选,需补齐真实新增来信样本后才能启用自动推送。旧版本下载保留。