浏览器与 Computer Use:
让 Codex 亲眼看、亲手点
光读代码,Codex 看不见页面长什么样,也没法替你点一个桌面 App。ChatGPT 桌面 App 给了它几件"眼睛和手":内置浏览器、浏览器扩展、Computer Use、Appshots,还有能把你的操作录成技能(skill)的 Record & Replay。这个专题讲清它们各管什么、在哪个平台能用、每一步要过哪些权限关。
时间紧就先看第 1、2 节,知道每件工具管什么、你的电脑上能不能用,再挑要用的那一件读。"深入"讲权限有几层、开发者模式和管理员开关。
五件工具,各管什么
先用生活里的事打个比方,再说什么时候该用哪一件。它们都是 ChatGPT 桌面 App 的功能,在 Codex 里能用(ChatGPT Work 里也有)。
先问自己四个问题
官方给的思路大致是:有专门的集成就用集成;本地开发的网页用内置浏览器;要你的登录状态,用你自己的浏览器;只能靠点界面完成的,交给 Computer Use。任务进行中,它也会按这个思路自己换工具。
另外两件是帮手:只想让它看一眼你眼前的窗口,用 Appshots;同一套流程要反复做,用 Record & Replay 录成技能。
这几件都是 ChatGPT 桌面 App 的功能。官方写明内置浏览器在 Codex CLI 和 IDE 扩展里用不了,CLI 也拍不了新的 Appshot。各平台的差别看下一节的对照卡。
一张卡看清:能做什么、在哪能用、要过哪些关
先选你用的平台,用不了或文档没写的卡片会变淡(看卡片上的标签区分)。点一张卡,下面展开细节。
"文档没写"表示官方文档没说这个平台能不能用,以你的 App 为准。Computer Use 还要看地区(官方写的是"在支持的地区"),Record & Replay 依赖它,也一样。
练一练:这件事用哪个工具
8 个场景,每个选一件最合适的工具。选完会看到解析。
内置浏览器:预览、批注、让它动手
桌面 App 自带一个浏览器,装好就有。它和 Codex 看的是同一个页面:你看、你圈,它也看、也点。最适合拿来看你正在开发的网页。
预览你的页面,留下批注
页面上的毛病用嘴说不清时,直接在页面上指给它看。官方的流程是:先在集成终端里(或者用本地环境的 Action,第 12 课)把开发服务器跑起来,打开本地页面,对照代码改动看渲染效果,在有问题的元素上留批注,再发一句话让它处理,并且把范围收窄。
下面这个订单页有好几处毛病。点浏览器工具栏里的 Annotate,进入 Annotation mode(批注模式),点一个元素写批注,保存,最后发给 Codex。真实的 App 里还能拖动鼠标框选一块区域;⌘ .(Windows 是 Ctrl .)在浏览和批注之间切换。
- 1点 Annotate,进入批注模式
- 2点页面上有问题的地方
- 3写批注、保存(想调样式就点 Adjust)
- 4发一句话,让它处理这些批注
页面和 Codex 的回复都是示意。批注的写法照官方建议:先说问题,再说你要的结果。Adjust 是官方的样式微调:在批注旁改字体、文字、间距、颜色,先在页面上预览,再连同批注一起发。
让它自己动手
在任务里写 @Browser,或者直接说"用浏览器",它就能打开页面、点击、输入、截图,检查页面渲染出来的样子,确认自己改对了没有。官方的例子:
用浏览器打开 http://localhost:3000/settings,复现布局错乱的问题,只修溢出的那几个控件。
它动手时有三条规矩:
- 第一次用某个网站,先问你。已经允许过的网站不再问;允许和屏蔽的网站在 Settings > Browser 里管。
- 敏感操作再确认一次。提交信息、购买、改权限、删数据之前,它会停下来问你。
- 不能替你上传文件。内置浏览器里的文件上传,它没法自动完成。
页面上的文字可能写着误导、甚至恶意的指令。你允许它用某个网站,只是让它能和这个网站打交道,不代表网站内容可信,也不代表它在上面做的每件事你都同意了。让它输入敏感信息或动手之前,先看一眼网站和它打算做的事。
把浏览器任务做小
官方建议每个浏览器任务小到你一次就能审完:
- 写明页面、路由或网址。
- 写明你关心的状态:加载中、空数据、出错、成功。
- 批注留在具体的元素或区域上。
- 它改完,你自己再把页面看一遍。
- 打开本地页面前,让它先启动或检查一下开发服务器。
代码改动照旧在审阅面板里看、留评论(第 2 课)。
浏览器扩展:借你自己的浏览器
内置浏览器没有你的登录。要在你已经登录的网站上干活,比如公司后台、邮箱、内部工具,就给你平时用的浏览器装上 ChatGPT 扩展。支持 Chrome、Edge、Brave、Opera、Vivaldi 五种。
装之前先把桌面 App 更新到最新。Computer Use 设置里浏览器那一行的开关,管的是它出不出现在 @ 菜单里;网站权限要点 Manage 改。
三种用法
| 用法 | 怎么做 | 例子 |
|---|---|---|
| 让它操作浏览器 | 在对话里 @ 浏览器的名字 | "@Edge 打开客户管理系统,按这份通话记录更新客户资料" |
| 把标签页当上下文 | 在 App 里 @ 提到一个打开着的标签页 | "对比这几个打开的产品页,把套餐限制整理成表格,每条注明出自哪个标签页" |
| 在浏览器里开 side chat(侧边对话) | 从浏览器工具栏或扩展菜单打开 ChatGPT;macOS 上也可以按 ⌘ ⇧ . | 问眼前这个页面;划选一段文字带进对话;右键选 Ask ChatGPT;问一个 YouTube 视频(有字幕时它能用带时间戳的字幕) |
side chat 跟着打开它的那个标签页走;在 side chat 里开的对话,回到 App 里也能接着聊。Opera 没有 side chat,它的任务从桌面 App 里发起。
网站权限:四个选项
默认情况下,它每遇到一个新网站都会先问你,按网站的主机名问(比如 example.com)。点一个选项,看看后果。
允许名单和屏蔽名单在 Settings > Computer Use 里,点浏览器那一行的 Manage 管理。五种浏览器共用同一份网站权限。
浏览历史里可能有内部网址、搜索词和你别的设备上的活动。它要用历史时会单独问你,范围只限这一次请求,而且没有"总是允许"。页面内容不怀好意时,历史里的东西可能被带到不该去的地方,所以只在任务真的需要时才允许。
装扩展时浏览器弹出的权限看着很大(读取和更改所有网站上的数据、读取和更改浏览历史、管理下载……)。这是扩展能干活的前提;真正用哪个网站、看不看历史,ChatGPT 还会按上面的规矩再问你。
Computer Use:让它操作桌面 App
命令行和插件够不着的地方,比如一个桌面 App 的界面、一个藏在好几层菜单里的设置,Computer Use 让它像人一样看屏幕、点鼠标、敲键盘。macOS 和 Windows 上的桌面 App 都有。
用的时候,在任务里写 @Computer 或 @App 名字,或者直接说"用 Computer Use"。讲清楚要它操作哪个 App、哪个窗口、哪段流程。
用 Computer Use 打开这个 App,复现新手引导里的 bug,找到导致它的最小那段代码改掉。每改一次,把同一段界面流程再走一遍。
三道关
它能不能动某个 App,要连过三道关。三道关各管各的,谁也替不了谁。
通过桌面 App 改的文件,要等 App 真正存到磁盘、并且在项目的跟踪范围里,才会出现在审阅面板中。
适合做什么,做不到什么
本地开发的网页,官方建议先用内置浏览器,不必动用 Computer Use。难的、要靠截图做视觉判断的任务,模型选择器里有擅长这类活的推荐模型时就选它(是哪个,看专题 A)。
Windows 上它占用前台
Windows 上,Computer Use 在当前桌面的前台干活,没法在后台做、同时让你用同一个桌面。它会移动鼠标、打字、把窗口切到前面;要操作的 App 必须在当前桌面上看得见。
想走开让它接着做:保持电脑解锁、联网,用手机的 Remote 看进度、发补充指示(第 13 课);或者把桌面 App 装进一台 Windows 虚拟机,让它接管虚拟机而不是你的主桌面。
一次只给它一个明确的 App 或流程;敏感的 App 不用就关掉;涉及账号、安全、隐私、网络、付款、密码的设置,你要在旁边看着;它点错了窗口,马上取消。你随时可以停下任务、接管电脑。
Appshots:把眼前的窗口递给它
你正在别的 App 里忙,想让它看看眼前这个窗口:同时按下两个 Command 键(Windows 上是两个 Alt 键),这个窗口就进了对话。
拍了发到哪个对话
默认的 Automatic 不是每次都新开对话。改改下面的设置,看它去哪。
macOS 上还有一种情况:桌面宠物的浮动控件开着、主窗口在后台时,Automatic 会从浮动控件里新开一个对话(要先在主窗口里完成 Appshots 的权限设置)。Windows 上 Appshot 在主窗口里打开。
什么时候用
- 把一页 API 文档拍给它,让它照着写一个脚本。
- 把一封邮件或日历拍给它,让它起草下一步。
- 把设计稿、图片编辑器或预览窗口拍给它,让它改相关的素材或代码。
- 把一个报错、设置面板或 App 状态拍给它:拍比描述省事。
和手动附一张截图(第 2 课)比,Appshot 多带了窗口里的文字,也省了截图、保存、拖进来这几步。不过 Google Docs、Gmail、Google Sheets、Google Slides 这类,它可能只拿到截图,拿不到整篇文档和屏幕外的文字;这时装了对应的插件,它会用插件去读。
Appshot 会把截图和能拿到的文字一起交给 ChatGPT。敏感内容别拍,除非任务真的需要;像对待"发截图、发文件"一样对待它。
在 CLI 里接着聊一个带 Appshot 的对话,附件还在对话历史里,但 CLI 拍不了新的。
Record & Replay:录一遍,变成技能
有些流程说不清,但做一遍很快。Record & Replay 让你在 Mac 上演示一遍,它把流程整理成一个技能,以后换一组输入就能照做。只有 macOS 的桌面 App 有,而且 Computer Use 要先能用、已经启用。
它适合重复的、看个人习惯的、做比说容易的流程:报销、订车位、按规矩建工单、发视频、下载每周的报表。下面走一遍"按规矩建工单"。点"开始"一步步回放;中途有三张批准卡片,"允许"和"拒绝"两条路都能走通。
画面为教学示意:工单系统(tickets.example.com)、技能的内容和 Codex 说的话都是虚构的;录制入口、录制前的批准、网站权限的四个选项与官方文档一致。技能存在哪、叫什么名字,以你的 App 为准。
录得好的几个窍门
- 挑一个你本来就会做、步骤稳定、结果好判断的流程。
- 录之前先说清目标,以及哪些输入每次会变。
- 演示要短、要完整;做完就停,别顺手接着收拾别的。
- 用真实的输入,但别录密码和敏感数据。
- 录完再改一轮技能,写清录屏看不出来的偏好:命名习惯、字段默认值、要你拿主意的地方。
Record & Replay 是做技能的快捷方式。要把它稳定地分发给整个团队、把好几个技能打成一包、带上连接器或 MCP 服务器、管理安装信息,就做成插件(第 11 课)。技能本身怎么写、怎么触发,见第 8 课。
练一练:直接做、先问你,还是做不到
8 个动作,判断它会直接做、先停下来问你,还是根本做不到。
深入:权限有几层、开发者模式、管理员开关
给想用得更放心、或者要替团队把关的人。
权限不是一层,是好几层
| 这一层 | 管什么 | 在哪管 |
|---|---|---|
| 系统权限 | 能不能看屏幕、点鼠标(Computer Use、Appshots) | macOS 系统设置 > 隐私与安全性 |
| App 批准 | Computer Use 能用哪些 App | 每个 App 第一次用时问你;Settings > Computer Use 里的 Always allow |
| 网站权限 | 内置浏览器、浏览器扩展能用哪些网站 | 每个新网站问你;内置浏览器在 Settings > Browser,扩展在 Settings > Computer Use 的 Manage |
| 敏感操作确认 | 内置浏览器:提交信息、购买、改权限、删数据 | 做之前再问你一次(Computer Use 的文档只写"可能会问") |
| 沙箱与审批 | 读写文件、跑命令 | 你的权限档位(第 3 课) |
"项目默认不联网"管不到浏览器。第 3 课说的默认不联网,指的是沙箱里跑的命令和脚本。官方写明,命令的网络代理不过滤浏览器和 Computer Use 的活动;浏览器有自己的一套网站权限。所以默认档位下,内置浏览器照样能打开网站,只是第一次用某个网站会先问你。
Approve for me 也换不掉 App 批准。开了自动审查(Approve for me),"Computer Use 要访问一个新网站"这类请求可以交给它判断;但 Computer Use 要用某个 App 的批准,仍然直接问你本人。
开发者模式:看控制台、网络和性能
开发者模式让它用 Chrome 开发者工具协议(CDP):分析 JavaScript 性能、看控制台输出和网络请求、检查 DOM 和生效的样式,在真实的浏览器里排查问题。内置浏览器和 Chrome 里的 Computer Use 都支持。
打开方法:Settings > Browser,在 Developer mode 下打开 Enable full CDP access。组织关掉了这个设置的话,你在本地打不开。内置浏览器用 @Browser;Chrome 要先装好扩展,再用 @Chrome。
这个应用很慢。用 @Browser 录一段性能追踪,看看网络请求,找出瓶颈。
它可能暴露浏览器内部的敏感信息。它要用完整 CDP 检查一个网站之前,会单独请你批准;看清网站、任务和要的权限再批准。
Windows:把"总是允许"的 App 写进配置
Windows 上,Computer Use 把"以后都允许"的 App 存在 $CODEX_HOME/config.toml 里。你也可以自己写,列出不用问就能打开的 App:
[computer_use.windows] always_allowed_app_ids = ["mspaint.exe"]
写 Windows Computer Use 报告的 App 标识:桌面 App 一般是可执行文件名,打包的 App 是 App User Model ID。不在名单里的 App 会问你。撤销:在 Settings > Computer Use > Always allow 里删掉。旧的 $CODEX_HOME/computer-use/config.toml 允许名单会自动迁移过来,它的 denied 列表不再生效。
管理员能关掉什么
企业管理员用 requirements.toml 统一管控(个人用户用不到,知道有这回事就行):
| 设置 | 效果 |
|---|---|
[features] in_app_browser = false | 关掉内置浏览器面板 |
[features] browser_use = false | 关掉浏览器里的 Computer Use |
[features] browser_use_full_cdp_access = false | 关掉完整 CDP(开发者模式),App 里也打不开 |
[features] computer_use = false | 关掉 Computer Use、Record & Replay 和相关的安装流程 |
[computer_use] allow_locked_computer_use = false | 不让打开锁屏后继续(Locked use);已经打开的不会被关 |
[browser_use]、[computer_use] 表 | 按网站、按 App 设允许或拒绝,禁止上传、禁止保存"总是允许"等 |
本地配置只能在管理员的限制上再加限制,不能放宽。
顺带一提:图片输入与图片生成
| 功能 | 在 App 里怎么用 | 注意 |
|---|---|---|
| 附图片 | 按住 Shift 把图片拖进输入框;也可以让它去看电脑上的某张图 | 别只丢一张图:说清要它看哪里、要什么结果(第 2 课) |
| Appshot | 同时按两个 Command 键(Windows 是两个 Alt 键) | 多带窗口里的文字(本页第 7 节) |
| 图片生成 | 直接在输入框里要图,或写 $imagegen 显式调用;附一张参考图,就是"照着它改" | 算在你的 Codex 额度里,而且比普通回合耗得快得多(见专题 A);大批量可以设 OPENAI_API_KEY,让它走 API 生成、按 API 计费 |
生成的图可以在 App 里放大看、留批注,再让它接着改(详见页脚的 Image generation)。
- "内置浏览器只能打开不用登录的页面":这是 2026 年 4 月刚推出时的说法。现在它能在自己那套浏览器配置里直接登录。
- "Computer Use 只支持 Mac":2026 年 5 月底起 Windows 也支持(在前台干活)。Linux 预览版还没有。
- "Codex 的 Chrome 扩展,只能用 Chrome":现在叫 ChatGPT 浏览器扩展,2026 年 8 月底起支持 Chrome、Edge、Brave、Opera、Vivaldi;Opera 没有 side chat。
- "Appshots 只有 macOS":2026 年 9 月起 Windows 也有,同时按两个 Alt 键。
- "欧盟、英国、瑞士用不了 Computer Use 和 Record & Replay":Computer Use 2026 年 6 月起在这些地区陆续推出,Record & Replay 7 月底起也能用了。
- "Chronicle 研究预览":已被 Computer History 取代,官方说是重做的系统、不是改名(本教程不展开)。
常见问题
浏览器扩展连不上
- 更新桌面 App;装了不止一个 ChatGPT 或 Codex 桌面 App 的,每个都更新,或者删掉不用的。
- 重启浏览器。Chrome、Edge、Brave、Vivaldi 从工具栏或扩展菜单重新打开 ChatGPT,确认 side chat 能加载;Opera 没有 side chat,在桌面 App 里检查连接。
- Settings > Computer Use 里,确认这个浏览器显示 Manage;还是 Install 就重装一遍。@ 菜单里找不到它,打开它那一行的开关。
- 确认你用的是装了扩展的那个浏览器配置(profile)。
- 新开一个 Codex 对话再试,能清掉这个对话里残留的连接状态。
- 重启桌面 App;还不行就在 Settings > Computer Use 里重装扩展。
- 都不行:在 App 里运行
/feedback,联系支持时带上对话 ID。
在 Chrome 里让它上传文件,失败了
找不到 Record & Replay
computer_use = false 的话,Computer Use 和 Record & Replay 会一起消失。Appshots 按了没反应
Computer Use 看不见、点不动目标 App
锁屏以后,它还能接着用 Computer Use 吗?
它在浏览器里做的事,OpenAI 会存下来吗?
我想一边用浏览器,一边让它干活
网页版 ChatGPT 里的浏览器是一回事吗?
小测验
8 道题,每题选完会立刻看到解析。
