Vercel Labs 开源的 AI Agent 计算机使用(Computer Use)CLI 与桌面自动化底座,基于系统原生无障碍树实现毫秒级精准控件识别与操作。
Agent Desktop 是由 Vercel Labs 推出的创新性开源 Computer Use CLI 与桌面环境自动化底座。不同于依赖截图视觉分析与像素坐标匹配的传统脆弱方案,Agent Desktop 深入操作系统底层的 Accessibility 无障碍树 API(macOS AX、Windows UI Automation 与 Linux AT-SPI),实时将桌面窗口的所有可交互控件转化为高精度、具备唯一持久引用(Refs)的结构化 JSON。AI Coding Agent 可借助其提供的极速 Rust CLI 或 C 绑定,实现毫秒级精准的语义化点击、文本键入与状态验证。