Agent Desktop
★ 25.0k GitHub StarsVercel Labs 开源的 AI Agent 计算机使用(Computer Use)CLI 与桌面自动化底座,基于系统原生无障碍树实现毫秒级精准控件识别与操作。
产品介绍
Agent Desktop 是由 Vercel Labs 推出的创新性开源 Computer Use CLI 与桌面环境自动化底座。不同于依赖截图视觉分析与像素坐标匹配的传统脆弱方案,Agent Desktop 深入操作系统底层的 Accessibility 无障碍树 API(macOS AX、Windows UI Automation 与 Linux AT-SPI),实时将桌面窗口的所有可交互控件转化为高精度、具备唯一持久引用(Refs)的结构化 JSON。AI Coding Agent 可借助其提供的极速 Rust CLI 或 C 绑定,实现毫秒级精准的语义化点击、文本键入与状态验证。
主要特性
- ✓ 原生无障碍树语义感知:摆脱截图像素匹配的脆弱性,基于系统 AX 与 UI Automation 提取结构化控件引用
- ✓ 毫秒级精准定位与交互:直接返回界面交互元素的持久引用(Refs),实现确定性点击与键盘输入
- ✓ 跨平台统一架构:全面支持 macOS、Windows 与 Linux 桌面,提供 Rust CLI 与 C 动态库集成
- ✓ 轻量极速与沙箱友好:极低资源开销与低延迟,专为 Coding Agent 与自主系统桌面试验打造
- ✓ 提供桌面应用体验
产品信息
| 所属分类 | 头部Agent |
| 适用平台 | Windows、macOS |
| 开发语言 | Rust |
| 最后更新 | 17/11/2026 |