项目概览
CUA（Computer-Use Agents）是由 trycua 组织开发的开源基础设施项目，为 AI Agent 提供「像人一样操控电脑」的完整能力栈，覆盖 macOS、Linux、Windows、Android 全平台。项目提供沙盒环境、Agent SDK、桌面驱动、基准测试和虚拟化工具，核心组件包括 Cua Driver（macOS 后台桌面驱动）、Cua Sandbox（跨 OS 沙盒环境）、CuaBot（多 Agent 协作沙盒 CLI）、Cua-Bench（基准测试与 RL 环境）、Lume（Apple Silicon 虚拟化管理）和 Lumier（Docker 兼容接口）。CUA 的设计强调沙盒优先、一个 API 覆盖所有平台、后台驱动不抢光标、模型无关、云加本地双模式以及内置可观测性。它通过统一的 Sandbox API 抽象了 Docker、QEMU、Apple Virtualization.Framework 等底层虚拟化技术，并支持 Claude、GPT、Gemini、Qwen 等主流视觉语言模型。项目采用 MIT 许可证，本地使用免费，云沙盒提供免费额度和按量付费选项。
解决什么问题
在 CUA 出现之前，让 AI Agent 操控桌面面临六大核心痛点：没有统一的桌面操控接口，各家模型厂商的 Computer Use 实现 API 不互通；传统桌面操作方案会抢占用户光标，Agent 执行任务时用户无法操作电脑；沙盒环境碎片化，每个操作系统需要不同的隔离测试方案；跨平台能力缺失，大多数桌面自动化工具只支持单一平台；Agent 评估标准缺失，没有统一的评测框架和基准线；与 AI 编程工具割裂，Claude Code、Cursor 等编程助手无法「看到」GUI 应用。
工作方式
CUA 的架构分为五层：应用层（Claude Code、Cursor、自定义 Agent）、Agent SDK 层（ComputerAgent、模型路由、Tool 调度）、Sandbox SDK 层（Sandbox、Image、Shell、I/O）、驱动层（Cua Driver、Computer Server）和虚拟化层（Lume、QEMU、Docker、Cloud API）。Sandbox 是核心抽象，代表一个隔离的桌面环境，提供 Shell 命令、截图、鼠标操作、键盘操作、手机手势和端口转发等能力。Image Builder 允许在沙盒启动前预配置环境，类比 Dockerfile 但面向桌面环境。ComputerAgent 把视觉语言模型和沙盒工具串成完整的 Computer-Use 循环：截图、发送给模型、模型返回操作指令、执行操作、再截图。Cua Driver 是 Swift 编写的 macOS 原生服务，利用 CGEvent API 在后台发送事件、使用 CGWindowListCreateImage 截取窗口像素，并通过 MCP 协议（stdio 传输 JSON-RPC）接入任何支持 MCP 的客户端。
核心能力
- 全平台统一 API：macOS、Linux、Windows、Android 四大平台切换只改一个参数
- macOS 后台驱动不抢光标：Agent 后台跑任务不影响用户工作
- 模型无关：支持 Claude、GPT、Gemini、Qwen 等主流视觉语言模型
- 沙盒隔离：所有操作在隔离环境执行，不污染真实系统
- MCP 原生集成：直接对接 Claude Code、Cursor 等编程工具
- 云加本地双模式：本地跑不要账号，云端按量付费
- Image Builder：类似 Dockerfile 的桌面环境预配置
- 可回放轨迹：每次会话记录为 trajectory，方便调试和训练
- MIT 开源：完全免费，可商用
使用前需要了解
- AI 整理 · 本地测试，未经人工复核；依据历史报告节选，不代表当前产品状态。
- CUA 的局限包括：Cua Driver 和 Lume 是 macOS 原生组件，其他平台功能受限；Lume 虚拟化仅支持 Apple Silicon Mac，Intel Mac 无法使用；Docker 完整桌面环境镜像体积大（数 GB）；非 Apple Silicon 平台 QEMU 虚拟化性能损失明显；云沙盒的网络延迟可能影响实时交互类任务；Android 沙盒功能可能不如桌面平台成熟；Windows/macOS 虚拟化运行需要合法的系统许可证；
cua-agent[omni]包含 ultralytics（AGPL-3.0），商业使用需注意。不建议使用的场景包括：只需要浏览器自动化（用 Playwright/Puppeteer 更轻量）、只需要文件操作、对延迟极度敏感的实时应用（截图加 VLM 推理延迟在秒级）、不需要 AI 的纯脚本自动化、无法安装 Docker 或虚拟化的环境。
