开源项目开源项目24 次浏览 · 2026-10-30
OpenGCUA：通用计算机使用智能体技术栈，提供跨设备 SDK 与原生 macOS 应用
资源链接
https://github.com/Tongyi-MAI/OpenGCUAOpenGCUA 是阿里通义 MAI-UI 团队开源的通用计算机使用智能体（Generalist Computer‑Use Agent）技术栈，涵盖跨设备 SDK、原生 macOS 应用、评测轨迹以及参考 agent 实现，旨在让模型能够自主调度计算机的视觉、API 与 shell 接口。
- 观察决策：模型按需调用 screenshot()，避免每步强制截图，降低感知成本。
- 行动编排：输出可循环、带条件判断的 Python 程序，实现 GUI 操作、API 调用和 shell 命令的统一编排。
- 工作组织：模型自行维护 todo 列表并声明 intent，将原先硬编码的 harness 逻辑转移至模型自主决策。
- 评测提升：在 OSWorld‑v2 上，使用 OpenGCUA 的模型平均 partial score 提升 19.6 分，步骤数下降 53%。
- 兼容性：支持纯 GUI、纯 CLI 以及混合智能体，提供统一的 GCUA 框架视角。
该项目适合研究通用智能体、构建跨平台自动化工具的科研人员和开发者。通过阅读仓库 README 可快速上手 SDK，结合提供的 harness 与示例 agent 在本地 macOS 环境进行实验；亦可在其他平台自行实现对应适配层，以扩展到更多操作系统。