News

OpenClaw Peekaboo v3重磅升级:AI Agent桌面操作能力飞跃,Mac化身智能助理

OpenClaw Peekaboo v3重磅升级:AI Agent桌面操作能力飞跃,Mac化身智能助理

OpenClaw的“龙虾之父”Peter近期发布了Peekaboo工具的v3版本,这一更新被视为AI Agent在Mac桌面操作能力上的重大突破。新版Peekaboo v3直接解决了过去Agent产品只能执行简单任务、无法直接操控桌面交互的局限,让AI真正拥有了在Mac上“看”和“动”的能力。

Peekaboo v3的核心能力在于其强大的屏幕感知和操作功能。在“看”的方面,它不仅能实现窗口、全屏、菜单栏的像素级截图,还能精确读取macOS上每一个UI元素的位置、类型和标签,如同为AI装上了一双“慧眼”。在“动”的方面,Peekaboo v3能执行几乎所有人类在Mac上的操作,包括点击、输入文字、按快捷键、滚动、拖拽、切换窗口或桌面(Space)、操作Dock栏以及处理系统弹窗等,让AI Agent真正能够上手干活。

除了基础的视听能力,Peekaboo v3还引入了两项关键设计:首先是支持自然语言Agent模式,用户可以直接通过口语化指令向Agent下达任务;其次是其能力可以打包成MCP(Modular Command Protocol),无缝集成到各种AI工具中。例如,当在Cursor等AI编程工具中遇到UI Bug时,现在Cursor可以借助Peekaboo v3自动截图、分析、修改并验证,全程无需人工介入,显著提升了开发效率。

为满足不同用户需求,Peekaboo v3提供了四种灵活的集成方式:

  • 对于脚本自动化开发者,可通过Homebrew进行安装:brew install steipete/tap/peekaboo
  • 对于使用Claude Code、Cursor、Codex等AI编程工具的用户,Peekaboo可以直接作为MCP server接入:npx -y @steipete/peekaboo mcp
  • 普通Mac用户则可直接从GitHub Releases下载桌面版应用,提供可视化反馈和图形界面的权限管理。
  • Swift开发者可以将Peekaboo作为库引入到自己的App中。

值得一提的是,OpenClaw用户可以直接将Peekaboo作为“Skill”集成,实现Mac权限的统一管理,无需为Peekaboo单独配置辅助功能等权限。

此次Peter的快速更新也反映了AI Agent领域日益激烈的竞争态势。Anthropic的Computer Use、OpenAI自家的Operator以及各类browser-use工具都在积极探索“AI操作电脑”的路径。通过Peekaboo v3,Peter不仅巩固了OpenClaw在开源Agent领域的领先地位,也为其在AI Agent领域的工作提供了一个强大的本地验证平台。

相关链接:

↗ 阅读原文