Управляет GUI видимого локального окна через orca computer: читает accessibility tree, нажимает кнопки, вводит текст, работает с меню и диалогами, делает скриншоты. Подходит, когда задачу нельзя выполнить через shell, файловую систему, Git, HTTP или CLI.

Возможности

• Управляет native-приложениями, внешними окнами браузеров Chrome, Edge и Safari, а также webview.
• Использует accessibility tree для взаимодействия с интерфейсом.
• Выполняет клики, вводит текст, открывает меню и диалоги, снимает скриншоты.
• Предпочитает программный способ, если он может решить задачу.
• Не предназначен для встроенного браузера Orca (orca-cli).

Когда использовать

• Нужно управлять видимым окном приложения, а shell или существующий CLI не подходят.
• Требуется взаимодействовать с интерфейсом внешнего браузера или native-приложения.
• Нужно открыть меню или диалог, нажать кнопку либо ввести текст в GUI.

Примеры

Перед запуском замените ORCA на выбранный исполняемый файл для текущей сессии:

ORCA skills get computer-use --json

Если Orca не запущен:

ORCA open --json

Установка

npx skills add https://github.com/stablyai/orca --skill computer-use