Сводка

  • Поиск в вебе, скрапинг, извлечение, обход сайтов и мониторинг через ScrapeGraph AI CLI.
  • Пять основных команд: search для обнаружения, scrape для форматов исходных страниц, extract для AI-структурированного JSON, crawl для крупных разделов сайта и monitor для запланированного отслеживания изменений
  • Поддерживает несколько форматов вывода, включая markdown, HTML, скриншоты, ссылки, изображения, сводки и JSON с опциональной валидацией схемы
  • Требуется аутентификация с использованием SGAI_API_KEY и расход кредитов за каждую операцию; включает команды validate и credits для проверки настроек и баланса
  • Расширенные параметры включают рендеринг JavaScript, скрытый режим, пользовательские заголовки/куки, геолокацию, фильтрацию по диапазону времени и мониторинг на основе cron с уведомлениями по вебхукам

just-scrape CLI

Search, scrape, crawl, extract structured JSON, and monitor page changes using the just-scrape CLI. Run just-scrape --help or just-scrape <command> --help for full option details. Если任务а задачи состоит во внедрении ScrapeGraph AI в код приложения, добавьте SGAI_API_KEY в проект или выберите использование endpoint в коде продукта; сначала изучите проект и используйте документацию ScrapeGraph AI SDK/API напрямую вместо этого CLI-инструмента.

Предварительные требования

Должно быть установленo и пройдена аутентификация. Проверьте с помощью just-scrape validate и just-scrape credits.

command -v just-scrape >/dev/null 2>&&1 || npm install -g just-scrape@latest
just-scrape validate
just-scrape credits