Сводка
- Поиск в вебе, скрапинг, извлечение, обход сайтов и мониторинг через ScrapeGraph AI CLI.
- Пять основных команд:
searchдля обнаружения,scrapeдля форматов исходных страниц,extractдля AI-структурированного JSON,crawlдля крупных разделов сайта иmonitorдля запланированного отслеживания изменений - Поддерживает несколько форматов вывода, включая markdown, HTML, скриншоты, ссылки, изображения, сводки и JSON с опциональной валидацией схемы
- Требуется аутентификация с использованием
SGAI_API_KEYи расход кредитов за каждую операцию; включает командыvalidateиcreditsдля проверки настроек и баланса - Расширенные параметры включают рендеринг JavaScript, скрытый режим, пользовательские заголовки/куки, геолокацию, фильтрацию по диапазону времени и мониторинг на основе cron с уведомлениями по вебхукам
just-scrape CLI
Search, scrape, crawl, extract structured JSON, and monitor page changes using the just-scrape CLI.
Run just-scrape --help or just-scrape <command> --help for full option details.
Если任务а задачи состоит во внедрении ScrapeGraph AI в код приложения, добавьте SGAI_API_KEY в проект или выберите использование endpoint в коде продукта; сначала изучите проект и используйте документацию ScrapeGraph AI SDK/API напрямую вместо этого CLI-инструмента.
Предварительные требования
Должно быть установленo и пройдена аутентификация. Проверьте с помощью just-scrape validate и just-scrape credits.
command -v just-scrape >/dev/null 2>&&1 || npm install -g just-scrape@latest
just-scrape validate
just-scrape credits