API ВЕГА

Ищет страницы, извлекает содержимое и структурированные данные, обходит разделы сайтов и отслеживает изменения через CLI just-scrape. Подходит для сбора данных с сайтов без написания отдельного скрейпера; для запросов к ScrapeGraph AI нужен SGAI_API_KEY.

Возможности

  • Ищет страницы по запросу и извлекает данные из результатов.
  • Сохраняет страницу в форматах markdown, html, json, а также получает ссылки, изображения, скриншоты, сводки и данные о бренде.
  • Извлекает структурированные данные по промпту; --schema задаёт строгую форму результата.
  • Обходит разделы сайта с ограничениями по числу страниц, глубине и URL-шаблонам.
  • Создаёт расписания мониторинга с уведомлениями через webhook.
  • Показывает историю запросов, остаток кредитов и статус настройки API.

Когда использовать

  • Нужно найти страницы по теме или собрать содержимое с известного URL.
  • Требуется получить JSON с ценами, заголовками, товарами или другими полями.
  • Нужно собрать материалы из раздела документации или сайта целиком.
  • Требуется регулярно проверять страницу на изменения или проверить настройку API.

Установка

npm install -g just-scrape

Для запросов к ScrapeGraph AI настройте SGAI_API_KEY.

Примеры

Поиск страниц по запросу и сохранение результатов в JSON:

just-scrape search "query" --num-results 10 --json

Извлечение названий товаров и цен со страницы:

just-scrape extract "<url>" -p "Extract product names and prices"

Мониторинг страницы с проверкой каждый час:

just-scrape monitor create --url "<url>" --interval 1h --name "Pricing tracker" -f markdown

Установка

npx skills add https://github.com/scrapegraphai/just-scrape --skill just-scrape