Decodo MCP Server
Соединяйте LLMs и AI-агентов с живыми веб-данными через MCP (Model Context Protocol). Decodo MCP Server позволяет собирать данные с веб-сайтов, поисковых систем, платформ eCommerce и соцсетей напрямую из инструментов AI, таких как Claude, Cursor и Windsurf, без необходимости строить инфраструктуру для скрапинга с нуля.
- Структурированные результаты в JSON, Markdown и скриншотах
- Серверная отрисовка JavaScript и обработка anti-bot систем
- Более 125M IP-адресов в 195+ локациях
Что такое Decodo MCP server?
Decodo MCP Server — это прослойка веб-скрапинга для AI-агентов. Он позволяет MCP-совместимым клиентам подключаться к Web Scraping API Decodo, что обеспечивает:
- Веб-скрапинг для LLMs
- Получение данных в реальном времени для RAG
- Обзор и исследование AI-агентов
- Извлечение структурированных данных из динамических сайтов
Вместо того чтобы поддерживать прокси, парсеры и логику повторных попыток, вы получаете единую точку интеграции для надежного доступа к веб-данным.
Зачем использовать MCP для веб-скрапинга?
Model Context Protocol (MCP) — это формирующийся стандарт для подключения AI-агентов к внешним инструментам и источникам данных. С MCP:
- Агенты могут динамически вызывать инструменты
- Интеграции остаются стандартизированными
- Рабочие процессы масштабируются между окружениями
Decodo MCP Server обеспечивает вашим агентам надежный, готовый к эксплуатации доступ к веб-данным через этот стандарт.
Основные функции
- Веб-скрапинг для AI-агентов без инфраструктуры. Скрапинг любого сайта, включая страницы с интенсивной работой JavaScript, без управления ротацией прокси, решения CAPTCHA и защиты от ботов.
- Структурированные результаты для рабочих процессов LLM. Markdown (готовый для LLM), JSON (для структурированных пайплайнов) и скриншоты (для визуального контекста), рассчитанные на RAG-пайплайны, AI-исследователей и автоматизированные flows.
- Встроенная поддержка популярных целей. Готовые инструменты для Google и Bing (SERP), Amazon, Walmart и Target (eCommerce), Reddit, TikTok и YouTube (соцсети), а также ChatGPT и Perplexity (AI-поиск).
- Глобальная прокси-инфраструктура. Более 125 млн residential IP, 195+ геолокаций и 99.99% успешности на даже самых защищённых целях.
- Модульные MCP-инструменты. Включайте только то, что нужно:
web,search,ecommerce,social_media,aiдля более чистого выбора инструментов и лучшей производительности агента. - Быстрый старт. От ключа API до первого скрапинга за считанные минуты, без затрат на настройку.
Примеры сценариев использования
Используйте Decodo MCP Server, когда нужна веб-скапинг-аналитика для AI-агентов, масштабируемый сбор структурированных данных, надёжный доступ к динамическим сайтам, данные в реальном времени для RAG или альтернатива самостоятельной сборке инфраструктуры скрапинга. Частые сценарии:
- AI-оптимизированный веб-скрапинг — дать LLMs возможность собирать свежие данные вместо использования статических тренировочных данных.
- RAG с актуальными данными — подтягивать реальном времени результаты Google, Bing и AI-поиска в пайплайны извлечения.
- Интеллект в электронной торговле — отслеживать цены, списки и продавцов по маркетплейсам без блокировок.
- Сбор данных из соцсетей — получать посты, каналы и данные об вовлеченности с Reddit, TikTok, YouTube.
- Трекер путешествий и агрегация цен — создавать инструменты, собирающие live-цены и доступность на сайтах.
Быстрый старт
- Создайте бесплатную учетную запись на dashboard.decodo.com — до 2000 бесплатных запросов, кредитная карта не требуется.
- Получите ваш API-ключ. Получите базовый токен аутентификации Web Scraping API в панели управления.
- Скачайте Node.js 18+ с Node.js 18+.
- Получите MCP client, такой как Claude Desktop, Cursor, Windsurf или другие MCP-совместимые инструменты.
- Настройте MCP server в вашем AI-клиенте (см. примеры конфигураций ниже).
Подключение к MCP серверу Decodo
Откройте ваш любимый MCP-клиент и добавьте следующую конфигурацию (см. примеры для Claude Code, Cursor, Windsurf ниже):
" } } } }">``` { "mcpServers": { "Decodo": { "url": "https://mcp.decodo.com/mcp", "headers": { "Authorization": "Basic <basic_auth_token>" } } } }
### Claude Desktop
- Откройте Claude Desktop → Settings → Developer → Edit Config.
- Добавьте в claude_desktop_config.json:
",
"TOOLSETS": "web,ai"
}
}
}
}">```
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<basic_auth_token>",
"TOOLSETS": "web,ai"
}
}
}
}
- Сохраните и перезапустите Claude Desktop.
Cursor
-
Откройте Settings → MCP.
-
Нажмите Add a new global MCP server (открывает mcp.json).
-
Добавьте ту же конфигурацию, что и выше.
-
Сохраните — должен появиться зелёный индикатор статуса рядом с Decodo.
Windsurf
-
Откройте Settings → Windsurf Settings.
-
Прокрутите до Cascade → Add custom server + (открывает mcp_config.json).
-
Добавьте ту же конфигурацию, что и выше.
-
Сохраните и перезапустите Windsurf.
Протестируйте вашу установку
После подключения попробуйте следующий запрос в вашем клиенте:
▎ "Sкрап заголовки первых пяти статей с Hacker News"
Вы должны получить структурированный список в считанные секунды. Если увидите ошибку аутентификации, ещё раз проверьте ваш токен на панели управления.
Опционально: включение конкретных наборов инструментов
Running the MCP server locally
Детали
Требования
-
Node.js 18.0+
-
MCP client — популярные варианты: Claude Desktop и Cursor
Пошаговый гид
- Клонируйте этот репозиторий:
git clone https://github.com/Decodo/mcp-server
- Выполните в терминале следующие команды:
cd decodo-mcp-server
npm install
npm run build
- Обратите внимание на место сборки:
cd build/
pwd
Добавив index.js в конец этого каталога, путь к файлу сборки будет выглядеть примерно так:
/Users/your.user/projects/decodo-mcp/build/index.js
- Обновите ваш MCP client информацией о сервере:
" } } } }">``` { "mcpServers": { "decodo-mcp": { "command": "node", "args": ["/Users/your.user/projects/decodo-mcp/build/index.js"], "env": { "SCRAPER_API_TOKEN": "<web_scraping_api_base64_token>" } } } }
## Наборы инструментов
Инструменты организованы в наборы инструментов. Вы можете выбрать конкретные наборы инструментов, передав через параметр `toolsets` перечень через запятую:
"
}
}">```
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Basic <your_auth_token>"
}
}
Если наборы инструментов не указаны, регистрируются все инструменты.
- web — scrape_as_markdown, screenshot
- search — google_search, google_ads, google_lens, google_travel_hotels, bing_search
- ecommerce — amazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url
- social_media — reddit_post, reddit_subreddit, reddit_user, tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search
- ai — chatgpt, perplexity, google_ai_mode
Инструменты
Сервер предоставляет следующие инструменты:
| Инструмент | Описание | Пример запроса |
|---|---|---|
| scrape_as_markdown | Скрапит любую целевую URL, ожидая URL в запросе. Возвращает результаты в Markdown. | Scrape peacock.com from a US IP address and tell me the pricing. |
| screenshot | Делает скриншот любой веб-страницы и возвращает его как PNG. | Take a screenshot of github.com from a US IP address. |
| google_search | Скрапит Google Search по заданному запросу и возвращает разобранные результаты. | Scrape Google Search for shoes and tell me the top position. |
| google_ads | Скрапит результаты Google Ads. | Scrape Google Ads for laptop and show me the top ads. |
| google_lens | Скрапит результаты поиска по Google Lens. | Search Google Lens for this image: https://example.com/image.jpg |
| google_ai_mode | Скрапит результаты Google AI Mode (Search with AI). | Ask Google AI Mode: What are the top three dog breeds? |
| google_travel_hotels | Скрапит результаты Google Travel Hotels. | Search Google Travel Hotels for hotels in Paris. |
| amazon_search | Скрапит Amazon Search по запросу. | Scrape Amazon Search for wireless keyboard. |
| amazon_product | Скрапит страницу продукта Amazon. | Scrape Amazon product B09H74FXNW and show me the details. |
| amazon_pricing | Скрапит информацию о цене товара на Amazon. | Get pricing for Amazon product B09H74FXNW. |
| amazon_sellers | Скрапит информацию о продавце на Amazon. | Get information about Amazon seller A1R0Z7FJGTKESH. |
| amazon_bestsellers | Скрапит список бестселлеров Amazon. | Show me Amazon bestsellers in electronics. |
| walmart_search | Скрапит Walmart Search по запросу и возвращает разобранные результаты. | Scrape Walmart Search for camping tent. |
| walmart_product | Скрапит страницу продукта Walmart. | Scrape Walmart product 15296401808. |
| target_search | Скрапит Target Search по запросу и возвращает разобранные результаты. | Scrape Target Search for kitchen appliances. |
| target_product | Скрапит страницу продукта Target. | Scrape Target product 92186007. |
| tiktok_post | Скрапит структуру данных по посту TikTok (engagement, caption, hashtags и т.д.). | Scrape this TikTok post: https://www.tiktok.com/@nba/video/7393013274725403950 |
| tiktok_shop_search | Скрапит TikTok Shop Search по запросу и возвращает разобранные результаты. | Scrape TikTok Shop Search for phone cases. |
| tiktok_shop_product | Скрапит страницу товара TikTok Shop. | Scrape TikTok Shop product 1731541214379741272. |
| tiktok_shop_url | Скрапит страницу TikTok Shop по URL. | Scrape this TikTok Shop URL: https://www.tiktok.com/shop/s?q=HEADPHONES |
| youtube_metadata | Скрапит метаданные видео на YouTube. | Get metadata for YouTube video dFu9aKJoqGg. |
| youtube_channel | Скрапит видеозаписи канала YouTube. | Scrape YouTube channel @decodo_official. |
| youtube_subtitles | Скрапит субтитры видео на YouTube. | Get subtitles for YouTube video L8zSWbQN-v8. |
| youtube_search | Поиск видео на YouTube. | Search YouTube for "How to care for chinchillas". |
| reddit_post | Скрапит конкретный пост на Reddit. | Scrape the following Reddit post: https://www.reddit.com/r/horseracing/comments/1nsrn3/ |
| reddit_subreddit | Скрапит результаты сабреддита Reddit. | Scrape the top 5 posts on r/Python this week. |
| reddit_user | Скрапит профиль пользователя Reddit и его посты/комментарии. | Scrape this Reddit user: https://www.reddit.com/user/IWasRightOnce/ |
| bing_search | Скрапит результаты Bing Search. | Search Bing for laptop reviews. |
| chatgpt | Поиск и взаимодействие с ChatGPT для AI-ответов и диалогов. | Ask ChatGPT to explain quantum computing in simple terms. |
| perplexity | Поиск и взаимодействие с Perplexity для AI-ответов и диалогов. | Ask Perplexity what the latest trends in web development are. |
Параметры
Следующие параметры выводятся из подсказок пользователя:
| Параметр | Описание |
|---|---|
| jsRender | Рендеринг целевой URL в headless-браузере. |
| geo | Определяет страну источника запроса. |
| locale | Определяет локаль запроса. |
| tokenLimit | Ограничивает количество возвращаемых токенов. Полезно, если контекст ограничен. |
| prompt | Подсказка, отправляемая инструментам AI (chatgpt, perplexity). |
| search | Активирует веб-поиск ChatGPT (только chatgpt). |
| xhr | При истинном значении возвращает ответы XHR или fetch в результат скрапинга там, где поддерживается (например, tiktok_post). |
| deviceType | Тип устройства, который имитируется для запроса (desktop, mobile, tablet). |
| domain | Домен для запроса (например, amazon.com, amazon.co.uk, bing.com). |
| pageFrom | Номер начальной страницы для пагинации. |
| deliveryZip | ZIP-код для места доставки (Target, Walmart). |
| storeId | ID магазина для локального инвентаря (Target, Walmart). |
| country | Страна для запросов TikTok Shop. |
| limit | Максимальное число возвращаемых результатов (например, видеоролики YouTube-канала). |
| language_code | Код языка для субтитров (например, en, es). |
Примеры
Доступ к geo-ограниченным данным
Задайте вашему AI-агенту следующий запрос:
Scrape peacock.com from a German IP address and tell me the pricing.
Этот запрос укажет, что peacock.com geo-ограничен. Чтобы обойти гео-ограничение:
Scrape peacock.com from a US IP address and tell me the pricing.
Ограничение количества токенов в ответе
Если у вашего агента маленькое окно контекста, возвращаемый скрапингом контент будет автоматически обрезаться, чтобы избежать переполнения контекста. Вы можете увеличить количество токенов, возвращаемых в вашем запросе:
Scrape hacker news, return 50k tokens.
Если у агента большое окно контекста, скажите ему вернуть full content:
Scrape hacker news, return full content.
Использование с навыками агента Decodo
Этот сервер предоставляет вашему агенту инструменты скрапинга. Decodo/agent-skills обучает его, когда именно обращаться к ним, какие поверхности использовать и как вызывать их — чтобы агент сам подбирал правильный инструмент и параметры, вместо догадок.
Навыки работают через decodo CLI, этот размещённый MCP-сервер и raw HTTP API, и автоматически возвращаются к MCP-серверу, когда оболочка недоступна. Комбинация двух компонентов даёт вашему агенту и слой выполнения (этот сервер), и слой принятия решений (навыки) в одной связке.
Быстрый старт (Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
Смотрите README по agent-skills для ручной установки и других агентов (Cursor, Codex, Gemini CLI, Windsurf).
Прочие репозитории
Попробуйте
Подключите Decodo MCP Server к вашему AI-рабочему процессу в несколько кликов и наделите ваших AI-агентов данными в реальном времени с любого сайта.
| Discord
Лицензия
Весь код выпущен по лицензии MIT License.