API ВЕГА

Настраивает Azure API Management (APIM) как AI Gateway для моделей, MCP tools и agents. Помогает применять политики к запросам: ограничивать расход токенов, кэшировать ответы, фильтровать вредный контент и распределять нагрузку между backend.

Возможности

  • Настраивает backend для Azure OpenAI и моделей AI Foundry.
  • Применяет политики semantic caching, ограничения токенов и метрик их использования.
  • Защищает MCP tools и API с помощью ограничения частоты запросов.
  • Добавляет проверку content safety и обнаружение jailbreak.
  • Помогает получить URL gateway, посмотреть backend и проверить AI endpoint.

Когда использовать

  • Нужно контролировать расходы на AI с помощью лимитов токенов и semantic caching.
  • Нужно защитить MCP tools или API ограничением частоты запросов.
  • Нужно добавить AI-модель в APIM и настроить балансировку нагрузки.
  • Нужно проверить вызов OpenAI через gateway или настроить фильтрацию контента.

Установка

npx skills add https://github.com/microsoft/azure-skills --skill azure-aigateway

Примеры

Получить URL gateway:

az apim show --name <apim-name> --resource-group <rg> --query "gatewayUrl" -o tsv

Проверить AI endpoint через gateway:

GATEWAY_URL=$(az apim show --name <apim-name> --resource-group <rg> --query "gatewayUrl" -o tsv)

curl -X POST "${GATEWAY_URL}/openai/deployments/<deployment>/chat/completions?api-version=2024-02-01" \
  -H "Content-Type: application/json" \
  -H "Ocp-Apim-Subscription-Key: <key>" \
  -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 100}'

Создать backend для Azure OpenAI:

az apim backend create --service-name <apim> --resource-group <rg> \
  --backend-id openai-backend --protocol http --url "https://<aoai>.openai.azure.com/openai"