Для получения чистого Markdown любой страницы добавьте .md к URL‑адресу. Для полного индекса документации см. https://api.vega.chat/docs/llms.txt. Для полного содержания документации см. https://api.vega.chat/docs/llms-full.txt. Для интеграции AI‑клиентов (Claude Code, Cursor и др.) подключитесь к серверу MCP по адресу https://api.vega.chat/docs/_mcp/server.

Broadcast

MD версия

Broadcast позволяет автоматически отправлять трассы ваших запросов VEGA во внешние платформы наблюдаемости и аналитики. Эта функция даёт возможность мониторить, отлаживать и анализировать использование LLM в предпочитаемых инструментах без дополнительного инструментария в коде приложения.

Включение Broadcast

Чтобы включить broadcast для вашей учётной записи или организации:

  1. Перейдите в Settings > Observability в Личный кабинет VEGA
  2. Переключите ползунок «Enable Broadcast», чтобы активировать функцию
  3. Добавьте одну или несколько целевых точек, куда вы хотите отправлять трассы

Если вы используете учётную запись организации, вы должны быть администратором организации, чтобы редактировать настройки broadcast.

После включения VEGA будет автоматически отправлять данные трассировки для всех ваших API‑запросов в настроенные вами места назначения.

Поддерживаемые места назначения

В настоящее время доступны следующие места назначения:

Каждое место назначения имеет собственные требования к конфигурации, такие как API‑ключи, конечные точки или идентификаторы проекта. При добавлении места назначения вам будет предложено указать необходимые учётные данные, которые будут зашифрованы и надёжно сохранены.

Для самого актуального списка доступных мест назначения посетите страницу Broadcast settings в вашем кабинете.

В разработке

Следующие места назначения находятся в разработке и появятся в скором времени:

  • AWS Firehose
  • Dynatrace
  • Evidently
  • Fiddler
  • Galileo
  • Helicone
  • HoneyHive
  • Keywords AI
  • Middleware
  • Mona
  • OpenInference
  • Phoenix
  • Portkey
  • Supabase
  • WhyLabs

Данные трассы

Каждая трасса broadcast содержит полную информацию о вашем API‑запросе:

  • Данные запроса и ответа: входные сообщения и вывод модели (мультимодальное содержимое удалено для экономии)
  • Использование токенов: токены подсказки, токены завершения и общее количество использованных токенов
  • Информация о стоимости: общая стоимость запроса
  • Время: время начала запроса, время окончания и метрики задержки
  • Информация о модели: slug модели и имя поставщика, использованные для запроса
  • Использование инструментов: были ли включены инструменты в запрос и были ли выполнены вызовы инструментов

Необязательные данные трассы

Вы можете обогатить трассы дополнительным контекстом, добавив следующие необязательные поля в ваши API‑запросы:

  • User ID: связывайте трассы с конкретными конечными пользователями, указав поле user (до 128 символов). Это помогает отслеживать модели использования и отлаживать проблемы для отдельных пользователей.
json
{
  "model": "openai/gpt-4o",
  "messages": [
    {
      "role": "user",
      "content": "Hello, world!"
    }
  ],
  "user": "user_12345"
}
  • Session ID: группируйте взаимосвязанные запросы (например, разговор или workflow‑агента), указав поле session_id (до 128 символов). Также можно передать его через HTTP‑заголовок x-session-id.
json
{
  "model": "openai/gpt-4o",
  "messages": [
    {
      "role": "user",
      "content": "Hello, world!"
    }
  ],
  "session_id": "session_abc123"
}

Произвольные метаданные

Для расширенных сценариев наблюдаемости можно передавать любые метаданные в трассы с помощью поля trace. Оно принимает любой JSON‑объект и передаётся во все сконфигурированные места назначения broadcast.

json
{
  "model": "openai/gpt-4o",
  "messages": [
    {
      "role": "user",
      "content": "Summarize this document..."
    }
  ],
  "trace": {
    "trace_id": "workflow_12345",
    "trace_name": "Document Processing",
    "span_name": "Summarization Step",
    "generation_name": "Generate Summary",
    "environment": "production",
    "feature": "customer-support",
    "version": "1.2.3"
  }
}

Поле trace гибко и принимает любые пары «ключ‑значение». Некоторые ключи имеют специальное значение в зависимости от выбранной платформы наблюдаемости. Смотрите документацию для конкретного места назначения, чтобы узнать, какие ключи поддерживаются.

Часто используемые ключи метаданных

Эти ключи часто применяются в разных платформах наблюдаемости:

КлючОписание
trace_idГруппирует несколько API‑запросов в одну трассу. Используйте один и тот же ID в разных запросах, чтобы отслеживать многошаговые workflow.
trace_nameПользовательское название корневой трассы в вашей платформе наблюдаемости. По умолчанию используется имя модели, если не указано.
span_nameСоздаёт родительский span, группирующий операции LLM. Формирует иерархическую структуру, где span содержит generation.
generation_nameПользовательское название конкретного вызова/генерации LLM. По умолчанию используется имя модели, если не указано.
parent_span_idСвязывает трассу VEGA с существующим span‑ом вашей системы трассировки (например, OpenTelemetry).

При использовании этих полей ваши трассы будут отображаться иерархически, например в Langfuse:

Document Processing (trace_id: workflow_12345) └── Summarization Step (span) └── Generate Summary (generation)

Привязка к внешним трассам

Если у вас уже есть собственная система трассировки (например, OpenTelemetry), вы можете использовать parent_span_id, чтобы вложить вызовы VEGA в уже существующие span‑ы:

json
{
  "model": "openai/gpt-4o",
  "messages": [{ "role": "user", "content": "Hello!" }],
  "trace": {
    "trace_id": "your-existing-trace-id",
    "parent_span_id": "your-existing-span-id"
  }
}

Это сформирует структуру трассы вида:

Your Application Trace └── Your Application Span (parent_span_id) └── openai/gpt-4o (generation from VEGA)

Это позволяет:

  • Отслеживать сквозные workflow, охватывающие несколько вызовов LLM
  • Организовывать трассы по бизнес‑логике, а не по отдельным API‑запросам
  • Создавать богатые дашборды наблюдаемости с осмысленными названиями трасс
  • Интегрировать трассы VEGA с вашими существующими приложенческими трассами
  • Передавать любые пользовательские данные в ваши платформы наблюдаемости

Метаданные, специфичные для места назначения

Каждая платформа может поддерживать разные ключи метаданных. Смотрите руководства для конкретных мест назначения:

  • Langfuse — поддерживает именование трасс, ID пользователей/сессий и произвольные метаданные
  • LangSmith — поддерживает теги, отслеживание сессий и метаданные
  • Datadog — поддерживает теги, ID пользователей и ID сессий
  • Braintrust — поддерживает теги и произвольные поля метаданных
  • W&B Weave — поддерживает пользовательские атрибуты в данных трассы
  • Arize AI — поддерживает атрибуты span OpenInference и метаданные
  • Comet Opik — поддерживает метаданные трасс/span и учёт стоимости
  • Grafana Cloud — поддерживает атрибуты span, доступные через TraceQL
  • New Relic — поддерживает атрибуты span, доступные через NRQL
  • Sentry — поддерживает атрибуты span для мониторинга производительности
  • OpenTelemetry Collector — поддерживает OTLP‑атрибуты span для любой бек‑энд системы
  • Webhook — произвольные метаданные в OTLP‑JSON‑полезной нагрузке
  • PostHog — поддерживает свойства события для аналитики LLM
  • Ramp — поддерживает OTLP‑атрибуты span для учёта расходов ИИ
  • Snowflake — доступно через функции VARIANT‑колонки
  • ClickHouse — доступно через функции JSONExtract
  • S3 — сохраняется в JSON‑файлах трассы

Фильтрация по API‑ключу

Каждое место назначения можно настроить так, чтобы получать трассы только от определённых API‑ключей. Это удобно, когда нужно:

  • маршрутизировать трассы из разных частей приложения в разные платформы наблюдаемости;
  • изолировать мониторинг для конкретных сценариев использования;
  • отправлять трассы производственного API‑ключа с более низкой частотой, чем трассы ключа разработки.

При добавлении или редактировании места назначения вы можете выбрать один или несколько API‑ключей из вашей учётной записи. Трассы будут отправляться только для запросов, выполненных с выбранными ключами. Если ключи не выбраны, место назначения будет получать трассы от всех ваших API‑ключей или запросов из чат‑комнат.

Частота выборки

Для каждого места назначения можно задать коэффициент выборки, определяющий процент трасс, которые отправляются. Это полезно для приложений с высоким объёмом, когда необходимо снизить затраты или объём данных, сохранив при этом видимость использования LLM. Коэффициент 1.0 — отправляются все трассы, 0.5 — примерно 50 % трасс.

Выборка детерминирована: если вы указываете session_id, все трассы в рамках этой сессии будут либо включены, либо исключены вместе. Это гарантирует, что в вашей платформе наблюдаемости вы увидите целые сессии, а не фрагменты данных.

Вы увидите полные сессии в каждом месте назначения, но не обязательно одни и те же сессии во всех местах назначения.

Режим конфиденциальности

Для каждого места назначения можно включить режим конфиденциальности, который исключает из трасс содержимое подсказок и завершений. При включённом режиме из трасс удаляются:

  • Входящие сообщения (промпты, отправленные модели)
  • Выходные варианты (комплечения, возвращённые моделью)

Все остальные данные трассы — количество токенов, стоимость, время, информация о модели и пользовательские метаданные — отправляются как обычно.

Это полезно, когда нужно мониторить метрики использования LLM и затраты, не раскрывая реальное содержание разговоров (например, для соответствия требованиям конфиденциальности данных или внутренним политикам).

Чтобы включить режим конфиденциальности, поставьте галочку Privacy Mode в разделе Privacy при настройке места назначения.

Режим конфиденциальности настраивается отдельно для каждого места назначения. Вы можете отправлять полные трассы в одно место для отладки и «очищенные» трассы в другое для контроля расходов.

Безопасность

Учётные данные места назначения шифруются перед сохранением и расшифровываются только при отправке трасс. Трассы отправляются асинхронно после завершения запросов, поэтому включение broadcast не добавляет задержки к ответам вашего API.

Поддержка организаций

Broadcast можно настроить как на уровне отдельного пользователя, так и на уровне организации. Администраторы организации могут создать общие места назначения, применимые ко всем API‑ключам в организации, обеспечивая единообразную наблюдаемость для всей команды.

Пошаговые руководства

Подробные инструкции по настройке конкретных платформ наблюдаемости:

  • Arize AI — наблюдаемость и мониторинг ML
  • Braintrust — оценка и мониторинг LLM
  • ClickHouse — аналитическая БД в реальном времени
  • Comet Opik — оценка и тестирование LLM
  • Datadog — мониторинг стека и аналитика
  • Grafana Cloud — платформа наблюдаемости и мониторинга
  • Langfuse — открытая платформа инженерии LLM
  • LangSmith — наблюдаемость и отладка LangChain
  • New Relic — платформа наблюдаемости всего стека
  • OpenTelemetry Collector — отправка трасс в любой OTLP‑совместимый бек‑энд
  • PostHog — продуктовая аналитика с отслеживанием LLM
  • Ramp — отслеживание использования ИИ и управление затратами
  • S3 / S3‑Compatible — хранение трасс в S3, R2 или совместимых хранилищах
  • Sentry — мониторинг приложений и отслеживание ошибок
  • Snowflake — облачный хранилище данных для аналитики
  • W&B Weave — наблюдаемость и отслеживание LLM
  • Webhook — отправка трасс на любой HTTP‑endpoint