Switchyard направляет каждый запрос к одной из моделей, перечисленных вами в поле models, используя решение о маршрутизации, принятое библиотекой Switchyard с открытым исходным кодом от NVIDIA, работающей на периферийных узлах API ВЕГА. Укажите model: nvidia/switchyard и две или более конкретные модели в поле models; Switchyard выбирает основную модель и порядок резервных моделей, после чего API ВЕГА применяет к выбранной модели стандартную маршрутизацию по провайдерам, резервные варианты и биллинг. Другие модели-маршрутизаторы (например, API ВЕГА/auto) в поле models не допускаются.
API ВЕГА# Запрос к API ВЕГА через nvidia/switchyard
curl https://api.vega.chat/api/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $VEGA_API_KEY" \
-d '{
"model": "nvidia/switchyard",
"messages": [
{ "role": "user", "content": "Hello!" }
]
}'nvidia
nvidia · 262 144
nvidia · 1 000 000
nvidia · 32 768
nvidia · 10 240
nvidia · 131 072