ERNIE-Light-DT-1.0 основана на моделях GLM с открытым исходным кодом и включает результаты исследований большой модели Lightning из Baidu Search. Она использует Baidu Sparse Attention (BSA), уникальный механизм разреженного внимания, разработанный Baidu ERNIE. Благодаря сжатию истории на основе обратной связи она улучшает хранение и индексирование исторической информации. Это значительно снижает объём хранения KV cache и вычислительные затраты при сохранении производительности модели. В результате она позволяет использовать более длинные контекстные окна при меньших затратах.
Одну и ту же модель хостят разные компании. ВЕГА направляет запрос к одному из endpoint'ов с учётом цены и скорости. Используйте ID:floor для text to text моделей, чтобы экономить до 50% стоимости запроса
| Провайдер | Вход /1M | Выход /1M | Кэш чтение /1M | Задержка | Ток/с | Аптайм |
|---|---|---|---|---|---|---|
Baidu baidu | 173,59 ₽/M (1.921 $/M) | 605,28 ₽/M (6.698 $/M) | 17,36 ₽/M (0.1921 $/M) | 5.44s | 75 | 100,00% |
# Запрос к API ВЕГА через baidu/ernie-light-dt-1.0-intl
curl https://api.vega.chat/api/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $VEGA_API_KEY" \
-d '{
"model": "baidu/ernie-light-dt-1.0-intl",
"messages": [
{ "role": "user", "content": "Hello!" }
]
}'