Perceptron Mk1 (Mark One) — это самая качественная vision-language модель Perceptron для видео и эмбеддед-рассуждений. Она принимает изображения и видеовводы, сопоставленные с запросами на естественном языке, и генерирует детальные ответы, отражающие визуальное понимание, как в структурированном виде, так и в виде естественного языка. Модель превосходно справляется с задачами понимания видео, такими как video QA, суммирование и обнаружение событий. При работе с изображениями она продвигает точечное привязывание по примеру из мультимодальных подсказок, OCR и разбор документов на шумных реальных данных, обнаружение объектов с открытым словарём и подсчёт, а также оценку позы рук.
Рассуждения могут быть включены для отдельного запроса, чтобы обменять задержку на более глубокий анализ в более сложных задачах. Структурированные аннотации выводятся в строке вместе с текстом только при явном запросе через параметр annotation_format (укажите «point», «box» или «polygon» для пространственной локализации на изображениях, либо «clip» (начальные/конечные метки времени) для временных сегментов в видео). Если annotation_format не указан, модель возвращает только текст на естественном языке.
curl https://api.vega.chat/api/v1/chat/completions \
-H "Authorization: Bearer $VEGA_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "perceptron/perceptron-mk1",
"messages": [
{"role": "user", "content": "Hello!"}
]
}'