NVIDIA: Llama 3.3 Nemotron Super 49B V1.5

Описание модели

Llama-3.3-Nemotron-Super-49B-v1.5 — это модель рассуждения/чата на английском языке с 49 млрд параметров, полученная из Meta’s Llama-3.3-70B-Instruct и имеющая контекст 128 К. Она дообучена для агентных рабочих процессов (RAG, вызов инструментов) с помощью SFT по математике, коду, науке и многотуровому чату, после чего прошла несколько этапов RL: Reward-aware Preference Optimization (RPO) для выравнивания, RL with Verifiable Rewards (RLVR) для пошагового рассуждения и итеративный DPO для уточнения поведения при использовании инструментов. Дистилляционно‑управляемый Neural Architecture Search («Puzzle») заменяет некоторые блоки внимания и варьирует ширины FFN, чтобы уменьшить объём памяти и повысить пропускную способность, позволяя развертывать модель на одной GPU (H100/H200), сохраняя при этом следование инструкциям и качество цепочек рассуждений (CoT).

Во внутренних оценках (NeMo‑Skills, до 16 запусков, temp = 0.6, top_p = 0.95) модель демонстрирует сильные результаты в рассуждениях и программировании, например: MATH500 pass@1 = 97.4, AIME‑2024 = 87.5, AIME‑2025 = 82.71, GPQA = 71.97, LiveCodeBench (24.10–25.02) = 73.58 и MMLU‑Pro (CoT) = 79.53. Модель ориентирована на практическую эффективность вывода (высокий токен/сек, сниженное использование VRAM) с поддержкой Transformers/vLLM и явными режимами «рассуждение включено/выключено» (по умолчанию чат‑первый, при отключении рекомендуется жадный режим). Подходит для создания агентов, ассистентов и систем поиска с длинным контекстом, где важен баланс точности и стоимости, а также надёжное использование инструментов.