API ВЕГА

README-first воспроизводит минимальный доверенный сценарий для deep learning-репозитория: изучает инструкции, выбирает документированную цель и выполняет нужные этапы с фиксацией доказательств и отклонений. На выходе формирует проверяемый отчёт в repro_outputs/.

Возможности

  • Начинает с README и выбирает наименьшую обоснованную цель: inference, evaluation, проверку запуска обучения или — только после подтверждения — полное обучение.
  • Координирует intake, настройку окружения и ресурсов, запуск, а при необходимости — анализ репозитория и разрешение критичных расхождений с paper.
  • Сохраняет команды, логи, предположения, сбои и решения; runtime-состояние и полный stdout/stderr записываются в repro_outputs/_runtime/<run_id>/.
  • Не считает наблюдаемые метрики доказательством воспроизведения: result-match требует сравнения с ожидаемыми метриками и зафиксированного допуска.
  • По умолчанию избегает изменений репозитория. Необходимые правки документирует, а для них создаёт ветку repro/YYYY-MM-DD-short-task и записывает сведения в PATCHES.md.
  • Готовит стандартный комплект отчётов: SUMMARY.md, COMMANDS.md, LOG.md, SCIENTIFIC_CHANGELOG.md, COMPARABILITY_REPORT.md, status.json и ANNOTATED_README.md.

Когда использовать

  • Нужно воспроизвести документированный inference или evaluation по README и получить аудируемые результаты.
  • Задача включает несколько этапов: проверку окружения и ресурсов, запуск, анализ результатов или проверку обучения.
  • Нужно зафиксировать отличия от README или paper и понять, влияют ли правки на научный смысл и сравнимость.
  • Не подходит для краткого пересказа paper, общего поиска по коду или отдельного запуска команды без процесса воспроизведения.

Примеры

Проверить готовность окружения выбранным Python:

python scripts/doctor.py

Указать репозиторий и обязательный модуль:

python scripts/doctor.py --repo PATH --require-module MODULE

Посмотреть справку детерминированного entrypoint:

python scripts/orchestrate_repro.py --help

Установка

npx skills add https://github.com/lllllllama/rigorpilot-skills --skill ai-research-reproduction