Создаёт в HyperFrames видео под музыкальный трек: темп и музыкальные переходы задают структуру и монтаж кадров. На вход принимает аудиофайл, видео для извлечения аудио или трек, созданный по описанию настроения; пользовательские изображения и видео необязательны.

Возможности

Анализирует трек и сохраняет карту темпа, энергии, пауз, ключевых моментов и музыкальных фраз в audiomap.json.
Строит раскадровку STORYBOARD.md по музыкальным изменениям; для спокойной музыки предлагает ориентироваться на фразы и энергию, а не на навязанный ритмический сеточный темп.
Создаёт lyric video, слайд-шоу или промо с кинетической типографикой. Для синхронизации текста с вокалом нужны тайминги из транскрибации или текст песни.
Собирает кадры в видео без обязательных изображений и видео: основу могут составлять типографика и шаблоны.
Проверяет собранный проект, делает снимки для ревью и рендерит MP4 с аудио.

Когда использовать

Нужно смонтировать видео под готовый музыкальный файл.
Нужно использовать аудио из видео или создать музыку по описанию настроения.
Нужны lyric video, слайд-шоу или промо, где монтаж следует музыкальным акцентам.
Нужно включить в монтаж изображения или видео пользователя и синхронизировать смену кадров с треком.

Установка

Перед запуском обновления подтвердите его у пользователя.

npx hyperframes skills update music-to-video

Примеры

Инициализация проекта:

npx hyperframes init "videos/<project>" --non-interactive --example=blank --skill=music-to-video

Анализ трека:

python3 <SKILL_DIR>/scripts/analyze-beatgrid.py "$PROJECT_DIR/assets/bgm.mp3" \
  -o "$PROJECT_DIR/audiomap.json" --print

Рендер MP4 после проверки и одобрения:

( cd "$PROJECT_DIR" && npx hyperframes render . --skill=music-to-video -q draft -o renders/video.mp4 --fps 30 )

Установка

npx skills add https://github.com/heygen-com/hyperframes --skill music-to-video