API ВЕГА

Упаковывает существующее видео с говорящим человеком, интервью или подкаст графическими карточками, синхронизированными с речью. Исходный клип продолжает воспроизводиться без изменений; результат собирается в MP4.

Возможности

  • Добавляет титры, lower-thirds, выноски с данными, цитаты, боковые панели и picture-in-picture.
  • Расшифровывает аудио локально через Whisper и использует таймкоды слов для размещения карточек.
  • Создаёт карточки по содержанию расшифровки: у навыка нет фиксированного набора шаблонов или структуры карточек.
  • Поддерживает холсты 16:9, 9:16 и 4:5, а также разные варианты расположения видео и графики.
  • Собирает карточки в HTML-композицию и рендерит её в MP4 через hyperframes.

Когда использовать

  • Нужно оформить готовое видео с интервью, подкастом или выступлением графическими вставками.
  • В видео важно выделить тезисы, числа или цитаты, а не вывести речь обычными субтитрами.
  • Нужно подготовить ролик под горизонтальный, вертикальный или близкий к квадратному формат.

Установка

Перед запуском подтвердите обновление навыка и зависимых навыков:

npx hyperframes skills update talking-head-recut

Примеры

Проверить окружение для рендеринга:

npx hyperframes doctor

Расшифровать аудио локально и сохранить JSON в рабочую папку:

npx hyperframes transcribe "$WORK_DIR/audio.mp3" -d "$WORK_DIR" --json --model small.en

Установка

npx skills add https://github.com/heygen-com/hyperframes --skill talking-head-recut