API ВЕГА

Генерирует видео с говорящим аватаром по портрету и тексту или аудио через CLI belt. Подходит для виртуальных ведущих, UGC-рекламы, озвучивания персонажей и lipsync существующего видео.

Возможности

  • Создаёт аватар по изображению и тексту с помощью P-Video-Avatar: у модели есть встроенный TTS, 30 голосов и поддержка 10 языков.
  • Синхронизирует движения губ с аудио через OmniHuman 1.5, Fabric 1.0 и PixVerse Lipsync.
  • Настраивает голос и видео отдельно: можно задать voice_prompt и video_prompt.
  • Помогает собрать процесс дубляжа: транскрибировать видео, подготовить речь на другом языке и синхронизировать её с видео.
  • Поддерживает генерацию портрета через pruna/p-image и создание вертикальных видео с пропорциями исходного изображения.

Когда использовать

  • Нужно сделать видео с виртуальным ведущим, объяснением продукта или обучающим материалом.
  • Требуются UGC-видео или рекламные ролики с разными аватарами и голосами.
  • Нужно синхронизировать лицо с готовой аудиодорожкой или озвучить видео на другом языке.
  • На одном изображении несколько персонажей, и нужно анимировать одного из них.

Установка

npx skills add https://github.com/skills-shell/superpowers --skill ai-avatar-video

Примеры

Аватар по портрету и тексту с встроенным TTS:

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Welcome to our product walkthrough. Today I will show you three key features.",
  "voice": "Puck (Male)",
  "voice_language": "English (US)",
  "resolution": "720p"
}'

Синхронизация аватара с аудиофайлом через OmniHuman 1.5:

belt app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'