API ВЕГА

Генерирует AI-avatar и talking head видео через CLI belt на базе inference.sh: из портрета и текста с озвучкой или из изображения и готового аудио. Подходит для презентаций, UGC-роликов и lipsync.

Возможности

  • Создаёт видео из изображения и текста с помощью pruna/p-video-avatar; встроенный TTS поддерживает 30 голосов и 10 языков.
  • Позволяет задавать стиль голоса и видео через voice_prompt и video_prompt, выбирать разрешение до 1080p.
  • Поддерживает модели OmniHuman 1.5 для нескольких персонажей, Fabric 1.0 и PixVerse Lipsync.
  • Помогает собрать workflow для дубляжа: транскрибировать видео, перевести текст, сгенерировать аудио и синхронизировать его с видео.
  • Для создания портрета можно использовать pruna/p-image, а для озвучки моделей без встроенного TTS — Inworld TTS-2 или Kokoro.

Когда использовать

  • Нужно быстро создать виртуального ведущего или explainer-видео по портрету и тексту.
  • Требуется сделать UGC-рекламу с разными голосами и вариантами подачи.
  • Нужно синхронизировать готовое видео с новой аудиодорожкой или подготовить дубляж.
  • Нужен talking head с несколькими персонажами в одном изображении.

Установка

npx skills add https://github.com/bankai-skills/superpowers --skill ai-avatar-video

Примеры

Создать видео из портрета с озвучкой через встроенный TTS:

belt app run pruna/p-video-avatar --input '{
  "image": "https://portrait.jpg",
  "voice_script": "Welcome to our product walkthrough. Today I will show you three key features.",
  "voice": "Puck (Male)",
  "voice_language": "English (US)",
  "resolution": "720p"
}'

Синхронизировать изображение с готовым аудио через OmniHuman 1.5:

belt app run bytedance/omnihuman-1-5 --input '{
  "image_url": "https://portrait.jpg",
  "audio_url": "https://speech.mp3"
}'