Vendax LipSync Studio — Инструкция пользователя

Назначение

Vendax LipSync Studio адаптирует движения губ в видео или портретной фотографии под заранее подготовленную озвучку. Подходит для дубляжа, языковых версий и говорящих портретов. Панель не переводит текст и не создаёт голос. Обработка выполняется локально после установки необходимых компонентов и моделей.

Порядок работы

1. Сохраните проект. В Edit разместите видео или фотографию на видеодорожке, а новую речь — на отдельной аудиодорожке, например A1. Совместите озвучку с нужным участком; для фотографии задайте длительность. На выбранной дорожке лучше оставить только речь, музыку разместить отдельно.
2. Откройте Workspace → Workflow Integrations → Vendax LipSync Studio. На вашем снимке открыт Deliver: перейдите в Edit и выделите ровно один клип на видеодорожке.
3. Нажмите Refresh. В Selected Video Clip проверьте имя клипа, проект и таймлайн.
4. В New Voiceover Track выберите существующую дорожку с новой речью. Этот список не создаёт дорожку. Звук должен пересекаться с обрабатываемым участком.
5. В AI Engine выберите установленный движок обработки. Для первой проверки используйте тест первых пяти секунд. Рекомендуется один хорошо видимый человек с неперекрытым ртом. Проверьте результат перед обработкой всего клипа.
6. Сначала оставьте Preview: first 5 seconds of the clip включённым. Обрабатываются первые пять секунд клипа или весь клип, если он короче. Это длина теста, не время ожидания.
7. Нажмите Sync Lip Movements. Во время подготовки Resolve временно открывает копию таймлайна и Deliver. Дождитесь возврата к исходному таймлайну; не меняйте проект и исходный клип во время обработки. Для остановки используйте Cancel и дождитесь отмены.
8. После Ready нажмите Add to Timeline. Результат появится на новой верхней видеодорожке Vendax LipSync Studio в позиции исходного клипа. Оригинал сохраняется, озвучка остаётся на своей дорожке. Полученный клип содержит только видео.
9. Проверьте губы, контур лица, переходы и совпадение с речью. Для сравнения временно отключите дорожку результата. Для полной обработки снимите Preview, снова выберите оригинал, нажмите Refresh и повторите запуск. Отключите или уберите тестовый слой с таймлайна, чтобы он не перекрывал итоговый результат. Сохраните проект.

Если возникла проблема

Sync Lip Movements недоступна: проверьте Edit, выделение одного видеоклипа, наличие аудиодорожки и Refresh. No audio clips overlap…: проверьте дорожку и положение речи; для теста звук должен присутствовать в первых пяти секундах. Add to Timeline недоступна: дождитесь готовности и откройте исходный проект и таймлайн. Если исходный клип изменён или передвинут, повторите обработку. Если Resolve уже рендерит, дождитесь завершения. Если необходимые компоненты или модели отсутствуют, восстановите установку панели. При нехватке памяти закройте лишние приложения и начните с пятисекундного теста.

Сохранность результата

Результаты находятся в папке проекта engine/MuseTalk/jobs/job_…/result.mp4. Не удаляйте и не переносите папки заданий, пока Resolve использует файлы: медиа могут стать недоступными. Сохранение проекта не заменяет сохранение медиа. При передаче проекта переносите необходимые файлы результата.