InfiniteTalk | Видео с речью | Lip sync | ComfyUi & Wan2GP
Added 2025-08-29 07:01:00 +0000 UTCInfiniteTalk — это аудио‑управляемая модель которая позволяет нам генерировать видео с речью по изображению, а так же делать LipSync видео в соответствии с аудио дорожкой.
Сегодня вы узнаете как сделать видео с речью с InfiniteTalk в ComfyUI и веб интерфейсе Wan2GP. Я подготовил хорошую схему для comfyui.
МЕНЮ
МЕНЮ
00:00 - Что такое InfiniteTalk
03:40 - Системные требования
05:01 - Как установить Wan2GP
05:42 - Image + Audio to Video (wan2gp)
11:36 - Wan2GP Settings
12:17 - Multi Speakers (wan2gp)
13:38 - Wan2GP как сохранить presets
16:03 - Где генерировать озвучку
17:03 - Установка ComfyUI
17:31 - Обзор схемы на примере Image + Audio to Video
34:25 - Как работать с Audio (отделение голоса, обрезка аудио)
38:20 - Сторонний сервис для отделения вокала
40:37 - Video + Audio to Video
46:20 - Multi Speakers (разговор двух персонажей)
52:04 - Эпилог
ИНСТРУКЦИЯ WAN2GP
1. Настроенная сборка WAN2GP Portable тут: ССЫЛКА
И все инструкции по её установке, обновлению и запуску тоже тут.
Пост обновляется.
ИНСТРУКЦИЯ COMFYUI
1. Установите настроенную сборку ComfyUI по этому посту и видео: ССЫЛКА
2. Скачайте модель wan_vae: ССЫЛКА
(models / vae)
(models / clip)
Wan2_1-InfiniteTalk-Multi_fp16 (для 2 и более говорящих)
( models \ Diffusion_Models )
❗модели FP8 будут работать только UNET моделями FP8-FP16, с GGUF будут давать битое изображение.
5. Wav2Vec Model загрузятся сами при запуске схемы.
(вы можете выбрать одну из двух моделей)
(эти модели загрузятся сюда models\transformers )
6. Модель wan clip_vision_h: ССЫЛКА
(models \ clip_vision)
8. Модель Uni3C для video to video: ССЫЛКА
( models \ ControlNet )
9. UNET
📗 Модели 14B GGUF если VRAM 12Гб и менее
GGUF работают в этой схеме так же быстро как и fp8, подберите модель по размеру. Чем больше размер тем точнее модель. Эти модели могут работать с InfiniteTalk fp8 и требуют включенной Lora.
wan2.1-t2v-14b-Q8_0 (15.9 Гб)
wan2.1-t2v-14b-Q6_K (12.5 Гб)
wan2.1-t2v-14b-Q5_K_M (11.3 Гб)
wan2.1-t2v-14b-Q4_K_M (10.1 Гб)
wan2.1-t2v-14b-Q4_0 (9 Гб)
📘 Модели All-In-One Rapid Wan 2.2 I2V GGUF
Это модель Wan2.2 с пред загруженной LORA на базе объединенной Wan2.2. Эта модель работает с InfiniteTalk fp16 и с отключенной Lora. Модель выдает более динамичную картинку, но иногда слишком много движений.
ССЫЛКА (10.1 Гб)
📕Модель Wan 2.1 I2V 14B 480/720 FP8/FP16
Если видеопамяти не менее 16Гб то можете попробовать FP8 модель.
Если видеопамяти не менее 24Гб то можете попробовать FP16 модель.
Модель 720 для HD(720p) разрешения, а 480 для SD(480p) разрешения
Из всего этого разнообразия я рекомендую начать с:
- wan2.1-t2v-14b-Q6 + Lora + InfiniteTalk FP8
- wan2.1-t2v-14b-Q6 + Lora + InfiniteTalk FP8
(это оптимально по VRAM и качеству, если не пойдет то Q4)
- All-In-One Rapid Wan 2.2 I2V GGUF + InfiniteTalk FP16
(это другой по динамике вариант работы, тоже для низкого VRAM)
10. Схема
(это не просто png, в ней зашита схема. Закиньте в comfyui)
31.08.2025 исправлено соединение видео latent
Возможные проблемы:
1. magic invalid - удалите паку custom_nodes\ComfyUI-WanVideoWrapper и установите через manager узлы WanVideoWrapper версию last
2. Если не установится Resolution Master: Manager - Install via Git URL -
ДОПОЛНИТЕЛЬНЫЕ ССЫЛКИ
1. Официальная страница InfiniteTalk: ССЫЛКА
🔥 Курс по "AUTOMATIC 1111" с поддержкой на сайте: ССЫЛКА
Comments
<div ><div><span class="text">Помогите пожалуйста, процесс зависает на 10% и все, даже ошибки ни какой не выдает.</span></div><div><div class="image"><img id="ce19b5a7-ee41-417b-a04a-bb19011e7e33" src="https://images.boosty.to/image/ce19b5a7-ee41-417b-a04a-bb19011e7e33?change_time=1756754269" change_time="1756754269" width="2305" height="1268" style="max-width: 100%; height: auto;"></div></div>
Даниил Даниилов
2025-09-01 19:17:48 +0000 UTC<div ><div><span class="text">Подскажите почему периодически вылетает эта ошибка?</span></div><div><div class="image"><img id="479e35fb-41e8-486a-b113-b5ac6fc95ae0" src="https://images.boosty.to/image/479e35fb-41e8-486a-b113-b5ac6fc95ae0?change_time=1756663309" change_time="1756663309" width="1889" height="934" style="max-width: 100%; height: auto;"></div></div>
Олег Котельников
2025-08-31 18:00:52 +0000 UTC
