Wan Video Depth & Tile
Added 2025-03-31 16:25:03 +0000 UTC
Сегодня вы познакомитесь с controlnet Depth и Tile для видео генерации на модели Wan.
Controlnet Depth позволяет использовать карту глубины для переноса концепции сцены, главного объекта и движений в новую видео генерацию на модели Wan. Это так называемая схема Video 2 Video.
ControlNet Tile - это тоже схема video 2 video, которая позволяет анализировать видео и воспроизводить его с небольшими изменениями. Эти небольшие изменения можно использовать для повышения детализации видео или восстановления мелких элементов изображения, например лиц.
В этом видео вы познакомитесь со схемой, которая в себе содержит и ControlNet Depth и ControlNet Tile. Эти схемы вы можете использовать как по отдельности, так и совместно, отключая ту или иную группу. Так же в этом видео вы познакомитесь с узлами позволяющими ускорить генерацию на модели WAN без использования Triton. Эти узлы вы сможете использовать и в других схемах с Wan моделями.
МЕНЮ
01:40 - Установка comfyui 02:03 - Установка моделей wan 04:10 - Установка Sageattension для ускорения генераций на wan 05:02 - Знакомство со схемой 12:09 - Работа с группой wan depth 15:37 - Потребление vram и скорость генерации 16:06 - Какой vae decoder выбрать 18:24 - Работа с группой wan tile
ИНСТРУКЦИЯ
1. Если у вас не установлен ComfyUI, то отличным решение будет
установить настроенную portable ComfyUI. В ней установлены все необходимые библиотеки и популярный набор узлов с зависимостями и нужными версиями. Ознакомиться и скачать сборку можно тут: ССЫЛКА 2. Обновите ComfyUi.
(models / vae)
4. Модели T2V-1.3B-bf16: ССЫЛКА
(models / diffusion_models) 5. umt5_xxl_fp8_e4m3fn_scaled: ССЫЛКА
(models / text_encoders) 6. Скачать
- wan2.1-1.3b-control-lora-depth-v0.1_comfy: ССЫЛКА
- wan2.1-1.3b- control-lora-tile-v1.0_comfy: ССЫЛКА (models / loras)
7. Перейти в папку
./python_embeded и запустить отсюда консоль (в адресной строке введите CMD и нажмите Enter). Введите команду и нажмите Enter:
python -m pip install sageattention
Sageattention будет установлен, и будет доступна ускоренная
генерация на Wan.
8. Схема к видео в формате png.
(это не просто картинка, она содержит схему внутри, поэтому её можно закинуть в comfyui)
9. Архив с референсами и видео, содержащими схемы из заставки: ДОПОЛНИТЕЛЬНЫЕ ССЫЛКИ
1. Vecteezy для поиска референсных видео: ССЫЛКА 2. Мои пак узлов с LLM моделями: ССЫЛКА
🔥 Курс по "AUTOMATIC 1111" с поддержкой на сайте: ССЫЛКА 🔥 Курс по "ComfyUI" с поддержкой на сайте: ССЫЛКА 📺Присоединиться к стримам (+архив): ССЫЛКА