SVDQuant Flux ComfyUI ускорение в 2 раза
Added 2025-03-13 07:01:00 +0000 UTCСегодня мы поговорим о технологии SVDQuant - это новое квантование моделей. Появилась новая возможность ускорить генерации на моделях Flux в 2-3 раза с небольшой потерей качества. И еще для многих — это будет даже более важно – сильное снижение потребления видеопамяти. Flux можно будет запустить на видеокартах от 4Гб Vram. Всё это становится возможным благодаря новым методам квантизации моделей Int4 и Fp4. Это квантование поддерживает Lora и схемы, которые у вас есть с flux моделями будут работать, как и раньше, но значительно быстрее и потреблять меньше VRAM.
SVDQ быстрее и проще чем triton и качественнее чем TeaCache или WaveSpeed.
УСТРАНЕНИЕ ОШИБКИ С ПОИСКОМ УЗЛОВ NUNCHAKU
❗В моей сборке устаревшая на данный момент библиотека nunchacu и узлы.
1. Удалите папку ComfyUI-nunchaku из custom_nodes
2. Закиньте схему SVDQ - workflow.png и установите недостающие узлы. После перезагрузке некоторые узлы не будут найдены.
3. Закиньте схему Install nunchacu - workflow.png и запустите её. 4. Перезапустите ComfyUI и потом закиньте заново SVDQ - workflow.png.Теперь всё должно работать.
ССЫЛКА НА ФАЙЛЫ
1. Удалите папку ComfyUI-nunchaku из custom_nodes
2. Закиньте схему SVDQ - workflow.png и установите недостающие узлы. После перезагрузке некоторые узлы не будут найдены.
3. Закиньте схему Install nunchacu - workflow.png и запустите её. 4. Перезапустите ComfyUI и потом закиньте заново SVDQ - workflow.png.Теперь всё должно работать.
ССЫЛКА НА ФАЙЛЫ
МЕНЮ
00:00 - Обзор SVDQuant
03:15 - Установка ComfyUI
03:43 - Установка моделей и библиотек SVDQuant
09:22 - Разбор схемы генерации Flux Dev 1 и настройки узлов svdq
18:24 - Сравнение качества генераций и скорости svdq - чистой flux - wavespeed
20:05 - Схема Flux Outpaint с моделями int4 swdquant
20:57 - Схема Flux Tools Canny Depth с моделями int4 swdq
22:55 - Квантуем модели lora в swdq int4
25:26 - Эпилог
💬 ИНСТРУКЦИЯ (1*)
1. Если у вас не установлен ComfyUI, то отличным решение будет установить настроенную portable ComfyUI. В ней установлены все необходимые библиотеки и популярный набор узлов с зависимостями и нужными версиями. Ознакомиться и скачать сборку можно тут: ССЫЛКА
2. Обновите ComfyUi
3. Если вы ранее устанавливали svdq по моей инструкции то удалите папки nunchaku и nunchaku-0.1.4+torch2.6.dist-info из папки python_embeded\Lib\site-packages
(models / clip)
(models / vae)
6. Скачайте SVDQuant-Menu.bat и поместите его в корень ComfyUI и запустите этот файл.
7. Запустите (1) Установить SVDQ библиотек
8. Запустите (2) Скачать SVDQ Flux Dev1 и дождитесь загрузки модели Flux Dev INT4 ~6.5Гб. Модель будет находится в папке models/diffusion_models
9. Другие модели скачайте если будите использовать соответствующие схемы.
❗В папках моделей остаётся скрытая папка .git которая в 2 раза увеличивает объем моделей. Удалите эту папку, чтобы не забивать диск. Позже поправлю bat файл, чтобы эта папка удалялась.
10. Если у вас нет модели T5 от Flux или SD3 то скачайте:
FP8-ССЫЛКА, FP16-СКАЧАТЬ (fp16 получше немного)
(models / clip)
FP8-ССЫЛКА, FP16-СКАЧАТЬ (fp16 получше немного)
(models / clip)
11. Схемы в формате png.
(это не просто картинка, она содержит схему внутри, поэтому её можно закинуть в comfyui)
👍 КОНВЕРТАЦИЯ LORA В формат SVDQ
Конвертация Lora с помощью моего bat файла больше не нужно. Узлы обновились и поддерживают Lora в родном формате. Поддерживаются Lora обученные и в Kohya и в FluxGym и скорее всего другие тоже.
ВИДЕО ПО САМОСТОЯТЕЛЬНОЙ УСТАНОВКИ SVDQuant
SVDQuant Flux ComfyUI ускорение в 2 раза
📜 ИНСТРУКЦИЯ ДЛЯ САМОСТОЯТЕЛЬНОЙ УСТАНОВКИ
1. Выполните действия 1, 2, 3, 4 из основной инструкции (1*)
2. Если вы ранее устанавливали svdq по моей инструкции то удалите папки nunchaku и nunchaku-0.1.4+torch2.6.dist-info и папки python_embeded\Lib\site-packages
3. Откройте консоль из папки python_embeded и введите команды:
python.exe -m pip install https://huggingface.co/mit-han-lab/nunchaku/resolve/main/nunchaku-0.2.0+torch2.6-cp312-cp312-win_amd64.whl
4. Скачать модель можно как показано в видео.
Или это можно сделать SVDQuant-Menu-v2.bat (он выше)
5. Закиньте схемы и в manager выберите
Install Missing Custom Nodes чтобы установить узлы.
Install Missing Custom Nodes чтобы установить узлы.
Если вы ранее ставили узлы по моему bat файлу то удалите их из папки custome_nodes и установите заново.
ДОПОЛНИТЕЛЬНЫЕ ССЫЛКИ
1. Инструкция разработчика по установке SVDQ: ССЫЛКА
2. Страница разработчика nunchaku: ССЫЛКА
3. whl для самостоятельной установки библиотек: ССЫЛКА
4. Все модели INT4 и FP4 разработчика: ССЫЛКА
5. Модель T5 SVDQ для самостоятельной загрузки: ССЫЛКА
🔥 Курс по "AUTOMATIC 1111" с поддержкой на сайте: ССЫЛКА
Comments
<div ><div><span class="text">OreX, Понял. Спасибо. и еще такой вопрос. Я вот сначала скачал и сделал как в урое Flux Kontext ComfyUI и получается просто поставив эти модели не работает( будет ли после установки по инструкции работать Flux Kontext? и еще он отказывается устанавливать изза того что надо обновить питон через команду -m pip но я не особо понимаю как ее нужно вводить</span></div></div>
Insago Production
2025-08-20 14:36:28 +0000 UTC<div ><div><span class="text">ссылки на clip и vae не октрываются</span></div></div>
Insago Production
2025-08-16 13:45:26 +0000 UTC<div ><div><span class="text">Иван Иванов, это lora с моим лицом. Она не нужна для генераций не связанных с моим лицом 😄</span></div></div>
OreX
2025-07-27 12:27:46 +0000 UTC<div ><div><span class="text">Скажите, пожалуйста, где эту LoRA'у взять? </span></div><div><div class="image"><img id="0090ba87-740c-47de-b2b9-10587621e39f" src="https://images.boosty.to/image/0090ba87-740c-47de-b2b9-10587621e39f?change_time=1753615725" change_time="1753615725" width="727" height="243" style="max-width: 100%; height: auto;"></div></div>
Иван Иванов
2025-07-27 11:28:10 +0000 UTC<div ><div><span class="text">TiborY, для clip 4 bit disable - все верно</span></div><div></div></div>
OreX
2025-05-13 14:35:35 +0000 UTC<div ><div><span class="text">OreX, спасибо за отклик. </span></div><div></div><div><span class="text">ТРИТОН не ставил вообще, все модели, ноды и зависимости установил в соответствии с Вашим руководством (здесь - по статье и по видео). Об этом я написал в посте выше (03 мая) с приложением скрина. Своя маркировка моделей - это для обозначения того, что в папке ''models'' находятся жёские ссылки на отдельную общую для всех нейро папку моделей на этом же диске, что и ComfyUI (методику создания ЖС брал у Вас).</span></div><div></div><div><span class="text">PS1: ... в содержимом этой статьи и видео-тутора имеются различия (...по содержанию батника; ...модель ''T5 SVDQ T5'' не ясно, куда класть (в workflow нода ''SVDQuant Text Encoder Loader'' имеет различное содержание в видео и в скачиваемом WF, а это как раз и кореллируется с той проблемой, за разрешением которой я и обратился к Вам)).</span></div><div></div><div><span class="text">PS2: ... нюанс: совершенно аналогичное поведение процесса и в Workflow для ''Ускоряем Flux и SDXL - Triton - WaveSpeed'' (22.01.2025) - там в посте 09/05/2025 я описал проблему с приложением скрина.</span></div><div></div><div><span class="text">Спасибо.</span></div><div></div><div><span class="text"></span></div><div></div><div><div class="image"><img id="af7fd7ec-d082-4737-8fcb-99630c0d8394" src="https://images.boosty.to/image/af7fd7ec-d082-4737-8fcb-99630c0d8394?change_time=1747137067" change_time="1747137067" width="3050" height="1550" style="max-width: 100%; height: auto;"></div></div>
TiborY
2025-05-13 11:53:42 +0000 UTC<div ><div><span class="text">TiborY, Triton для видеокарт от 3000 серии nvidia. В схеме можно выключить или удалить узлы compil... то есть triton. По консоли у вас похоже не выбраны модели.</span></div><div></div></div>
OreX
2025-05-11 15:44:00 +0000 UTC<div ><div><span class="text">Ув. знатоки, пожалуйста, помогите.</span></div><div></div><div><span class="text">Пытаюсь примерить ускорение FLUX для своей Nvidia 2080Ti (12 Gb) по материалам OreX-статей: ''SVDQuant Flux ComfyUI ускорение в 2 раза'' (13.03.2025) и ''Ускоряем Flux и SDXL - Triton - WaveSpeed'' (22.01.2025).</span></div><div></div><div><span class="text">Всё делаю строго по инструкции автора; модели, зависимости и ноды установил, workflow'ы запускаются, но на определённом этапе (~ после реализации Промпта) выдаёт ошибку ''Failed to validate prompt for output 9: ,,,'' (см. скрин), и на узел: [''CLIP Text Encode (Po''] уже не переходит, на чём и завершается.</span></div><div></div><div><span class="text">Такая ситуация одинакова и для ''SVDQuant Flux ComfyUI'', и для ''Flux и SDXL - Triton - WaveSpeed''.</span></div><div></div><div><span class="text">Что делать? Прошерстил множество разных источников, доступного для моего понимания рецепта по решению проблемы не нашёл.</span></div><div></div><div><span class="text">Спасибо, кто откликнется, оч. нужно (планирую обучение LORA на FLUX для даьнейшего использования в 3D (Blender-DazStudio))</span></div><div></div><div><div class="image"><img id="a718201b-42eb-4dca-ac3c-25dccacbaf01" src="https://images.boosty.to/image/a718201b-42eb-4dca-ac3c-25dccacbaf01?change_time=1746788287" change_time="1746788287" width="395" height="162" style="max-width: 100%; height: auto;"></div></div>
TiborY
2025-05-09 10:58:07 +0000 UTC
