Ещё одна локальная модель для ИИ-рисования? И чем она лучше инструментов, доступных даже бесплатно онлайн?

На RTX 4070 картинку в 4 Мпикс дистиллированная версия FLUX 3 Image Klein будет выпекать примерно с минуту. На нашей картофелИИне — чуть подольше, конечно (источник: BFL)

В BFL также не без гордости отмечают, что применили для тренировки FLUX 3 Image Klein свежую систему Self-Flow, разработанную совместно с Массачусетским технологическим институтом. Система эта самостоятельно сопоставляет потоки данных, реализуя парадигму их самоконтролируемого взаимосогласования (self-supervised flow matching framework). В итоге модель, по словам исследователей, «изучает представления путём увязывания мультимодальной генерации с пониманием воспроизводимых концепций в рамках единой архитектуры». Имеется в виду, что базовую версию FLUX 3 обучали не только на картинках, но и на натурных видео (со звуком, кстати; для получения статичных картинок это не актуально, а вот на перспективу, для ИИ-генерации роликов сразу с аудиодорожками, — очень даже). Такой подход позволил зафиксировать в весах нейросети физически корректные причинно-следственные связи между взаимодействующими объектами — и тем самым значительно улучшить пространственную и временную достоверность полученных изображений по сравнению с моделями, которые тренировали только на наборах аннотированных статичных картинок.

Подлинная сила FLUX 3 Image Klein таится в её способностях к редактированию изображений — вот как показано на этом примере: достаточно просто обвести объект рамочкой и указать для него новое место в кадре. Но чтобы до этого этапа добраться, необходимо всё же сперва выяснить, как модель в принципе работает (источник: BFL)

Тем не менее, даже если полный размер готовой к использованию локально FLUX 3 Image Klein чуть превосходит 10 млрд параметров, это не отменяет того факта, что все три составляющие её нейросети будут загружаться в видеопамять по отдельности. А значит, знакомой завсегдатаям нашей «Мастерской» ИИспытательной картофелины — Core 7 i2-2700K, 24 Гбайт ОЗУ DDR3-1333, GeForce 1070 на 8 Гбайт — уж точно должно хватить для сравнительно быстрой генерации картинок с этой моделью. Ведь и преобразователь текста в токены, и корневой блок формирования картинки, и тем более VAE будут поочерёдно помещаться в 8 Гбайт видеопамяти целиком, не выплёскиваясь в куда более медлительное общее ОЗУ. В общем, серьёзная заявка на успех; пора разобраться, что тут и как!

Сперва подготовим рабочую среду к запуску новой модели. ComfyUI — а мы уже не раз рассказывали, откуда её брать и как развёртывать, — для работы с FLUX 3 Image Klein должна быть не младше версии 0.41.0. Проверить номер версии, если она устанавливалась давно, всегда можно в менеджере пакетов — и там же отдать команду на обновление рабочей среды, если потребуется.

Справа в информационном окошке ComfyUI Manager, если прокрутить его вниз до конца, виден номер текущей версии; слева есть кнопка для обновления

Дальше логично будет припасть к истоку и скачать все необходимые файлы прямо из официального репозитория BFL на Hugging Face (впрочем, доступны они и на CivitAI, и на других платформах), — однако уж здесь всё перестаёт быть так просто, как могло показаться с самого начала. Прямо в описании модели на странице репозитория непринуждённо упоминается ещё одна дополнительная нейросеть, в отсутствие которой настоятельно не рекомендовано запускать FLUX 3 Image Klein, а именно — FLUX 3 Image Klein Prompt Upsampler. На платформе последняя размещена под игривым именем flux3-image-klein-pup (pup — «щеночек»; остроумное сокращение для promp upsampler, признаём), но, судя по размерам, о чём подробно мы скажем чуть позже, щеночек этот — мастифа или алабая, не меньше.

Всё это, конечно, прекрасно, но рядовой пользователь ленив: он по-прежнему хочет получать на основе подсказки «1girl» изображение уровня ну хотя бы «Джоконды». По этой, видимо, причине разработчики из BFL прямо говорят в описании своего (точнее будет сказать, «обогатителя», — в том же смысле, в каком руду обогащают перед выплавкой из неё металла) FLUX 3 Image Klein Prompt Upsampler: «FLUX 3 Image Klein не предназначена для работы в отсутствие обогащения исходной подсказки; это касается как преобразования текста в картинку, так и редактирования, и рисования по заданному шаблону».

Слева — короткая подсказка для FLUX 3 Image Klein; далее — сгенерированная по ней напрямую (минуя Prompt Upsampler) картинка; затем — то, что получилось из исходной подсказки после пропускания через обогатитель; финал — изображение, созданное с тою же самой затравкой (seed), но уже по обогащённой подсказке

Небольшая тонкость: FLUX 3 Image Klein Prompt Upsampler — это особым образом дотренированный клон Qwen3.5-9B, то бишь ещё одна обособленная (и внешняя по отношению к BFL) моделька на 9 млрд параметров (ничего себе щеночек!) Итого фактически исполняемый на локальном ПК размер FLUX 3 Image Klein раздувается уже примерно до 20 млрд параметров, причём обогатитель в исходном своём виде — без предварительной компактификации с применением GGUF или иного схожего метода — в 8 Гбайт видеоОЗУ уже совершенно точно не лезет.