Как работает генерация изображений: объясняем простыми словами

Мы разобрали по шагам, как нейросеть учится, как промпт управляет результатом, что означают термины seed, steps и CFG, чем отличаются режимы генерации и где у технологии остаются структурные ограничения.

Диффузионная модель — это нейросеть, которая создает картинки, постепенно очищая хаотичное зернистое изображение. В компьютерной графике шумом называют цифровые помехи, похожие на «белый шум» на пустом экране старого телевизора — набор разноцветных точек.

Работа технологии состоит из двух этапов. Сначала разработчики берут готовую фотографию и постепенно засыпают ее цифровым шумом, пока она полностью не превратится в хаос. Нейросеть внимательно следит за этим процессом и учится делать противоположное: определять, какие именно пиксели являются лишней грязью, и аккуратно стирать их.

Когда пользователю нужно создать новое изображение, нейросеть получает на вход чистый случайный шум. Шаг за шагом она находит в этом хаосе помехи, удаляет их и постепенно проявляет четкие контуры и детали. Такой метод вытеснил другие алгоритмы, потому что компьютеру гораздо проще последовательно очищать картинку от грязи, чем пытаться сразу нарисовать сложный объект с нуля.

Обучение строится на разрушении реальных изображений:

1. Из обучающей выборки берется реальное изображение.

2. К нему шаг за шагом добавляется случайный гауссов шум, то есть случайные отклонения яркости и цвета в каждом пикселе.

3. На последнем шаге изображение превращается в чистый шум, и оригинал в нем неразличим.

4. Такой процесс повторяется для миллионов изображений.

На каждом шаге нейросеть решает одну задачу: предсказать, какой именно шум был добавлен. Известный ответ есть всегда, потому что шум добавляли мы сами, поэтому ошибку можно измерить и уменьшить. Простая и стабильная задача позволяет наращивать размер модели и объем данных без потери предсказуемости обучения.

При генерации процесс идет в обратном направлении:

1. Берется чистый случайный шум.

2. Нейросеть предсказывает, какой шум нужно убрать.

3. Предсказанный шум вычитается, и изображение становится чуть более определенным.

4. Шаги 2–3 повторяются 20–50 раз; у быстрых моделей — 8–10 раз и меньше.

5. На выходе получается связное изображение.

Модель не рисует линии, не размещает объекты и не планирует композицию. Она на каждом шаге убирает то, что считает лишним, исходя из закономерностей обучающих данных. Точки на экране постепенно складываются в изображение, статистически похожее на то, что нейросеть видела при обучении.

Без управления модель сгенерировала бы произвольное изображение, похожее на обучающие данные, то есть бесполезное. Управляет генерацией текстовый запрос, и работает это в три этапа.

Текстовый энкодер. Запрос сначала проходит через текстовый энкодер, чаще всего CLIP или T5. Он превращает каждое слово в вектор эмбеддингов — набор чисел, который передает смысл. Размерность вектора обычно 512, 768 или 1024 числа на токен.

Подача на каждом шаге. Эти векторы поступают в нейросеть на каждом шаге удаления шума как условие. Нейросеть убирает шум не в произвольную сторону, а в ту, которая соответствует смыслу запроса. Технически это работает через механизм внимания (cross-attention): каждый участок изображения «сверяется» со всеми словами запроса и определяет, какие из них к нему относятся.

Обученное соответствие слов и картинок. CLIP обучен на парах «изображение — текст», поэтому слова вроде «студийный свет» связаны у него с визуальными признаками таких снимков. T5 лучше справляется с длинными и сложными формулировками. Это объясняет, почему подробные описания обычно дают более точный результат.

Classifier-Free Guidance (CFG) — параметр, который определяет силу следования запросу. При обучении модель иногда намеренно «не видит» запрос и учится генерировать изображение без условия. При генерации нейросеть считает два варианта: с запросом и без него. Разница между ними усиливается в CFG раз.

• CFG 1–3. Модель почти игнорирует запрос и генерирует произвольное изображение.

• CFG 7–12. Хорошее следование запросу, нормальный рабочий диапазон; для большинства задач подходит 7–10.

• CFG 20 и выше. Гиперследование запросу: часто появляются артефакты, цвета и контраст получаются перегруженными.

Если убирать шум прямо в пикселях, вычислений получается слишком много. Изображение 512×512 состоит из 262 144 позиций, и на каждом из 20–50 шагов нейросеть должна предсказать шум для каждой. Для практического использования это слишком дорого.

Решение — сначала сжать изображение:

1. Автокодировщик (VAE) переводит изображение в сжатое представление — латентное пространство. Обычно сжатие идет в 8 раз по каждой стороне: из 512×512 получается латентная карта 64×64.

2. Удаление шума происходит в этом сжатом пространстве.

3. После последнего шага декодер VAE разворачивает результат обратно в пиксели.

Вместо 262 144 позиций нейросеть работает с 4 096, то есть вычислений на каждом шаге в 64 раза меньше. Если учитывать цветовые каналы (3 в картинке и 4 в латентной карте классических версий Stable Diffusion), выигрыш составляет 48 раз: 786 432 числа против 16 384. Оба расчета корректны, они считают разные величины; порядок выигрыша в любом случае — десятки раз. Именно сжатие сделало диффузию практичной.

Удаление шума выполняет нейросеть одного из двух типов.

1. U-Net — классическая архитектура для диффузии. Энкодер постепенно сжимает изображение, соединения-«перемычки» (skip connections) передают детали, декодер восстанавливает исходный размер. U-Net хорошо работает с локальными признаками: текстурами и мелкими деталями. Ее использовали в Stable Diffusion 1.x, 2.x и SDXL.

2. DiT (Diffusion Transformer) — более поздняя архитектура. Она делит изображение на небольшие фрагменты (патчи) и обрабатывает их так же, как трансформер обрабатывает слова. DiT лучше масштабируется и точнее реагирует на текстовое условие. На DiT построены Stable Diffusion 3 и FLUX: в Stable Diffusion 3 используется вариант MMDiT с раздельными весами для изображения и текста, которые объединяются в механизме внимания.

Причина, по которой DiT вытесняет U-Net: трансформеры лучше улавливают глобальные связи — отношения между объектами на разных концах кадра. U-Net сильнее в локальных текстурах и слабее в согласованности всей сцены.

Существуют три основные схемы генерации изображений, и они различаются тем, как получается результат.

Диффузия убирает шум шаг за шагом. Обучение стабильное, потому что нейросеть решает одну простую задачу. Генерация медленнее, чем у конкурентов, так как требует много шагов. Разнообразие результатов высокое, управляемость отличная. Это схема большинства современных моделей.

GAN (генеративно-состязательные сети) работают как пара из двух нейросетей: генератор создает изображение, дискриминатор оценивает, похоже ли оно на настоящее. Генерация быстрая, за один проход. Но обучение нестабильно, потому что нужно поддерживать баланс двух конкурирующих сетей, а частая проблема — «коллапс режимов»: модель начинает выдавать однотипные результаты. Управляемость ограничена. Для генерации по тексту GAN практически не используются.

Авторегрессия предсказывает изображение по частям, как текст по словам: часть картинки (токен) за частью, слева направо. Обучение стабильное, управляемость отличная, скорость зависит от длины результата.

Почему диффузия вытеснила GAN. Одна сеть с простой и стабильной задачей масштабируется предсказуемо. В GAN две сети конкурируют между собой, обучение нестабильно, а однотипные результаты встречаются часто.

Seed — число, с которого начинается случайность. Один и тот же запрос с одним и тем же seed всегда дает одно и то же изображение. Если сменить seed, получится другой вариант того же запроса. Практический смысл: нашли удачное изображение — запомнили seed и можете воспроизвести результат или создавать серию с единым характером.

Steps (шаги) — число шагов удаления шума. 20 шагов быстрее, но детали чуть хуже; 50 шагов медленнее, качество выше; выше 50 шагов разницы почти нет. Для ориентира: в описании Stable Diffusion 3 при 50 шагах изображение 1024×1024 на видеокарте RTX 4090 генерируется около 34 секунд. Дистиллированные модели дают приемлемое качество за гораздо меньшее число шагов.

CFG Scale — сила следования запросу, описана выше; 7–10 подходит для большинства задач.

Sampler (планировщик) — алгоритм удаления шума. DPM++ 2M Karras, Euler, DDIM — разные пути по пространству шума к итоговому изображению. Выбор влияет на характер результата и скорость, но не на смысл запроса.

Negative prompt — перечень того, чего не должно быть на изображении. Работает через тот же механизм, что и CFG: генерация смещается от нежелательных концепций.

Text-to-Image. Базовый режим: чистый шум и запрос превращаются в изображение. Подходит для создания иллюстраций и обложек с нуля.

Image-to-Image. Исходное изображение зашумляется не до конца, а до промежуточного шага, после чего нейросеть убирает шум с учетом запроса. Структура оригинала сохраняется, меняются стиль и детали. Параметр strength (сила трансформации) определяет, насколько далеко заходит зашумление: 0,3 — легкие изменения, 0,9 — почти полная перегенерация. Практический пример: привести фотографии разных источников к единому стилю.

Inpainting. Маска указывает область, которую нужно изменить. Зашумляется и перерисовывается только она, остальное остается без изменений. Применяют для удаления объектов и замены фона, например, у предметной съемки для карточки товара.

Upscaling. Маленькое изображение увеличивают, зашумляют и прогоняют через удаление шума с условием высокого разрешения. Нейросеть добавляет детали, которых в оригинале не было, поэтому некоторые инструменты «придумывают» текстуры, например кожи. Это нужно учитывать, когда важна достоверность изображения.

ControlNet. Дополнительная нейросеть принимает на вход контрольное изображение: контуры позы, карту глубины, границы объектов. Она жестко задает структуру, а стиль остается свободным. Это основной инструмент для точного управления композицией.

На примере запроса «фотореалистичный портрет женщины, студийный свет, 85mm»:

1. Токенизация. Текст разбивается на токены — минимальные смысловые единицы.

2. Кодирование. Текстовый энкодер (CLIP ViT-L или T5-XXL) превращает каждый токен в вектор размерностью 768 или 1024.

3. Cross-attention. В каждом слое нейросети (U-Net или DiT) каждый участок изображения «обращается» к токенам запроса через механизм внимания и определяет, какие слова к нему относятся.

4. Направленное удаление шума. На каждом шаге нейросеть убирает шум в сторону того, что описано словами.

Что отсюда следует для практики. Поскольку CLIP обучен на парах «изображение — текст», термины из фотографии («85mm», «студийный свет») связаны у него с узнаваемым визуальным результатом, и точные термины работают лучше общих слов вроде «красивый». T5 лучше понимает длинные формулировки, поэтому в моделях с T5 подробный запрос оправдан.

Flow Matching вместо классической диффузии. Вместо предсказания шума модель предсказывает вектор скорости: как двигаться от шума к изображению по прямой траектории. Метод быстрее сходится и требует меньше шагов при генерации. Rectified flow, вариант flow matching, используется в Stable Diffusion 3 и FLUX. В описании SD3 авторы отмечают, что прямая траектория позволяет получать хорошие результаты при меньшем числе шагов.

Высокое разрешение. SDXL и более поздние модели работают с 1024 пикселями по стороне без дополнительного увеличения. Midjourney V8 в режиме HD генерирует примерно 2048×2048 пикселей без отдельного шага апскейла (по данным обзора V8.1). По сообщениям о gpt-image-2, максимум достигает 2000 пикселей по длинной стороне, но эти характеристики приводятся в обзорах и не подтверждены разработчиком в проверенных источниках.

Лучшая работа с текстом на изображении. Точный текст на картинках долгое время был системной проблемой. В Stable Diffusion 3 для этого используется отдельный текстовый поток в архитектуре MMDiT; авторы показали, что без крупного энкодера T5 качество типографики падает (доля предпочтений 38% против версии с T5). Gpt-image-2, по сообщениям, поддерживает кириллицу, но длинные текстовые блоки, по отзывам пользователей, разваливаются после нескольких сотен символов.

Дистилляция для ускорения. Метод переносит качество большой модели в маленькую, которая справляется за 1–8 шагов вместо 50. Так устроены LCM, SDXL-Turbo и FLUX schnell. Шагов становится в 6–12 раз меньше, скорость растет соразмерно, а потеря качества, по заявлениям разработчиков, небольшая.

Рабочие задачи, где перечисленные механизмы дают результат: обложки и иллюстрации для материалов (text-to-image); приведение набора фотографий к единому стилю (image-to-image); замена фона на предметных фотографиях (inpainting); повторяемый фирменный стиль серии изображений (seed); макеты с жесткой раскладкой по эскизу (ControlNet).

Также в агрегаторе есть Студия, где собраны сотни готовых пресетов. Пользователю не нужно самостоятельно продумывать сценарий и настраивать параметры генерации: можно выбрать пресет популярного вирусного формата и получить готовое видео в один клик. Это особенно важно для тех, кто зарабатывает на контенте и не может тратить часы на подбор промпта — тренд меняется быстрее, чем успевает выйти ролик.

Хотите системно разобраться, как выжимать из нейросетей для изображений максимум — заберите бесплатный гайд «Будьте мировой моделью с нейросетями для изображений».

• Брать результат с текстом без проверки. Опечатка в названии, цене или реквизитах появляется в готовом макете и замечается позже всего.

• Завышать CFG ради «точного» следования запросу. Значения от 20 дают артефакты и перенасыщенные цвета; для большинства задач достаточно 7–10.

• Ставить больше 50 шагов. Выше этой отметки разница почти не заметна, а время растет.

• Не фиксировать seed удачного результата. Без него воспроизвести изображение или сделать серию в том же характере не получится.

Нейросеть берет случайный шум и за 20–50 шагов убирает его, на каждом шаге ориентируясь на векторное представление запроса. Текстовый энкодер превращает слова в числа, а механизм внимания направляет удаление шума к описанному. Результат соответствует закономерностям обучающих данных, а не нарисован по плану.

Seed определяет начальный шум: один запрос с одним seed дает одно и то же изображение. Steps — число шагов удаления шума, оптимально 20–50. CFG — сила следования запросу, для большинства задач подходит 7–10.

Модель воспроизводит статистические закономерности и не считает объекты, не читает текст и не знает анатомии. Количество предметов, длинные надписи и положение пальцев в обучающих данных вариативны и редко размечены точно, поэтому результат нестабилен. Такие места нужно проверять после генерации.

Диффузия обучает одну сеть предсказывать шум, это стабильно и хорошо масштабируется. GAN строится на двух конкурирующих сетях, обучение нестабильно, а модель часто выдает однотипные результаты. Поэтому большинство современных генераторов по тексту работают на диффузии, а GAN для этой задачи практически не используют.

Генерация изображений — это управляемое удаление шума: запрос задает направление, а seed, steps и CFG определяют воспроизводимость, детальность и строгость следования тексту. Для рабочих задач безопаснее всего использовать нейросеть там, где допустима вариативность, и проверять вручную все, где нужна точность: числа, текст и расположение объектов.

Реклама: ООО «ЦНИС», ИНН 9704271170, erid: 2VtzqvLbT3j