Оживление фото: топ-10 нейросетей для этой задачи и топ-20 промптов

Для оживления фотографий используют модели с режимом Image-to-Video. Они берут готовое изображение за основу и добавляют движение персонажей, объектов или камеры. Мы собрали 10 нейросетей, которые подходят для этой задачи, — от универсальных видеомоделей до решений для говорящих аватаров.

Seedance 2.0 — видеомодель компании ByteDance, разработчика TikTok. Исходное изображение можно загрузить как референс и задать в промпте, как должны двигаться человек, предметы и камера.

Модель хорошо справляется со сложными движениями и взаимодействием нескольких объектов, а также старается сохранять внешность персонажей при анимации. Например, на портрете можно добавить мимику, движения головы и волос, а на фотографии в полный рост — заставить человека идти или выполнять другие действия. 

Seedance 2.0 также умеет одновременно генерировать видеоряд и звук: речь, фоновые шумы, музыку и звуковые эффекты.

Gemini Omni Video — мультимодальная видеомодель Google. Для оживления фото ей можно передать исходное изображение и текстом описать нужное действие, движение камеры или изменения в сцене. Модель также принимает другие типы референсов — текст, видео и аудио — и объединяет их в одном ролике.

Сильная сторона Gemini Omni — работа со сложными сценами и последовательными правками. Например, после первой генерации вы можете попросить изменить движение персонажа, ракурс камеры или отдельный объект, не создавая ролик заново с нуля. 

Grok Imagine предназначена для генерации и оживления видео. В режиме Image-to-Video ей можно передать фотографию как первый кадр и текстом описать движение персонажа, объектов и камеры. Модель старается сохранять детали и освещение исходного изображения.

В версии 1.5 разработчики улучшили передачу движения и физику объектов — теперь модель лучше сохраняет форму предметов и естественнее передает вес и инерцию. Вместе с видеорядом она генерирует звуковые эффекты, фоновый звук и речь, синхронизируя их с происходящим в кадре. Для Image-to-Video доступно разрешение до 1080p.

В HappyHorse 1.1 загруженная фотография становится первым кадром ролика, а дальнейшее движение задается текстовым промптом. Можно создавать видео длительностью от 3 до 15 секунд в разрешении 720p или 1080p. Вместе с изображением модель генерирует звук.

Модель также умеет работать не только с одним исходным фото, но и с несколькими референсами. Эта функция полезна, если, например, нужно сохранить в ролике внешность человека, одежду или отдельный объект с разных изображений.

Wan 2.7 — видеомодель Alibaba с несколькими режимами Image-to-Video. Фотографию можно использовать как первый кадр ролика или задать сразу начальный и конечный кадры, чтобы управлять развитием сюжета. Модель также может продолжить уже готовый фрагмент видео.

Wan 2.7 создает ролики длительностью от 2 до 15 секунд в разрешении 720p или 1080p. Модель генерирует несколько последовательных планов с сохранением основного персонажа, а также умеет синхронизировать видео с загруженной аудиодорожкой. Для работы с референсами модель старается сохранять внешность персонажа, движение, окружение и другие особенности исходного материала.

Kling 3.0 — популярная видеомодель китайской компании Kuaishou, которая хорошо подходит для создания сложных роликов. Она поддерживает несколько планов, позволяет управлять ракурсами и движением камеры и создает видео длительностью до 15 секунд. Вместе с изображением она умеет генерировать речь, фоновые звуки и другие элементы аудиодорожки.

Kling 3.0 принимает несколько изображений-референсов, чтобы точнее сохранять внешность героев, предметы и особенности сцены.

Hailuo 2.3 — видеомодель, где фотография используется как первый кадр, а дальнейшее развитие сцены вы задаете текстом. Можно, например, описать движения человека, его мимику или действия объектов. Модель создает ролики длительностью 6 или 10 секунд.

Одна из сильных сторон Hailuo 2.3 — анимация людей: модель передает движения тела и микромимику. Также нейросеть подходит и для стилизованных изображений, например аниме или компьютерной графики.

PixVerse V6 поддерживает несколько способов оживления изображений. Например, можно:

• создать видео из одной фотографии, а нужное движение описать в промпте;

• загрузить начальное и конечное изображения, чтобы нейросеть создала переход между ними;

• продолжить уже готовый ролик.

Модель генерирует видео длительностью до 15 секунд в разрешении до 1080p.

Нейросеть поддерживает звуковые эффекты, поэтому в ней удобно создавать динамичные ролики для соцсетей и рекламы.

OmniHuman 1.5 — модель для создания цифровых персонажей. Достаточно загрузить изображение и аудиодорожку, чтобы нейросеть оживила персонажа так, чтобы движения губ, мимика и жесты соответствовали речи, музыке или другому звуку. Дополнительно поведение персонажа можно уточнить текстовым промптом.

Модель анализирует ритм аудио, а также его содержание и эмоциональную окраску. Благодаря этому персонаж может менять выражение лица и жестикулировать в соответствии с тем, что говорит. OmniHuman 1.5 подходит для говорящих аватаров, виртуальных ведущих и музыкальных роликов, а также умеет работать со сценами, где действует несколько персонажей.

Runway Gen-4.5 умеет выполнять сложные последовательности действий и подробно заданные движения камеры, например плавное приближение, поворот или перемещение вокруг объекта. Пользователь загружает фотографию как исходный кадр и описывает в промпте, что должно происходить дальше. Для таких запросов лучше сосредоточиться именно на движении, а не заново описывать содержание изображения.

Нейросеть создает ролики длительностью от 2 до 10 секунд в разрешении 720p и поддерживает разные соотношения сторон, в том числе вертикальное 9:16 для соцсетей.

При оживлении портрета обычно не нужно подробно описывать внешность человека — нейросеть уже видит ее на исходном изображении. Лучше указать, какие движения нужно добавить, как должна вести себя камера и какие детали важно сохранить.

Подойдет для обычного портрета или селфи, если хочется получить максимально естественный результат без заметного изменения исходного кадра.

Такой промпт позволяет постепенно изменить выражение лица, то есть добавить небольшую динамику.

Подойдет для фотографии, на которой человек смотрит в сторону или изображен вполоборота.

Так можно сделать статичный портрет живее даже без заметных движений самого человека.

Лучше всего подойдет фотография в полный рост, где хорошо видны ноги человека и поверхность, по которой он может идти.

При работе с двумя людьми лучше указать, что внешность каждого персонажа должна сохраниться.

Для архивных снимков лучше ограничиться минимальной анимацией, так как слишком активные действия сильнее меняют исходную внешность и атмосферу кадра.

Подойдет для портретного снимка питомца, если хочется добавить небольшие естественные движения и сохранить исходную позу.

Такой промпт подойдет для фотографии в полный рост, если нужно добавить более заметное действие.

Так можно превратить статичную фотографию в более динамичный ролик — например, показать бег или игру.

Промпт можно использовать для предметной фотографии, если требуется добавить движение камеры и сделать изображение более выразительным.

Такой сценарий подойдет для фотографии модели в одежде, с сумкой, украшением или другим аксессуаром.

Из статичного снимка автомобиля можно сделать короткий динамичный рекламный кадр.

Лучше задать небольшие естественные движения, которые подчеркивают свежесть и фактуру продукта.

Такой промпт подойдет для косметики, техники, украшений и других товаров, которые нужно показать в более эффектной подаче.

Фотографиям природы можно добавить мягкое естественное движение, но сохранить атмосферу исходного кадра.

Лучше всего работает для кадров, где главный элемент — вода, и важно подчеркнуть ее движение.

Такой сценарий удобно применять для уличных кадров, путешествий и архитектурных фотографий, которым не хватает движения.

Подойдет для живописи, цифровой иллюстрации или стилизованного изображения, где важно сохранить исходную художественную манеру.

Этот промпт поможет превратить обычную фотографию в более атмосферную кинематографичную сцену.

Качество видео зависит от модели, исходной фотографии и промпта. Вот несколько приемов, которые помогут получить более естественный результат.

• Выбирайте качественный исходник. Лучше использовать четкие фотографии без размытия и заметных дефектов. Если оживляете человека в полный рост, желательно, чтобы руки и ноги были хорошо видны.

• Начинайте с простого действия. Сначала задайте одно основное движение, а затем при необходимости добавьте мимику, движение камеры или окружения.

• Уточняйте, кто должен двигаться. Если в кадре несколько людей или объектов, обозначайте их конкретно: например, «женщина слева поворачивается к мужчине справа». Так нейросети проще понять задачу.

• Указывайте, как должна двигаться камера. В промпте можно отдельно указать, что камера приближается, отдаляется, движется за персонажем или остается неподвижной.

• Учитывайте исходную позу. Фотография сама может подсказывать направление движения. Например, поднятая нога, развевающиеся волосы или размытие создают ощущение динамики. Если промпт противоречит этим деталям, результат может получиться менее естественным.

• Меняйте промпт постепенно. Если результат не устроил, необязательно переписывать запрос целиком. Попробуйте изменить один параметр: скорость движения, действие персонажа, камеру или длительность. Так вы поймете, что именно влияет на генерацию.

В сервисе SpeShu.AI собраны модели для текста, изображений, видео и других задач. Можно пользоваться разными нейросетями с единым рублевым балансом и платить только за фактическое использование, без отдельных подписок на каждый сервис.

Сервис работает в России без VPN, а пополнить баланс можно картой или через СБП. Юридические лица и ИП получают договор и закрывающие документы.