что такое генерация изображения

Генерация фотореалистичных изображений с помощью нейронной сети Статьи редакции

Мы ещё на шаг ближе к фейковому будущему с помощью нейронной сети SIMS.

Картинка выше – результат работы нового алгоритма «Semi-parametric Image Synthesis» (SIMS).

Нейронная сеть на основе выбранного вами набора данных (сотен фотографий каких-то объектов подготовленных в виде «датасета») и «силуэтов» разного цвета на входе (так нейронка понимает, какого типа объекты дорисовывать, это пока делается в ручном режиме) способна на выходе выдать фотореалистичную картинку.

Детальное описание того, как она работает, есть в видео ниже:

Примечательно, что эта нейронка работает с разными типами датасетов и может генерировать в целом что угодно – с нетерпением жду, когда за неё возьмутся энтузиасты.

А тут исходный код 💖:

Еще чуть-чуть ближе к кино-реалистичным играм )
Ух, потом туда еще VR прикрутить.
Потом шунт в затылок и поехали!

Входной датасет – набор данных не чем тренировали нейронную сеть, это уже какое-то общее слово поэтому я его смело вставил 🙂 То есть это могут быть гигабайты фотографий дорог из реального мира, из GTA 5, сотни фотографий столовых, тысячи фотографий фасадов зданий, ботинок, сумочек и тп – это та вещь от которой отталкивается нейронка при генерации сцены. Самое главное, что при создании такого датасета есть несколько наборов файлов – просто с картинками и вот такие цветные лейауты, где разными цветами покрашены разные зоны.

Семантический лейаут делают руками (разноцветный рисунок), не автоматом – но его можно и генерировать автоматом, например, в 3D, просто это выходит за рамки этого документа. Входной рисунок может быть не очень точным.

Немного поправил формулировку статьи, должно стать лучше.

Рендер сновидений учудили. Возможно мозг похожим способом строит во сне реалистичную картинку по упрощённому описанию.

Так уже делается, на самом деле. Нейросети учат нейросети.

Ну еще можно, скорее всего, простейшим алгорисмом выводить силуэты и тоже скармливать нейросети. Но точность полюбому пострадает

Охренеть. Очень круто.

Интересно, что получится если цветовое пятно сделать какой-то нелепой формы. Человека там квадратного или машину круглую..

Залью для вас отдельно 🙂

Меня зовут Алексей Кучма, и я создатель Telegram-канала про виртуальную одежду Digital-шкаф. В этой статье я расскажу, кто покупает виртуальные образы и как цифровая мода и цифровые сущности стали новой бизнес-моделью.

Источник

Как заставить генеративные изображения выглядеть естественно при помощи математических алгоритмов

Время от времени мне пишут комментарии о том, что мои работы не выглядят созданными компьютером. Как по мне, это лучшая похвала: мой глубокий интерес к генеративному искусству начался, когда я осознал его способность создавать как раз такие работы. Здесь я расскажу некоторые методы, которые я использую для улучшения естественности своих работ.

Этот пост не о языке и не о фреймворке. Мы будем говорить только о технике.

И давайте сразу договоримся, пожалуйста: я не утверждаю, что работы, которые выглядят натурально, в какой-либо степени лучше тех, которые выглядят цифровыми. Не нужно ставить естественность целью. Я гонюсь за ней просто потому что мне это нравится, таковы мои вкусы.

Ведущий принцип: моделируйте свои работы на основе реальности

Если возможно, подумайте, как бы вы изобразили своё творение на бумаге или как бы оно могло выглядеть в реальном мире. Моделирование реального физического процесса, скорее всего, приведёт к реалистично выглядящей работе.

Например, равномерно распределённые данные обычно не встречаются в природе. Большая часть данных представляет из себя что-то вроде колоколообразной кривой. Использование нормально распределённых случайных величин (те, что со средним значением и стандартным отклонением) чаще всего создаёт более естественный эффект, чем случайный выбор из промежутка или списка.

Линии

Предположим, что у нас есть тип данных, представляющий из себя отрезок. Чтобы нарисовать его, обычно мы делаем как-то так:

По-моему, слишком идеально!

Случайный наклон

Предположим, что мы рисуем несколько горизонтальных линий, и мы хотим их сделать более естественными. Сперва можно немного подвинуть конечные точки линий. Мы можем сделать это, переместив их, используя нормальное распределение с небольшим стандартным отклонением в х и у направлениях.

Волнообразное колебание

Теперь у нас линии, которые немного смещены от изначально заданной позиции. И немного различаются по длине. Однако, они совершенно прямые. Это не похоже на линии, которые мы встречаем в реальном мире. Давайте сделаем их менее прямыми.

Например, это можно сделать так:

Влияние соседних точек

Хорошо, у нас начало что-то получаться. Изменение параметров стандартного отклонения позволяет нам контролировать «колебания» нашей линии. Однако, вы, наверное, заметили, что колебания независимы друг от друга. Линия может колебаться, то приближаясь к соседней верхней, то к нижней линиям. Чтобы уберечься от этого, я предлагаю такой вариант.

Возьмите среднее значение каждой пары смежных точек в вашей полученной линии после корректировки (это очень простой пример ядерного сглаживания). Вы можете сделать его несколько раз, чтобы получить более плавную линию. Нарисуйте теперь через точки кривую. Теперь каждая точка влияет на соседнюю более естественно.

Я бы сказал, что теперь форма выглядит довольно прилично. Если бы я попытался нарисовать прямую линию на бумаге, это, наверное, выглядело бы как раз как-то так. Мы можем менять стандартное отклонение в нашей функции с ручной коррекцей, чтобы смоделировать линию, сделанную будто более или менее аккуратной рукой.

Примечание: в данном случае ещё можно использовать функцию одномерного шума для перемещения точки в прямой. Результатом тоже будет плавная кривая, но она будет более предсказуемой, в зависимости от функции шума, которую вы используете.

Текстурирование линий

Теперь наша линия выглядит достаточно естественно. Но мы всё ещё рисуем идеально точной «ручкой», когда мы вызываем функцию stroke(). В реальном мире, когда мы используем различные инструменты для рисования, у них есть различия в текстуре. Один из способов внести эти различия – использовать технику песчаных сплайнов, популяризованную Андерсом Хоффом (a.k.a inconvergent). Идея проста:

Это только один из множества способов придания текстурности линиям, но также это моя любимая тема для начала. Экспериментируйте со своими текстурами и увидите, что лучше подходит для вас.

«Сон о пустыне» (2018) Текстурированные линии – основа многих моих работ.

Формы

Теперь, когда мы можем рисовать необычные линии, давайте перейдём ко второму измерению — к формам. Простоты ради мы сосредоточимся на четрёхугольниках, но эти техники могут быть применены ко многим другим фигурам.

Мы можем просто нарисовать квадрат.

Можем применить уже упомянутый принцип случайного наклона, понемногу изменив каждый угол.

Можно выбрать и сгладить точки между каждой соседней координатой, чтобы получить «кривой» квадрат.

Мы можем также сгладить их, усреднив и соседние точки. Поскольку отрезок теперь замыкающийся, нужно быть аккуратным, чтобы не зацепить точки в первой координате.

Ничего из этого не ново. Мы здесь, по сути, говорим только о замкнутых отрезках, поскольку мы просто сглаживаем углы. А что насчёт заполнения пространства? Мы можем использовать функцию fill(), но это немного скучно.

Чтобы сделать текстуру поинтереснее, можно заполнить четырёхугольник штриховыми элементами, сгенерировав множество точек внутри него*. Мы упростим фигуру снова, чтобы сделать границы более понятными (можно штриховать и сложные фигуры, но давайте пока по-простому).

* Примечание: можно это сделать, поделив квадрат на 2 треугольника и сгенерировав точку в каждом при помощи равномерного распределения.

Хотя выглядит это немного неаккуратно, поскольку равномерное распределение не настолько интуитивно понятно, как кажется. Для более естественного распределения точек, можем взять значения из одной из моих любимых последовательностей – Последовательности Хальтона (2.3)[можно почитать про нее в классной статье].

Последовательность Хальтона (2.3) генерируют точки в промежутке (0, 1) × (0, 1) в R2. Чтобы заполнить квадрат точками, сгенерированными в этой последовательности, мы можем:

В общем, (2.3) последовательность Хальтона генерируется просто; прочитайте про псевдокод в википедии (eng). Вот заполнение штрихом на 10000 точек.

Поскольку (2.3) последовательность Хальтона генерируется не рандомно, она создаёт одинаково выглядящие текстуры. Пара способов обойти это:

Ещё один привычный способ генерации таких текстур – использование избыточной выборки сглаживания. Это стохастический процесс, но он ещё и более требователен к ресурсам для вычисления и внедрения. Но он очень хорош. Я использовал этот способ в моей серии Провод, вот одна из работ.

Провод Т

Конечно же, это не единственный подход к текстурированию.

Чувствовать, какие цвета сочетаются друг с другом очень, очень сложно. Легко выбрать цвета, которые по твоему мнению хорошо сочетаются, но потом понять, что они совершенно не сочетаются и заставляют твою работу выглядеть в 10 раз хуже, чем в чёрно-белом варианте.

И я бы сказал, для генеративных художников это создает особую сложность. Стандартный способ варьировать цвета в генеративном искусстве – вручную настраивать жёстко закодированные переменные и генерировать раз за разом картинку, пока не понравится. Игра с цветом – и правда лучший способ научиться чувствовать, как их правильно использовать. Как мы можем его улучшить?

Вот мой подход, который я переделал из идеи Джошуа Дэвиса. Вся суть:

Мы будем использовать вот этот градиент для закрашивания точек в предыдущем примере (только точек в 20 раз больше).

Используемая нами функция плавности линейна по значению y. 0 обозначен на значении y верхней части квадрата, а 1 – в нижней. Стоит заметить, что результат функции плавности (между 0 и 1) слегка смещается вместе с нормально распределённым случайным значением. Это помогает сформировать менее однородную структуру.

Отлично. И это всего лишь абсурдно простая функция плавности (и градиент, который я сделал за 5 минут). Представьте себе возможности!

Используем шум с пользой

Вот одна из моих серий «Modular», в которой я использовал 2D шум как функцию плавности в цвете.

Смена цветов тут еле заметна, но в этом и суть. Они дают каждой форме «раскрыться» и придают глубину, не давя на смотрящего слишком большой и ненужной сложностью.

Если взглянуть внимательно, то можно заметить, что штрихованная структура – тоже часть шума.

Стоит отметить, что простой шум Перлина может начать казаться безжизненным со временем. Попробуйте поэкспериментировать с фрактальным броуновским движением или разработать свою собственную шумовую функцию, с которой можно будет поиграться. Эссе «Flow fields» Тайлера Хобба – хорошая вещь для углубления в тему (шум Перлина формирует бесконечные векторные поля, текучие поля – это полезное обобщение).

Ощутимость

Возвращаясь к нашему ведущему принципу, вспомним, что чтобы добавить в свои работы естественности, нужно симулировать реальную физику.

Это идея затронута подробно в Природе кода, которую я вам просто порекомендую, не цитируя Дэниэла Шиффмана. Дэниэл разделяет сложные физические проблемы на без проблем усваиваемые ломтики, упрощая реализацию каждой идеи. Делая свои творения, я часто запускаю на некоторое время физическую симуляцию и делаю снимок в определённый момент, который и становится финальной картиной.

Например, в картине «Слащавая сыворотка» на мяч влияет гравитация, который скачет по каждому квадратику в сетке. Направление гравитации определено дополнительным полем шума, и шарик оставляет след.

В основе «Пылевой чаши» лежит симуляция рвущейся резинки.

Как по мне, эти картины живые. И неудивительно, правда. Они тесно связаны с нашим ведущим принципом:

Моделируйте свои работы на основе реальности

Когда мы фокусируемся на симуляции естественных процессов в коде, мы получаем более естественную работу.

Подводя итоги, скажу, что следовать естественности в своих работах – это то, что мне нравится делать. Мне не в тягость заставлять свой компьютер потратить чуть больше времени на генерацию текстур и симуляцию физики, чтоб в итоге получить более живое творение. Надеюсь, эта статья станет вашей отправной точкой в экспериментах с естественностью в ваших работах.

P. S. Здесь не было никакого кода не просто так. Эти идеи достаточно общие и применимые во многих языках и средах разработки, я не хотел бы никого отталкивать, заставляя перейти на что-то другое.

Источник

Нейросеть для генерации картинок

Вот вам нейросетевая моделька, которая может по описанию на русском языке генерировать картинки разной степени всратости. Называется моделька ruDALL-E. Это аналог DALL·E от OpenAI, так же, как наша ruGPT-3 аналог GPT-3 от них же.

Умеет генерировать котиков в промышленных масштабах! Вот таких, например:

Или вот такие неизвестные картины Васи Ложкина:

Или милых анимешных девочек:

Потыкать самому можно туть:

Искусственный интеллект

414 постов 5K подписчиков

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать 🙂

— Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

— Делиться статьями, понятными большинству аудитории Пикабу.

— Делиться опытом создания моделей машинного обучения.

— Рассказывать, как работает та или иная фиговина в анализе данных.

— Век жить, век учиться.

I) Невостребованный контент

I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

I.2) Создавать контент на «олбанском языке» / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

II) Нетематический контент

II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, «Земля плоская» или «Любое действительное число представимо в виде дроби двух целых».

II.3) Создавать контент, входящий в противоречие с правилами Пикабу.

III) Непотребный контент

Это превзошло просто самые мои смелые ожидания!

«музыкальный фестиваль на залитом солнцем лугу. Много выпивки, обнаженных женщин и конечно же бобров.»

«Вино из одуванчиков»)

Красный конь. Неплохо получился))

Мда, пожалуй есть что-то общее.

P.s. Вот вам еще пример «Красивой девушки», ну с точки зрения ИИ. =)

По запросы «голые сиськи» (ну как без них-то?)

её можно скачать и использовать как хотите в собственных проектах, в том числе коммерческих

А можно её как-то в виде запускаемого файла оформить? А то я там вижу только исходники.

Картина Сальвадора Дали)

До готовности изображения осталось приблизительно: 41 мин.

Химия

Новая картина Васи Ложкина

Не спать!

Новая картина Васи Ложкина

Немного вечного

Одно меня гложет каждую ночь: жрать или не жрать, вот в чем вопрос?

Нейронные сети учатся распознавать Deepfake

Пару недель назад я выложил пост про нейронные сети, которые способны удалять с видео любые движущиеся объекты и всякие следы их существования. Тени от этих объектов, поднятую пыль, иногда даже почти хорошо удалялись волны на воде. И тогда, под тем постом, прямо таки развернулась дискуссия о том, как в принципе можно было бы бороться с подделкой видео. Не только с удалением объектов, но и с теми же дипфейками.

Этим вопросом и задались учёные из Германии и Италии. Ниже прикладываю презентацию их совместной научной работы.

А также, как и в прошлый раз, прикладываю своё собственное видео, с разбором того, а чём именно идёт речь в их презентации.

Итак, краткая выжимка того, о чём именно их работа. Конкретно эта группа учёных не ставила перед собой задачу разработать концептуально новую нейронную сеть, которая бы хорошо распознавала подделку на видео. Они провели комплексную сравнительную работу. Взяли набор видео, часть из которых была отредактированная нейронными сетями, а часть нет. И, с одной стороны, попросили группу людей угадать, какие именно видео являются подделками, а с другой стороны точно такую же задачу поставили перед распространёнными свёрточными нейронными сетями, основная задача которых как раз заключается в распознавании на видео и фотографиях тех или иных объектов. То есть, они брали не специализированные нейросети, а самые обычные. Те, которыми можно распознавать на видео котиков, к примеру.

По сути, самая очевидная идея в данном случае оказывается самой эффективной. Зачем придумывать сложные схемы борьбы с нейросетями, если можно просто заставить бороться с ними другие нейросети. Безусловно, данный метод не является самым надёжным. Но уже сегодня он является наиболее оправданным с позиции точности распознавания и ресурсов, которые требуются на создание такой системы. По факту, использовав созданный учёными в данной работе массив видео для обучения нейросетей, вы сможете у себя дома создать свою собственную систему распознавания дипфейков. Единственным ограничением правда будет время обучения такой сети. Если не использовать видеокарты NVidia старше 20хх серии и разработанную ими же библиотеку для машинного обучения, создание такой сети может затянуться на месяцы. Но тем не менее, такая возможность у вас всё ещё остаётся.

Источник

Генерация изображений из текста с помощью AttnGAN

Привет, Хабр! Представляю вашему вниманию перевод статьи «AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks» авторов Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, Xiaodong He.

В данной публикации я хочу рассказать о своих экспериментах с архитектурой AttnGAN для генерации изображений из текстового описания. Эта архитектура уже упоминалась на Хабре после выхода оригинальной статьи в начале 2018 года, и меня заинтересовал вопрос – насколько сложно будет обучить такую модель самостоятельно?

Описание архитектуры

Для тех, кто не знаком с AttnGAN и классическим GAN, – вкратце опишу суть. Классический GAN состоит из минимум 2 нейронных сетей – генератора и дискриминатора. Задачей генератора является порождение некоторых данных (изображений, текста, аудио, видео и т.д), “похожих” на реальные данные из датасета. Задачей дискриминатора является оценка сгенерированных данных, попытка сравнить их с реальными и забраковать. Забракованный результат работы генератора стимулирует его порождать все лучший результат, чтобы “обмануть” дискриминатор, который, в свою очередь, учится все лучше распознавать подделки.

Модификаций GAN существует великое множество, и авторы AttnGAN подошли к вопросу архитектуры весьма изобретательно. Модель состоит из 9 нейросетей, тонко настроенных на взаимодействие. Выглядит это примерно так:

Энкодеры текста и изображения (text/image encoder) выполняют преобразование исходного текстового описания и реальных изображений в некое внутреннее представление. Характерно, что в данном случае текст рассматривается в виде последовательности отдельных слов, представление которых обрабатывается совместно с представлением изображения, что позволяет сопоставить отдельные слова отдельным частям изображения. Таким образом реализуется механизм внимания, названный авторами статьи DAMSM.

Fca – создает сжатое представление об общей сцене на изображении, исходя из всего текстового описания. Значение C на выходе конкатенируется с вектором из нормального распределения Z, который задает вариативность сцены. Эта информация является основой для работы генератора.

Генератор – самая большая сеть, состоящая из трех уровней. Каждый уровень порождает изображения все большего разрешения, от 64*64 до 256*256 пикселей, и результат работы на каждом уровне корректируется с помощью сетей внимания Fattn, которые несут в себе информацию о правильном расположении отдельных объектов сцены. Кроме того, результаты на каждом уровне проверяются тремя отдельно работающими дискриминаторами, которые оценивают реалистичность изображения и соответствие его общему представлению о сцене.

Обучение

Для тестирования архитектуры я использовал стандартный датасет CUB с фотографиями и текстовым описанием птиц.

Обучение всей модели проходит в два этапа. Первый этап – предобучение сетей DAMSM, состоящей из энкодера текста и изображения. В ходе данного этапа, как описывалось выше, создается “карта внимания”, которая выглядит следующим образом:

Как видно из рисунка, DAMSM удается весьма качественно улавливать взаимосвязь между отдельными словами из текстового описания и элементами изображения, особенно легко модели удается распознавать цвета. Надо сказать, что никакой дополнительной информации о том, что такое “красный”, “желтый” или “крылья”, “клюв” — у системы нет. Есть лишь набор текстов и изображений.

Обучение DAMSM протекает без особых проблем, время обучения на данном датасете 150-200 эпох, что соответствует нескольким часам на GPU высокой мощности.

Второй и основной этап – это обучение генератора с использованием модели DAMSM.
Генератор на каждом уровне порождает изображение все более высокого разрешения – выглядит это так:

Обучение генератора протекает значительно дольше и не всегда так стабильно, рекомендуемое время обучения на данном датасете составляет 300-600 эпох, что соответствует примерно 4-8 суткам на GPU высокой мощности.

Основная проблема при обучении генератора, на мой взгляд, в отсутствии достаточно хороших метрик, которые бы позволяли оценивать качество обучения в более формальном виде. Я изучил несколько реализаций Inception score, который, по идее, позиционируется как универсальная метрика для подобных задач – но они не показались мне достаточно убедительными. Если вы решили обучить подобный генератор – вам будет необходимо постоянно контролировать ход обучения визуально, по промежуточным результатам. Впрочем, это правило справедливо для любых подобных задач, визуальный контроль всегда необходим.

Результаты

Теперь самое интересное. С помощью обученной модели попробуем сгенерировать изображения, начнем с простых предложений:

Попробуем более сложные описания:

Все текстовые описания являются придуманными, я намеренно не использовал для тестов фразы из датасета. Конечно, не все эти изображения были получены с первой попытки. Модель ошибается, об этом говорят и сами авторы. По мере увеличения текста описания и элементов, подлежащих отображению – становится все сложнее сохранить реалистичность всей сцены. Однако, если вы захотите использовать что-то подобное в продакшне, скажем, генерировать картинки неких объектов для дизайнера, – вы сможете обучить и настроить систему под свои требования, которые могут быть достаточно строгими.

На каждое текстовое описание можно сгенерировать множество вариантов изображений (в том числе и нереалистичных), поэтому всегда будет из чего выбрать.

Технические детали

В данной работе я использовал GPU малой мощности для прототипирования и облачный сервер Google Cloud с установленной Tesla K80 на этапе обучения.

Исходный код был взят из репозитория авторов статьи и прошел серьезный рефакторинг. Система тестировалась на Python 3.6 с Pytorch 0.4.1

Cпасибо за внимание!

Оригинальная статья: AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks, 2018 — Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, Xiaodong He.

Источник