В недалеком будущем искусственный интеллект проникнет во все области нашей жизни. ИИ-технологии появляются не только в современных гаджетах и транспортных средствах, но и начинают внедрятся в медицину, где ИИ используют для диагностики и лечения заболеваний. И на ряду с успешными примерами применения искусственного разума, есть достаточно много своеобразных экспериментов, одним из которых стал искусственный интеллект Pix2Pix.
ИИ Pix2Pix
Голландская радиовещательная компания NPO, создала программу Pix2Pix, которая превращает обычные линейные рисунки в настоящие объемные рисунки. Идея очень интересная, но на практике все оказалось немного не так как ожидалось. В общем если у вас нету художественного таланта, то с большой вероятностью можно сказать, что любой ваш рисунок будет воплощением детского кошмара.
Этот проект похож на Edges2Cats. Этот ИИ изучил тысячи изображений кошек, используя приобретенный навык программа могла превратить любой рисунок пользователя в реалистичное изображение кошки. Но над обучением ИИ Pix2Pix с помощью фотографий работал только один человек - журналист Лары Ренс.
Если при помощи данной программы обработать детально прорисованный портрет, то в результате получится очень реалистичное изображение:
Но если нарисовать примитивный рисунок, результат будет достаточно своеобразный:
Пишет портреты несуществующих людей. Однако пользуется он для этого не кистью, а «воображением» нейронной сети.
Мне интересны лица людей, в них можно многое прочесть. Меня завораживает этот проект, потому что я люблю размышлять над тем, кем были бы эти люди, существуй они на самом деле.
Майк провел около девяти месяцев, разрабатывая проект «Портреты воображаемых людей» , последовавший за «Инцепционизмом» и «Кубиком Грувика» .
GAN, генеративные состязательные сети
В своем проекте Майк использовал (Generative adversarial networks, GAN):
Я начал экспериментировать с GAN в инсталляции , которую делал совместно с Рефиком Анадолем, где мы использовали данную технику для генерации воображаемых исторических документов из большого архива. После окончания проекта я взглянул на портреты по-новому, применив этот метод.
Положим, вы хотите, чтобы GAN изобразила кошку. Для начала вам потребуется большое количество фотографий кошек. После вы должны подготовить модель для создания изображения кошки, которая учитывала бы все особенности животного: усы, лапы, хвост. Лишь только в качестве базового набора данных для машинного обучения Майк использовал около 20 000 изображений в высоком качестве с портала Flickr.
Но это только первый шаг. Чтобы получить реалистичное изображение кошки, а не цифровой набросок, вам необходимо создать вторую нейронную сеть, известную как дискриминатор. В то время как первая нейронная сеть (генератор) будет создавать картинки кошек, вторая (дискриминатор) будет сверять работу первой с реальными изображениями кошек и выяснять, достоверны ли они. Основываясь на результатах, система настраивает параметры генератора, чтобы сделать выходное изображение более реалистичным.
Если вы используете только одну сеть, то размер выходного изображения будет колебаться в диапазоне от 128×128 до 256×256 пикселей. Чтобы увеличить размер изображений, нужно собрать несколько отдельно подготовленных GAN таким образом, чтобы последующий уровень был дискриминатором предыдущего. Данный этап сможет поднять качество изображения, и размер будет варьироваться между 768×768 и 1024×1024 пикселями.
В конечном итоге Майк хочет сгенерировать 4K-фотографии, однако в настоящее время ему сложно подобрать массив данных для обучения системы:
GAN трудно обучать и трудно контролировать. Нужно четко следить за входными данными, убедиться, что все изображения имеют высокое разрешение, не имеют артефактов и не являются нарисованными. Трудно сравнивать разные прогоны с разными параметрами, потому что нет хорошего, стабильного показателя того, насколько хорошо работает конкретная сеть. Да и выходное изображение строится очень долго. Но мой проект создан не ради точных результатов или показателей, а в первую очередь ради искусства, которое должно вдохновлять и заставлять задуматься.
Авторы проекта pix2pix представили систему, которая превращает созданные в графическом редакторе наброски лиц в портреты. В основе ее работы лежит использование нейросетей и технологий машинного обучения. О разработке рассказывает Motherboard, протестировать программу можно на отдельном сайте.
Одно из наиболее популярных направлений использования систем искусственного интеллекта - это работа с изображениями. Нейросети и алгоритмы машинного обучения используются для стилизации изображений под картины художников (переноса стиля), реалистичной , черно-белых фотографий, и многих других задач. В будущем подобные технологии могут быть использованы не только для развлечения, но и для помощи в работе дизайнерам, художникам, а также людям без специальных навыков рисования.
Программа, созданная участниками проекта pix2pix, использует модель условных порождающих состязательных сетей (conditional generative adversarial networks, cGAN) - одной из разновидностей GAN-нейросетей. Системы такого типа состоят из двух соревнующихся между собой компонентов: генеративного и различающего. «Генератор» старается обмануть «различитель», создавая такие образцы (в данном случае это будут портреты), которые его соперник не сможет отличить от настоящих, эталонных образцов. В итогеодна часть системы учится делать качественные подделки, а другая - их распознавать, что позволяет получить на выходе хороший результат и автоматически минимизировать функцию потерь .
То, что делает нейросеть, называется прямым переводом изображений (Image-to-image translation). Вместо того чтобы создавать изображения с нуля, система сопоставляет имеющиеся в ней данные с наброском пользователя. Фактически программа имеет некоторое абстрактное представление о том, как выглядят глаза, нос или рот и где они находятся, и это представление она переносит на скетч.
Скетч, превращенный нейросетью в портрет
Несмотря на то, что алгоритм должен создавать фотореалистичные изображения, его работа пока далека от идеала. Например, иногда нейросеть плохо распознает волосы или линию рта и сгенерированные портреты порой выглядят пугающе. Вероятно, для достижения лучших результатов необходимо больше обучающих данных.
Несколько месяцев назад другой автор, использующий ту же модель, что и pix2pix, продемонстрировал похожую систему - генератор котов, который также превращает скетчи животных в реалистичные изображения. Разработчик Алекс Шампандар, в свою очередь, также создал программу, которая наброски в картины в стиле определенных художников.
Алгоритм pix2pix научился распознавать в эскизах людей и превращать их в «реалистичное» изображение. Выходит, скорее, не очень реалистично - зато очень жутко. Это не первый алгоритм проекта: несколько месяцев назад в интернете уже рисовали уродливых котов c pix2pix. Не смогли устоять и на этот раз.
«Новый pix2pix для лиц (рисунки не мои, я импортировал их, используя стороннюю программу)».
Правда, если скетч исполнен не гениально, то алгоритм выдаёт изображения, которые сложно назвать реалистичными - скорее, кошмарными. И в этом убедились пользователи твиттера, которые не устояли перед новой забавой. Получилось как-то не очень.
I decided to use that pix2pix thing and draw some cartoon characters in them and the results are more terrifying than I thought I’d get pic.twitter.com/i3PatUtuEu
«Я решила использовать этот pix2pix и нарисовала несколько мультяшных персонажей в нём. Результаты более ужасающие, чем я ожидала увидеть».
«Глубоко расстраивает».
«Я собирался сделать «жуткого рыбного монстра», но нейросеть pix2pix сделала мне кое-что получше, добавив ему причёску, как у участника бойз-бенда».
«Слегка жутко…»
«Это кошмарно!»
Впрочем, даже печальные результаты не могут отбить у пользователей твиттера тяги к творчеству.
«Больше веселья!»
«Нравится этот инструмент!»
«Парень № 3 выглядит хорошо».
«Впечатляющий генератор лиц из эскизов».
Проект pix2pix стал известным несколько месяцев назад благодаря своему алгоритму, который на основе нейросетей переводил нарисованных от руки котиков в «реалистичных». Ну, реалистично выглядел только котик, которого нарисовали сами создатели. А вот то, что творили в приложении обычные пользователи, гораздо больше походило на меховых монстров, чем на котов в привычном понимании этого слова.
«Зацените-ка моего кота. Любой может быть художником».
Размах нейросетей впечатляет, и поэтому их используют и для более серьёзных вещей, чем рисование страшилок. Например, недавно порносайты запустили сервис, который . Правда, судя по результату, этому алгоритму ещё учиться и учиться. Иначе зачем ему сравнивать Елену Мизулину с Бруклин Чейз?
