Нейросети создают сложные изображения по краткому текстовому запросу — и меняют, даже уже во многом изменили мир искусства. Все вновь заговорили о замене людей машинами — причём в сфере, которая считалась подвластной только живому уму. Но, несмотря на успехи, нейросети-генераторы часто выдают странные результаты. Особенно в тех случаях, когда нужно изобразить руки или ноги человека. Почему так происходит? Отвечает научный сотрудник Политехнического музея Алексей Бутырин.

Типичное изображение рук, созданное нейросетью

Как художник художнику…

Первый и, возможно, банальный ответ — потому что рисовать руки сложно! Если не верите, спросите любого художника, сколько времени у него ушло, чтобы научиться анатомически правильно изображать кисти рук. Причём у человека — если это не человек с инвалидностью — всегда при себе образцы, которые можно срисовывать сколько угодно. Нейросеть же довольствуется разнородным, пусть и очень большим, набором обучающих данных, где основное внимание редко уделяется именно кистям рук. Чаще на картинках встречаются лица либо фигуры. Рук может вообще не быть в кадре. Или они могут быть повёрнуты так, что пальцы видны не целиком.

Наглядный образец

Вторая причина в том, что «опыт» искусственной нейросети совершенно не похож на опыт человека-художника. У нейросети нет сознания, нет представлений о нашем мире, нет того, что мы называем здравым смыслом. Рука с восемью пальцами для неё ничем не хуже руки с пятью — никто целенаправленно не учил её, что пальцев должно быть именно пять. Ей просто подали на вход множество пар «изображение-текст», после чего заставили, действуя методом проб и ошибок, научиться создавать их достаточно правдоподобные имитации. Фактически нейросети сказали: «Рисуй по образцу!» — а потом критиковали то, что у неё получалось. Но никто не объяснял ей, что именно представляет собой этот образец, зачем он нужен и почему должен выглядеть так, а не иначе.

Нечеловеческая логика

Нейросети в ходе обучения сами отыскивают закономерности во входных данных. И логика этих закономерностей не обязана иметь хоть что-то общее с человеческой. Обученная нейросеть подобна «чёрному ящику», из которого невозможно извлечь информацию, почему он выдал тот или иной результат. В лучшем случае она подсветит те части изображения, на которые обращает больше внимания, когда отличает кисть руки, например, от паука. И выбор этих частей может оказаться для нас очень неожиданным.

Шедевриум_рука с 5 пальцами.jpg
Точность постановки задачи тоже не помогает

Значение эволюции

Люди с детства знают, что кисть руки несимметрична, что большой палец противопоставлен остальным, что другие пальцы имеют определённые размеры и по три фаланги. И ещё много-много всего, что мы, может быть, сходу и не назовём, но мгновенно заметим, лишь взглянув на картинку. Тысячи лет эволюции научили нас быстро распознавать объекты в поле зрения — и видеть малейшие отклонения от нормы.

Эффект зловещей долины

С особенностью восприятия образов человеком связан так называемый «эффект зловещей долины»: нас гораздо больше пугает не то, что совсем не похоже на человека, а то, что выглядит почти как человек, но со странностями. Неслучайно постоянные герои фильмов ужасов — зомби, ожившие куклы и восковые фигуры.

Картина Билла Стоунхема «Руки противятся ему», 1972. Кукла-девочка выглядит довольно пугающе, а на задний план лучше вообще не смотреть

Лес рук

У нейросети нет за плечами нашего эволюционного багажа. Создавая картинки, она следит лишь за тем, чтобы они были похожи на образец — с её точки зрения, не с нашей. Для неё нет принципиального различия между кистью руки и деревом. И там, и там есть основной объект с определённой текстурой, от которого отходят несколько отростков поменьше. Если присмотреться, то и деревья нейросети рисуют неточно. Но мало кто из нас посвятил разгадыванию деревьев столько же времени, сколько наблюдению за руками. Поэтому ошибки не так заметны.

Лес рук.jpeg
Изображение, созданное нейросетью по запросу «лес рук»

На скорую руку

С другой стороны, если говорить о самой сути ошибок, допускаемых нейросетями, ничто человеческое им не чуждо. Попросите живого художника нарисовать что-нибудь, с чем он не сталкивается повседневно, — например, часть станка. Если художник не увлечён техникой, скорее всего, вы получите изображение красивых, геометрически правильных шестерёнок с прекрасной проработкой текстуры и светотени — но собранных в бессмысленную комбинацию, которая даже не сможет двигаться. Для нейросети кисть руки — столь же непонятный объект, что и шестерёнки для художника.

Шестерни.jpeg
Обложка журнала с изображением трёх взаимно заблокированных шестерней. Хотя, возможно, в этом и состояла идея рисунка

Как с этим бороться?

Так как же добиваться от нейросетей приемлемого результата? Есть несколько хитростей. Было замечено, что искусственному интеллекту лучше удаются не руки вообще, а руки, чем-то занятые, — например, держащие чашку. Чем меньше набор возможных поз и ракурсов, тем лучше. А ещё можно попросить нейросеть нарисовать руку с маникюром либо руку в перчатке. Дело в том, что на фотографиях такого рода обычно стараются «показать товар лицом», и отдельные пальцы видны хорошо.

Если же говорить о дальнейшем совершенствовании нейросетей, совет будет тем же, что и для живых художников: важна «насмотренность». В обучающие выборки стоит включать больше изображений, на которых чётко видны кисти рук и ступни.

Рукопожатия.jpeg
Дружеское рукопожатие нейросети и человека-халтурщика: механизмы разные, результат один

Ждём ваших вопросов!

У вас есть вопрос, связанный с устройством мира или человека? Задайте его в комментариях или пришлите на почту question@polytech.one

Почему у нейросетей проблемы с рисованием рук?