Как нейронные сети Google видят изображения


Инженеры Google Александр Мордвинцев, Крисофер Ола и Майк Тика поделились в блоге Google Research удивительными изображениями.

Картинки, состоящие из множества разноцветных мелких деталей и напоминающие где-то полотна Ван Гога, где-то – описания мистических видений, были получены с помощью метода, который ученые окрестили «инцепционизмом». Это визуализация работы 22-слойной нейросети, которая лежит в основе системы распознавания изображений Inception.

Рисунки нейронных сетей

Нейросети, с помощью которых распознаются изображения, состоят из 10-30 связанных слоев. В процессе их работы изображение «угадывается» постепенно: сначала распознаются общие формы, границы и углы, затем система определяет предмет на основании собранных особенностей и затем делает вывод об объекте, который может состоять их таких деталей. Например, нейросеть «видит» округлые объекты зеленого цвета, они напоминает ей листья, скопление листьев говорит о том, что на фотографии изображено дерево.

Рисунки нейронных сетей

Эксперимент же заключался в том, чтобы перевернуть работу нейросети «с ног на голову» и заставить ее находить изображения в абстракциях и белом шуме.

Рисунки нейронных сетей

Нейронные сети обучаются на большом количестве примеров. Например, чтобы знать, что представляет собой то же самое дерево, системе нужно скормить несколько тысяч разных изображений деревьев. Только увидев дерево в тысячах разных варианотов, она сможет понять, что это такое и научится выделять особенности, присущие именно деревьям.

Рисунки нейронных сетей

В эксперименте инженеры показали нейросети изображения, близкие к белому шуму, и предложили найти в них различные объекты. Иногда нейросеть просили найти что-то определенное, иногда давали свободу творчества. Здесь, например, систему попросили нарисовать банан, и в некоторых скоплениях точек нейросеть увидела сходства с бананом.

Рисунки нейронных сетей

В любой картинке система будет усиливать хорошо знакомые ей черты. Нейросеть, которую тренировали на распознавание животных, будет всюду видеть черты глаза и мордочки, а натренированная, к примеру, на восточную архитектуру, преобразует абстракции в пагоды и храмы.

Рисунки нейронных сетей

То, какое у системы получится изображение, зависит от выбранного для распознавания слоя. Базовые слои найдут только общие формы и простые геометрические фигуры (как на фотографии с антилопами выше), зато более высокие увидят на любой фотографии сложные объекы. Вот что, например, нейросеть увидела на фотографии облаков.

Рисунки нейронных сетей

Примеры преобразования изображений системой: линия горизонта превращается в башни и пагоды, деревья – в здания, листья – в птиц и насекомых.

Рисунки нейронных сетей

В горном пейзаже система увидела архитектурный ансамбль.

Рисунки нейронных сетей

Различные орнаменты, увиденные системой.

Рисунки нейронных сетей

Система ищет знакомые черты в картине Жоржа Сёра.

Рисунки нейронных сетей

С помощью нескольких итераций инженерам удалось получить сложные абстрактные картины с множеством деталей. В этом случае нейронной сети несколько раз отдавали картинку, нарисованную ей самой. В основе мог быть тот же белый шум.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Рисунок, полученный с помощью нескольких итераций.

Рисунки нейронных сетей

Нейрофизиологи отмечают, что система распознавания образов мозгом устроена схожим образом.


Понравилось? Поделитесь с друзьями!

145
145 points
facebook
Нажмите «Нравится», чтобы
читать "Мертві бджоли" в Facebook!
facebook
Нажмите «Нравится»,
чтобы читать Deadbees.net в Facebook!
facebook
Нажмите «Нравится», чтобы
читать "Мертві бджоли" в Facebook!