Нейросеть научилась бесконечно улучшать картинки низкого качества

Ученые разработали уникальный алгоритм, позволяющий из пикселизированной фотографии сделать фото наивысшего качества.

Москва, 18 июля. Все мы помним, как в том или ином фильме про детективов эксперты без труда получают детальное изображение лица человека или номерного знака из фотографий низкого качества. Доподлинно не известно, существовали ли такие технологии у спецслужб ранее, но благодаря появлению нейросетей это стало вполне реальным. Ученые из Калифорнийского университета в Сан-Диего совместно с NVIDIA наглядно показали, как работает такой алгоритм. Подробнее — в материале 4pda.

Нейросеть уже научилась кодировать растровые изображения сверхнизкого разрешения в качественную картинку. Ранее подобные алгоритмы повышали разрешение. Сейчас же новый алгоритм может работать не только с фиксированным разрешением, но и с разными масштабами, без четких ограничений по разрешению.

Главным достижением разработчиков является то, что для улучшения качества изображения нейросеть научилась анализировать и описывать не все изображение целиком, а разделив ее на фрагменты. Так картинка в итоге получается в разы качественнее.

Таким образом, при получении координат определенной точки на картинке соответствующая локальная функция использует кодированное представление признаков на данном отрезке, а затем воссоздает предполагаемые пиксели. Вследствие этого появляется возможность рендерить изображение произвольного разрешения.

Обучать нейросеть решили при помощи датасета DIV2K, который состоит из тысячи фотографий в разрешении 2K и их уменьшенных в два, три или четыре раза версий. Задача алгоритма была в том, чтобы сначала уменьшить разрешение изображения, а затем вернуть его в исходное, полностью восстановив оригинал без потери качества.

Ранее сообщалось, как нейросеть составила прогноз игр сборной России на Евро-2020.