​Модель визуальной депроекции

Группа ученых из Массачусетского технологического института разработала новую модель для восстановления потерянных деталей на изображениях и создания четких копий размытых в движении частей на видео. Представленный проект называется «модель визуальной депроекции» и базируется на сверточной нейронной сети. Эта сеть была натренирована на парах изображений низкого и высокого качества, чтобы позже определять, как из четких кадров получаются размытые.

Когда алгоритм получает ранее неизвестное фото низкого качества с размытыми деталями, он анализирует его и выясняет причину этого размытия. Затем он синтезирует новые изображения и объединяет их с уже существующими, чтобы создать видео с четко показанными источниками размытия.

При тестировании, основываясь на 35 видеозаписях с 30 людьми, алгоритм смог четко сгенерировать 24 кадра, на которых видно походку конкретного человека, его размер тела и положение ног.

Авторы алгоритма считают, что их разработка станет полезной в медицине и ее будут использовать для преобразования 2D-изображений, таких как рентгеновские снимки, в 3D-изображения с дополнительной информацией, такие как компьютерная томография.

«Если мы сможем конвертировать рентгеновские снимки в компьютерную томографию, это несколько изменит игру. Вы сможете взять рентгеновский снимок, пропустить его через наш алгоритм и увидеть всю потерянную информацию», – говорит Гуха Балакришна, ведущий автор исследований.

#hey_news
Источник: Engadget