Нейросеть научили генерировать 3D-модели по фото. Ей достаточно одного снимка

Новая нейросеть Unique3D способна создавать детализированные трехмерные модели всего по одной фотографии объекта

Китайские ученые из Университета Синьхуа разработали нейросеть, которая при помощи нескольких уровней диффузии увеличивает итоговое разрешение модели и генерирует недостающие части объекта.

После этого она создает полигональную сетку на основе карты нормалей, а затем итоговый объект покрывается текстурой на основе данных исходного снимка.

Для генерации модели нужно загрузить одну фотографию объекта с фронтальной стороны — причем нейросеть может самостоятельно удалить со снимка фон. Процесс генерации 3D-модели занимает лишь около минуты — в результате нейросеть выдает файл формата .glb, который при необходимости можно отредактировать вручную.

Разработчики подчеркивают, что Unique3D работает гораздо лучше любых известных аналогов вроде InstantMesh, OpenLRM и CRM. Исходный код нейросети уже доступен на GitHub, веса модели — на Hugging Face, а бесплатно воспользоваться Unique3D может любой желающий на странице проекта.

Здесь мы рассказываем про основные методы обработки изображений нейросетями:

Unique3D