Преобразование данных облака точек в 3D‑модели с помощью PointNet++ и Transformer

В данной работе представлен подход к восстановлению 3D-моделей из данных облака точек, основанный на использовании современных архитектур нейронных сетей. Основу метода составляют PointNet++ и Transformer. PointNet++ играет центральную роль, обеспечивая эффективное извлечение признаков и кодирование сложных геометрий 3D-сцен. Это достигается благодаря рекурсивному применению PointNet++ к вложенным разбиениям входного набора точек в метрическом пространстве. Выпуклая декомпозиция, являющаяся важным этапом в подходе, позволяет преобразовать сложные трехмерные объекты в набор более простых выпуклых форм. Это упрощает обработку данных и делает процесс восстановления более управляемым. Transformer затем обучает модель на этих признаках, что позволяет генерировать высококачественные реконструкции. Важно отметить, что Transformer используется исключительно для определения положения стен и границ объектов. Это сочетание технологий позволяет достичь высокой точности при восстановлении 3D-моделей. Основная идея метода заключается в сегментации облака точек на малые фрагменты, которые затем восстанавливаются как полигональные сетки. Для восстановления отсутствующих точек в данных облака точек применяется метод, основанный на алгоритме L1-Median и локальных признаках облака точек. Этот подход может адаптироваться к различным геометрическим структурам и исправлять ошибки топологического соединения. Предложенный метод был сравнен с несколькими современными подходами и показал свой потенциал в различных областях, включая архитектуру, инжиниринг, цифровизацию культурного наследия и системы дополненной и смешанной реальности. Это подчеркивает его широкую применимость и значительный потенциал для дальнейшего развития и применения в различных областях.