Analysis and systematization of technical means and technologies of augmented reality in cartography

Full Text

Введение

Сегодня все чаще звучит понятие «иммерсивность», которое означает погружение в определенные, искусственно сформированные условия [1]. Иммерсивность включает в себя дополненную реальность (augmented reality AR), виртуальную реальность (virtual reality VR), смешанную реальность (mixed reality MR) и искусственный интеллект (artificial intelligence AI).

Дополненная реальность – одна из перспективных на сегодняшний день технологий в картографии, с помощью которой можно, например, расширить содержание аналоговой карты, используя смартфоны, планшеты и другие электронные устройства. Это существенно повышает ценность картографической продукции, которая приобретает новый функционал и начинает взаимодействовать с пользователем [2, 3]. На картографическую продукцию можно «добавить» видеоролики, фотогалереи, движущиеся фигуры, 3D-объекты и т. д. Демонстрация виртуальных объектов происходит на дисплее мобильного телефона или планшета, который распознает изображение при помощи встроенной камеры и, по сути, является интерфейсом взаимодействия пользователя и карты. Также дополненная реальность используется в навигационном картографировании.

В цифровой картографии от выбора программного обеспечения во многом зависят перечень и содержание технологических этапов, а также организация производства в целом. Необходимо учитывать такие характеристики программного обеспечения, как качество визуализации пространственных объектов, функциональность, производительность, легкость в освоении, цена, техническая поддержка и др. Данный аспект недостаточно изучен применительно к технологии дополненной реальности в картографии.

Таким образом, целью исследования является анализ и систематизация современного программного обеспечения и технических средств, применимых для составления карт и атласов с элементами дополненной реальности.

Выделяют три направления применения AR в картографии с подразделением по способу определения объекта (точки) привязки [2]:

1. безмаркерная AR-технология;
2. пространственная AR-технология;
3. маркерная AR-технология.

В безмаркерной AR-технологии важно качество подготовленной базы данных (БД) для идентификации объектов реального мира. Здесь на первый план выходят качество основной камеры мобильного устройства, обеспечивающей высокое разрешение, а также наличие камеры глубины. Безмаркерные технологии в настоящее время развиваются очень активно и существенно различаются в зависимости от производителя и ПО.

Пространственная AR-технология опирается на GNSS-данные и предустановленные навигационные приложения. Кроме БД большую роль в ней играют алгоритмы обработки спутниковых навигационных данных.

Маркерная технология на данный момент наиболее хорошо проработана, в том числе для целей картографии и геоинформатики, как с точки зрения алгоритмов распознавания маркеров, так и с точки зрения развитых инструментов разработки приложений дополненной реальности (в том числе и бесплатных). Эта технология не является ресурсоемкой, поскольку алгоритмы распознавания маркеров хорошо оптимизированы и требуют небольших затрат ресурсов процессора устройства. Таким образом, на первый план выходит качество камеры устройства.

В зависимости от направления применения AR в картографии, меняется подход к выбору программного и аппаратного обеспечения.

Развитие современной картографии основывается на широком использовании геоинформационных технологий. Каким образом связаны сегодня ГИС-технологии и AR-технологии? Каковы перспективы развития этого тандема? Эти и другие вопросы использования технологий дополненной реальности в картографии необходимо проанализировать и сделать обоснованные выводы.

Анализ программного обеспечения и технических средств дополненной реальности

Моделирование окружающего мира при помощи карты является привычным, но в то же время сравнительно сложным для восприятия способом отображения пространства, который имеет свои ограничения. Реализация связи картографического представления объектов, процессов и явлений с их реалистичными моделями увеличит наглядность карты, упростит ориентирование на местности, расширит арсенал изобразительных средств картографии, особенно это актуально для детской аудитории.

Технологический подход к реализации функций дополненной реальности подразумевает применение специализированного AR-приложения – программного продукта, реализующего технологии дополненной реальности для различных целей (обучение, навигация, развлечения, туризм и др.).

Реализация конкретного AR-проекта состоит из аппаратной, программной части и сценарного плана. Рассмотрим каждый их этих компонентов с точки зрения применения в картографии.

Работа с дополненной реальностью на картах предполагает использование смартфона, планшета или «умных» очков с видеокамерой и соответствующим программным обеспечением.

Порядок воспроизведения контента с элементами дополненной реальности различается в зависимости от способа определения объекта (точки) привязки. Представим последовательность работы с дополненной реальностью в виде сценарных планов для трех направлений применения AR в картографии.

Сценарий для маркерной технологии

Если камера устройства направлена на картографическое изображение, то программное обеспечение опознает его по предварительно определенному маркеру (характерному объекту карты) или после анализа его формы. В процессе идентификации программа соединяется с корпоративным ГИС-сервером или облаком, где находится цифровой двойник объекта. Далее AR-устройство загружает требуемую информацию и накладывает ее на изображение объекта на карте. Результатом является изображение на экране дисплея смартфона или линз очков физической и цифровой реальности.

Трехмерная модель картографического объекта интегрируется в среду разработки посредством выбора из числа предложенных шаблонов на сайте разработчика, либо ее можно создать в сторонних программах и затем импортировать в проект. Предложенные в качестве шаблонов трехмерные объекты, как правило, можно редактировать – задавать текстуру, цвет, прозрачность, закрепить их за определенной меткой.

Если трехмерный картографический объект создается в сторонних программах (Blender, AutoCAD и др.), то расширение соответствующего файла должно входить в перечень поддерживаемых форматов, либо необходимо предварительно конвертировать его [4].

Таким образом, порядок реализации дополненной реальности для расширения функций аналоговой карты следующий:

1. Камера устройства (смартфона, планшета или смарт-очков) фиксируется на картографическом изображении.
2. AR-приложение, установленное на устройстве, опознает полученное изображение и подбирает подходящее визуальное дополнение.
3. AR-приложение совмещает реальное (карту) и виртуальное изображение и воссоздает сцену дополненной реальности на устройстве [5].

Сценарий для пространственной технологии

В навигации процесс реализации технологии дополненной реальности выглядит следующим образом.

1. В навигационном приложении определяется местоположение пользователя, по запросу пользователя прокладывается маршрут, запускается процесс отслеживания перемещения по маршруту.
2. Включается функция дополненной реальности (алгоритм действий в разных навигационных приложениях может отличаться), при этом происходит процесс совмещения виртуальных объектов с реальными на основе данных датчиков устройства.

Сценарий для безмаркерной технологии [6, 7]

1. Камера устройства наводится на окружающее пространство, на объекты реального мира накладывается виртуальная сетка.
2. Происходит распознавание контуров и характерных элементов объектов местности. С помощью специальных программных алгоритмов выбираются опорные точки, относительно которых определяют точное расположение объектов дополненной реальности.
3. В зависимости от направления камеры устройства воспроизводится соответствующий контент дополненной реальности.

При реализации перечисленных сценарных планов используется целый комплекс аппаратно-программных средств. Рассмотрим более детально основные составные части такого комплекса, с учетом специфики картографии (рис. 1).

 

Рис. 1. Структура аппаратно-программного комплекса системы дополненной реальности в картографии и геоинформатике

Fig. 1. Structure of the hardware and software components of an augmented reality system in cartography and geoinformatics

 

Аппаратный комплекс включает в себя:

• устройства слежения (мобильная камера) [8];
• тактильные устройства (носимые датчики);
• устройства отображения [9];
• систему рендеринга;
• датчики пространственной ориентации.

Система рендеринга относится как к аппаратной части (видеопроцессор) [10, 11], так и к программной (3D-приложение с определенными алгоритмами преобразования трехмерной сцены в двумерное изображение на устройстве отображения).

Программный комплекс включает в себя платформы для разработки картографической AR [12] и функционал операционной системы, которые повышают качество отображения элементов дополненной реальности.

Проведенный анализ показал, что в настоящее время AR-приложения не связаны напрямую с геоинформационными системами, которые на данном этапе являются основным инструментом в картографии, это во многом является неким препятствием для распространения AR-элементов в картографии. Возможно, что в ближайшем будущем дополненная реальность откроет новые перспективы и воссоздаст виртуальные элементы намного реалистичнее, и займет свое место в функционале ГИС.

Наиболее перспективной видится организация двунаправленного обмена пространственными данными между БД ГИС и ПО AR.

Как видно из рис. 1, важное место в аппаратном комплексе занимают датчики. В источнике [13] дан прогноз относительно развития технологий иммерсивной реальности. По мнению экспертов, в ближайшем будущем применение датчиков расширит рынок периферийных устройств в 10–20 раз (рис. 2). Поскольку дополненная реальность основана на постоянном взаимодействии объектов виртуального и реального мира, роль датчиков невозможно переоценить.

 

Рис. 2. Датчики для реализации функций иммерсивной реальности

Fig. 2. Sensors for implementing immersive reality functions

 

Систематизируем виды датчиков, которые обеспечивают решение геоинформационных и картографических задач, используя технологии AR.

1. Датчики на теле – это инструменты для отслеживания и идентификации пользователей и объектов вокруг них, чтобы точно отражать движения их конечностей и физические объекты вокруг них в виртуальном мире (например, портативные устройства или устройства, размещенные в носимых устройствах).

С помощью датчиков на теле управление картографическим AR-приложением будет практичным для пользователя, предоставляя возможность управлять элементами дополненной реальности на карте, учитывая человеческую мимику и ловя движения.

Непосредственное манипулирование – это модель ввода, которая предполагает прикосновение к трехмерным моделям непосредственно руками. Суть этого принципа заключается в том, что объекты ведут себя так же, как в реальном мире. Непосредственное манипулирование основано на возможностях интерфейса, и оно удобно для пользователей [14]. В картографии эти возможности контента AR могут быть использованы для перемещения трехмерного объекта в виртуальном пространстве, для переключения атрибутивной и мультимедийной информации (текста, фото, видео, ссылки на геопорталы).

2. Датчики вне тела позволяют точнее воссоздавать элементы физического мира в виртуальных пространствах с потребительскими приложениями, такими как Nintendo Wii, или корпоративными приложениями, такими как оборудование для пространственного картографирования.

Такие датчики монтируются таким образом, чтобы обеспечить беспрепятственный обзор для AR-устройства. Внешние камеры или датчики могут быть теоретически сколь угодно большими и не иметь жестких ограничений в вычислительных ресурсах. Получение преимущества в функциональности означает одновременно потерю мобильности. Такие датчики служат для улучшения качества интеграции виртуальных объектов в объем реально существующего помещения за счет их равномерного распределения по его периметру.

3. Тактильные устройства (например, тактильные перчатки или жилеты) передают пользователю ощущение осязания с помощью вибраций для усиления виртуального опыта. Например, виртуальный объект можно «захватывать», «перемещать» с помощью тактильных перчаток. Очевидно, что такие тактильные устройства помогут пользователю управлять объектами, визуализированными в AR-приложении.

Тактильные ощущения дополняют сенсорные экраны, позволяя имитировать взаимодействие с виртуальными объектами. На данный момент стоимость тактильных устройств высока, а их эффективность недостаточно исследована [15].

К тактильным датчикам можно отнести те, которые используют метод электромиографии – метод исследования биоэлектрической активности мышц человека. В картографической индустрии электромиография (ЭМГ) может применяться по принципу тактильных устройств для людей с ограниченными возможностями передвижения (церебральным параличом), так как потенциальным пользователям стоит только подумать о движении и послать электрический сигнал конечностям [16].

4. Микроэлектромеханические системы (МЭМС) используются для сбора данных об окружающей среде и основаны на комбинации миниатюрных механических и электронных элементов. Существуют как минимум три вида МЭМС:

• инерциальные датчики и датчики, относящиеся ко всем видам движения;
• датчики, контролирующие состояние окружающей среды;
• датчики, содержащие оптические элементы.

5. Датчики внутри мобильных устройств. Стандартом для современного мобильного устройства является наличие инерциальных датчиков, таких как гироскоп и акселерометр. Также используются механизмы идентификации (сканирование лица, считыватель отпечатков пальцев) на основе датчиков и оптических систем, выполненных по технологии МЭМС [17]. В картографии эти датчики служат для определения местоположения пользователя и дальнейшего воспроизведения контента, с координатной привязкой.

Рассмотренные выше типы датчиков позволяют реалистично представить виртуальные объекты, корректировать изображение в реальном режиме времени, чтобы перемещения наблюдателя, изменение положения устройства, изменение освещенности и другие действия не нарушали эффект погружения.

Формирование дополненной реальности происходит на устройствах, которые можно подразделить на следующие виды:

• мобильные, к которым относятся смартфоны, планшеты, очки, объективы (в будущем будут добавлены линзы дополненной реальности);
• стационарные (экран монитора, телевизор);
• специальные инструменты (например, специализированные шлемы картографов) [2].

Технические характеристики перечисленных видов устройств играют огромную роль в передаче информации конечному пользователю в хорошем качестве. Картографические сервисы и приложения используют весомый объем ресурсов устройства из-за одновременного воспроизведения видео реального окружения и совмещения виртуальных меток и трехмерных объектов [18].

В связи с этим необходимо выявить минимальные характеристики, которыми должны обладать устройства, поддерживающие AR-технологии.

Ряд фирм, например, Навител, пошли по пути разработки аппаратного обеспечения, которое адаптировано под требования выпускаемого программного продукта. Предустановленные навигационные приложения с функциями дополненной реальности на планшете NAVITEL RE 5 DUAL (NAVITEL RE900) и смартфоне Яндекс.Телефон [19] выпускаются компаниями Навител и Яндекс соответственно. Компании Google [20] и AutoNavi [21] не выпускают навигационное оборудование под собственным брендом, они являются поставщиками услуг веб-картографии и навигации для стороннего оборудования.

Были исследованы и проанализированы навигационные функции, которые представлены в специализированном ПО, поддерживающем дополненную реальность.

Навител Навигатор: поддерживает GPS и содержит предустановленные карты 47 стран Европы и Казахстана.

Яндекс-Карты: поддерживает GPS, A-GPS, ГЛОНАСС, подробнее всего отражены Россия, Армения, Беларусь, Грузия, Казахстан, Латвия, Турция, Украина и Эстония.

Google Карты: поддерживает GPS, ГЛОНАСС, содержит карты большей части Азии, Африки, Латинской Америки и Европы, а также Соединенных Штатов и Канады.

AutoNavi: поддерживает GCJ-02, БД-09 Байду, ориентирован на Китай.

Следующие функции есть во всех приложениях:

• возможность загрузки дополнительных карт;
• бесплатное обновление карт;
• три альтернативных маршрута;
• голосовые подсказки;
• сервис Пробки.

Минимальные системные требования программного обеспечения, представленного на рынке РФ и реализующего функции дополненной реальности, к техническим характеристикам устройств даны в таблице.

 

Таблица. Минимальные системные требования к техническим характеристикам устройства, реализующего функции дополненной реальности в специализированном ПО

Table. Minimum system requirements for the technical characteristics of a device implementing augmented reality functions in specialized software

Характеристики устройств Technical specifications		Навител Навигатор Navitel Navigator	Яндекс.Карты Yandex.Maps	Google Карты Google Maps	AutoNavi
Экран Screen	Тип экрана/screen type	IPS
	Диагональ экрана Screen size	5 дюймов/5″
	Интерактивность экрана Screen interactivity	Сенсорный/Sensory
	Разрешение экрана Screen resolution	1024×600
Производительность Performance	Операционная система Operating system	Android 6.0 (функция доступна только для NAVITEL RE 900)	Android 8.1 (Яндекс. Смартфон)	Android 6.0 и выше, iOS 13.4 и выше	Android 6.0 и более поздние, iOS 10.0 и выше
	Процессор Central processing unit	MTK8382 Cortex-A7 Quad Core	Qualcomm Snapdragon SDM630	4-х ядерный ARM 64-битный процессор	4-х ядерный ARM 64‑битный процессор
	Частота процессора, ГГц CPU frequency procesor, GHz	1,3	2,2	1,2	1,2
	Внутренняя память, ГБ Storage memory, GB	16	64	16	16
	Оперативная память, ГБ Random access memory (RAM), GB	1 ГБ/GB	4	2	2
Питание Power	Тип аккумулятора Type of battery	встроенный литий-ионный Built-in lithium-ion	Li-pol	встроенный литий-ионный Built-in lithium-ion	встроенный литий-ионный Built-in lithium-ion
	Емкость аккумулятора, мА·ч Battery capacity, mA·h	800	3050	3000	3000
	Подключение внешнего источника питания (12 В) Working current (12V)	Есть/Yes
Разъемы и подключения Connectors and connection	Интерфейсы Interfaces	Mini-USB, 2 microSD	Bluetooth 4.1, 3G/4G, NFC	USB 2.0, Bluetooth, Wi-Fi, 2G/3G	USB 2.0, Bluetooth, Wi-Fi, 2G/3G
	SIM-карты SIM cards	Нет/No	2	1	1
	Поддержка microSD-карт microSD card capacity	до 64 ГБ/ to 64 GB	до 128 ГБ/to 128 GB

 

Оценивая минимальные технические требования к современным навигационным приложениям с функцией дополненной реальности, можно отметить, что они удовлетворяются большинством современных смартфонов.

Рассматривая технические характеристики устройств с функцией дополненной реальности, применительно к задачам картографии, можно сформулировать итоговый перечень минимальных характеристик данных устройств:

• тип экрана – IPS;
• объем оперативной памяти не менее 1 Гб;
• операционная система Android 6.0. и выше;
• производительность процессора не менее 1,2 ГГц;
• разрешение экрана 1024×600 dpi;
• внутренняя память 16 ГБ;
• емкость аккумулятора 800 мА·ч и выше;
• поддержка microSD-карт до 128 ГБ;
• наличие Wi-Fi, 2G/3G (либо 3G/4G).

Основываясь на типовых системных требованиях разработчиков, можно сделать следующий вывод: разработчики отдают предпочтение собственному оборудованию, поддерживая при этом установленные приложения на сторонних устройствах (навигаторы, смартфоны, мультимедийные системы в автомобилях и др.). Отсюда следует, что помимо обновления навигационного приложения с функциями дополненной реальности, они также выпускают новые устройства под собственным брендом либо совершенствуют имеющиеся (внутреннее ПО, комплектующие). Как правило, сначала доступны обновления навигационного приложения для устройств под собственным брендом, а затем для остальных (не является обязательным условием).

Заключение

Анализ картографо-навигационных приложений, использующих элементы дополненной реальности, определил требуемые технические характеристики устройств для реализации данного функционала. Они различаются способом приема спутникового сигнала, версией операционной системы, местом загрузки карт и установки ПО. Если разработчики iOS, как правило, поддерживают последние версии своего ПО и обновление предустановленных приложений доступно исключительно для обновленных ПО, то для Android-устройств большое значение имеет решение разработчиков о поддержке тех или иных версий продукта.

Картографическое покрытие разнится и ориентировано на конечного пользователя цифрового продукта. Указанные картографические приложения в разной степени коммерциализированы. Именно этот факт способствует их развитию и появлению новых функций в приложениях.

Конкурентоспособность цифрового картографического продукта зависит от качества продукции. Качество зависит от программного обеспечения, выбранного для создания картографического продукта. Отечественный рынок до недавнего времени отдавал предпочтение зарубежным программным решениям, многие из которых сегодня недоступны для российского рынка. В этой связи возникает потребность в отечественных разработках, спрос на которые вырос в последнее время.

About the authors

Yaroslava G Poshivaylo

Siberian State University of Geosystems and Technologies

Email: yaroslava@ssga.ru
ORCID iD: 0000-0002-1945-442X

Cand. Sc., Head of the Cartography and Geoinformatics Department

Russian Federation, 10, Plakhotny street, Novosibirsk, 630108

Karshiya S. Batyrova

Siberian State University of Geosystems and Technologies

Author for correspondence.
Email: karshiya2011@mail.ru

Postgraduate Student

Russian Federation, 10, Plakhotny street, Novosibirsk, 630108

References

Supplementary files