Разработка приложений со смешанной реальностью (MR)

MR-системы состоят из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – мультимедийных очков дополненной реальности, таких как Epson Moverio BT-300 или Microsoft Hololens, оборудованных видеокамерой и набором дополнительных опций.

Часто подобные системы используются для индивидуального обучения на рабочем месте или для групповой работы нескольких пользователей в условиях реального окружения.

Обучение проходит посредством демонстрации на экранах мультимедийных очков пользователя дополнительных информационных слоев, включающих 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам реальных объектов. Частичная прозрачность экранов мультимедийных очков дает возможность пользователю выполнять необходимые манипуляции с приборами в режиме реального времени, визуально наблюдая подсказки, чем достигается максимальный образовательный эффект. Совмещение координат виртуальных и реальных объектов достигается за счет технологии смешанной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.

Обучение поэтапное. Каждый этап сопровождается соответствующей демонстрацией, показывающей через 3D модели и дополнительные визуальные элементы необходимую информацию. Этапы, демонстрирующие последовательность определенных действий, сопровождаются голосовыми подсказками. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования)

Функциональные особенности

• Пошаговый образовательный контент;
• Голосовое управление;
• Голосовое сопровождение и подсказки.

Функционирование обучающей системы оптимизировано под мультимедийные очки дополненной реальности Epson Moverio BT-300, под управлением операционной системы Android.

Данное мультимедийное мобильные устройство имеет форм-фактор очков, небольшой размер, удобно в применении и может быть использовано в условиях ограниченного пространства. Дополнительно, использование мультимедийных очков, позволяет освободить руки пользователя и позволить ему выполнять необходимые манипуляции.

Очки Epson Moverio BT-300 обладают качественным бинокулярным 3D дисплеем, снабжены набором сенсоров, фиксирующих наклон головы и ускорение движения пользователя, GPS позицию и направление. Встроенная видеокамера может быть использована для таких задач, как распознавание образов и маркеров для реализации дополненной реальности, а микрофон позволяет осуществлять голосовой ввод.

Для повышения стабильности распознавания позиции объекта, он предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системы трекинга и повышают точность позиционирования виртуальных объектов.

Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запущено на другом мобильном устройстве под управлением ОС Android и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон.

Программная часть

Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:

• Модуль системы дополненной реальности, который осуществляет захват видеопотока с камеры мобильного устройства, поиск маркера по ключевым точкам на видеоизображении и определение по ним координат реального объекта.
• Модуль логики образовательного процесса, который получает информацию о расположении реальных объектов, подставляет на них дополнительные информационные слои и 3D модели, и применяет к ним условия текущего этапа обучения.
• Модуль формирования итогового изображения (в том числе 3D изображения) и вывод его на устройство отображения.
• Модуль распознавания голоса и голосового управления
• Модуль взаимодействия с пользователем и отображения пользовательской интерфейса
• Все модули работают в рамках одного приложения и обладают необходимыми интерфейсами для взаимодействия друг с другом.

По умолчанию программа работает в режиме смешанной реальности, для использования которого пользователю необходимо расположиться перед объектом, надеть мультимедийные очки с предварительно запущенным мобильным приложением и навести взгляд на объект. Возможно переключение в режим виртуальной реальности для обучения в учебном классе, которое производится при помощи специальных управляющих элементов в интерфейсе приложения, или определенной голосовой командой. В режиме виртуальной реальности пользователь видит не реальное изображение объекта, а его 3D модель. В данном режиме весь сценарий обучения, в описанной последовательности, отображается непосредственно на трёхмерной модели, без привязки к реальным объектам.

Обучение поэтапное. Каждый этап последовательно показывает пользователю действия, которые необходимо произвести с элементами объекта. Каждый этап сопровождает соответствующая демонстрация. Во время демонстрации нужный элемент объекта выделяется цветом для привлечения внимания пользователя. Анимация показывает пользователю то действие, которое ему необходимо выполнить. Выводится текстовая информация и воспроизводится голосовая подсказка о необходимом к выполнению действии. Пользователь в данном случае является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса.