Разработка виртуальных тренажеров и образовательных систем

Основной целью разработки образовательных систем и виртуальных тренажеров с дополненной реальностью является перенос методологии изучения какой-либо предметной дисциплины или знакомство с каким-то прибором, изделием, или агрегатом.

Данный программный продукт предназначен для быстрого визуального обучения низкоквалифицированных специалистов способам эксплуатации, обслуживания и ремонта сложного оборудования и техники, непосредственно на этой технике, с применением мобильных мультимедийных устройств, без участия обучающего персонала.

Система состоит из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – планшетного компьютера (или мультимедийных очков дополненной реальности, или шлема виртуальной реальности).

Для запуска обучения пользователю необходимо расположиться напротив изучаемого устройства. На планшетном компьютере (очках дополненной реальности, или шлеме виртуальной реальности) необходимо запустить соответствующее приложение, после чего навести камеру мобильного устройства на метки, расположенные на устройстве. Система трекинга распознает указанную деталь (или специализированную метку на этой детали) и запустит соответствующую образовательную программу.

Интерактивная образовательная программа наглядно демонстрирует непосредственно на устройстве порядок действий, сопровождаемых визуальными и голосовыми подсказками, который необходимо провести для выполнения той или иной технологической операции.

Обучение индивидуальное и проходит посредством демонстрации на экране мобильного устройства пользователя дополнительных информационных слоев, включающих 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам элементов конструкции изучаемого устройства. Совмещение координат виртуальных и реальных объектов достигается за счет технологии дополненной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.

Обучение поэтапное. Каждый этап сопровождается соответствующей демонстрацией, показывающей через 3D модели и дополнительные визуальные элементы необходимую информацию. Этапы, демонстрирующие последовательность определенных действий, сопровождаются голосовыми подсказками. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования)

Функциональные особенности

• Знакомство пользователя с основными элементами изучаемого устройства;
• Наглядное обучение пользователя определенной технологической процедуре с привязкой к координатам элементов устройства или прибора;
• Наглядное обучение пользователя определенной технологической процедуре без привязки к координатам элементов устройства (или прибора) по её 3D модели (для обучаемых, находящихся на удалении);
• Голосовое управление
• Голосовое сопровождение и подсказки

Система позволяет неподготовленному специалисту за 1-2 минуты визуально ознакомиться с технологической процедурой и выполнить данную процедуру непосредственно на устройстве (или приборе).

Аппаратная часть

Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запущено на мобильном устройстве под управлением ОС Android или iOS и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон. Для повышения стабильности распознавания позиции устройства в пространстве, объекты рядом с ним, или он сам, предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системе трекинга и повышают точность позиционирования виртуальных объектов.

Программная часть

Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:

• Модуль системы дополненной реальности, который осуществляет захват видеопотока с камеры мобильного устройства, поиск маркера по ключевым точкам на видеоизображении и определение по ним координат реального объекта.
• Модуль логики образовательного процесса, который получает информацию о расположении реальных объектов, подставляет на них дополнительные информационные слои и 3D модели, и применяет к ним условия текущего этапа обучения.
• Модуль формирования итогового совмещенного изображения и вывод его на экран устройства отображения.
• Модуль распознавания голоса и голосового управления.
• Модуль взаимодействия с пользователем и отображения пользовательской интерфейса.
• Сценарий обучения

Программа обучения представляет собой визуальную пошаговую инструкцию, демонстрирующую основные шаги и необходимые инструменты, для выполнения конкретной технологической процедуры.

Для запуска программы, пользователю необходимо выбрать соответствующее приложение в мобильном устройстве и запустить его. После запуска на экран мобильного устройства начнется трансляция видеоизображения. Программа поддерживает несколько режимов работы:

• Режим 1 - «с дополненной реальностью» для отображения визуальных элементов на реальном устройстве.
• Режим 2 - «без дополненной реальности» для отображения визуальных элементов на виртуальной 3D модели устройства, без привязки к реальным объектам.

По умолчанию программа запустится в режиме «с дополненной реальностью», для использования которого пользователю необходимо расположиться напротив маркированного устройства и навести камеру мобильного устройства непосредственно на него. Переключение в режим «без дополненной реальности» для обучения на удалении от боевой машины или в учебном классе, производится при помощи специальных управляющих элементов в интерфейсе приложения, или определенной голосовой командой.

Когда система трекинга распознает указанную деталь (или специализированную метку на этой детали) начнется отображение шагов визуальной инструкции, демонстрирующих операции, которые необходимо выполнить пользователю.

Демонстрация состоит набора этапов (шагов обучения). Каждый этап сопровождается соответствующая демонстрация. Во время демонстрации нужный элемент устройства, с которым производится операция, выделяется цветом для привлечения внимания пользователя. Анимация показывает пользователю то действие, которое ему необходимо выполнить. Выводится текстовая информация и воспроизводится голосовая подсказка о необходимом к выполнению действии. В случае, если операция является опасной, или непредсказуемой – система выводит соответствующие предупреждения, сопровождаемые индикацией и звуковым сигналом. В процессе обучения, пользователь является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса.