phone 8 (800) 555-21-89, +7 (8342) 31-21-00
EN
email info@funreality.ru

Виртуальный тренажер с дополненной реальностью

Программно-аппаратный комплекс «3D визуальные интерактивные системы обучения специалистов и обслуживания техники»

Программно-аппаратный комплекс предназначен для быстрого наглядного визуального обучения низкоквалифицированных специалистов способам эксплуатации, обслуживания и ремонта сложной техники, непосредственно на этой технике, с применением мобильных мультимедийных устройств, без участия обучающего персонала.

Комплекс состоит из программной части, функционирующей на базе технологий компьютерного распознавания образов, трехмерной графики и дополненной реальности, и мобильной аппаратной части - очков дополненной реальности или мобильных устройств, оборудованных видеокамерой.

Программная часть интегрируется с аппаратной посредством разработанных мобильных приложений. Совмещение реальных объектов и виртуальных интерактивных элементов осуществляется средствами дополненной реальности. Эффект присутствия дополнительных информационных объектов и полное погружение обучаемого в систему обучения, где это возможно, достигается средствами 3D стереоскопии.

В текущей версии комплекса представлено 3 системы:


Система визуального обучения водителя навыкам запуска двигателя и подготовки к движению

Программный продукт, предназначенный для быстрого визуального обучения неподготовленного водителя навыкам подготовки машины к движению и запуска двигателя.


Визуальная инструкция по ремонту и обслуживанию техники на примере ремонта ходовой части

Программный продукт, предназначенный для быстрого визуального обучения методике обслуживания и ремонта техники на примере замены ведущей звездочки ходовой части.


Демонстрация основных запасных частей и их функционального предназначения

Программный продукт, предназначенный для ознакомления с запасными частями ремонтного комплекта без вскрытия содержащего их контейнера и нарушения условий хранения.

Каждая из систем представляет собой отдельное приложение, функционирующее на определенной конфигурации оборудования, которое может быть дополнено набором средств для демонстрации функционала приложения в рамках выставочного стенда. В случае, если требуется объединение функционала приложений, для удобства работы сотрудников предприятия в учебных классах или на выставочном стенде, данная возможность рассматривается дополнительно разработчиком исходя из технических возможностей и ограничения программной платформы.

Система визуального обучения водителя навыкам запуска двигателя и подготовки к движению

Данный программный продукт предназначен для быстрого визуального обучения неподготовленного водителя навыкам подготовки машины к движению и запуска двигателя. Обучение происходит непосредственно на пульте управления.

Система состоит из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – мультимедийных очков дополненной реальности, оборудованных видеокамерой.

Для запуска обучения пользователю необходимо расположиться перед пультом управления на месте водителя, надеть мультимедийные очки с предварительно запущенным мобильным приложением и навести взгляд на пульт.

Обучение индивидуальное и проходит посредством демонстрации на экранах мультимедийных очков пользователя дополнительных информационных слоев, включающих 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам реальных конструкторских элементов пульта водителя. Частичная прозрачность экранов мультимедийных очков дает возможность пользователю выполнять необходимые манипуляции с приборами в режиме реального времени, визуально наблюдая подсказки, чем достигается максимальный образовательный эффект. Совмещение координат виртуальных и реальных объектов достигается за счет технологии дополненной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.

Обучение поэтапное. Каждый этап сопровождается соответствующей демонстрацией, показывающей через 3D модели и дополнительные визуальные элементы необходимую информацию. Этапы, демонстрирующие последовательность определенных действий, сопровождаются голосовыми подсказками. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования)

Функциональные особенности

  • Знакомство пользователя с основными элементами пульта водителя;
  • Наглядное обучение пользователя процедуре подготовки машины к движению и запуска двигателя с привязкой к координатам элементов пульта водителя;
  • Наглядное обучение пользователя процедуре подготовки машины к движению и запуска двигателя без привязки к пульту водителя (для обучаемых, находящихся снаружи машины);
  • Голосовое управление;
  • Голосовое сопровождение и подсказки.

Назначение

Система позволяет неподготовленному специалисту за 2-3 минуты ознакомиться с основными элементами пульта водителя, подготовить машину к движению и запустить двигатель, находясь непосредственно на технике.

Аппаратная часть

Функционирование обучающей системы оптимизировано под мультимедийные очки дополненной реальности Epson Moverio BT-200, под управлением операционной системы Andriod.

Данное мультимедийное мобильные устройство имеет форм-фактор очков, небольшой размер, удобно в применении и может быть использовано в условиях ограниченного пространства боевой машины на месте механика-водителя. Дополнительно, использование мультимедийных очков, позволяет освободить руки пользователя и позволить ему выполнять необходимые манипуляции.

Очки Epson Moverio BT-200 обладают качественным бинокулярным 3D дисплеем, снабжены набором сенсоров, фиксирующих наклон головы и ускорение движения пользователя, GPS позицию и направление. Встроенная видеокамера может быть использована для таких задач, как распознавание образов и маркеров для реализации дополненной реальности, а микрофон позволяет осуществлять голосовой ввод.

Для повышения стабильности распознавания позиции пульта водителя в пространстве, данный пульт предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системы трекинга и повышают точность позиционирования виртуальных объектов.

Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запущено на другом мобильном устройстве под управлением ОС Android и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон.

Программная часть

Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:

  • Модуль системы дополненной реальности, который осуществляет захват видеопотока с камеры мобильного устройства, поиск маркера по ключевым точкам на видеоизображении и определение по ним координат реального объекта.
  • Модуль логики образовательного процесса, который получает информацию о расположении реальных объектов, подставляет на них дополнительные информационные слои и 3D модели, и применяет к ним условия текущего этапа обучения.
  • Модуль формирования итогового изображения (в том числе 3D изображения) и вывод его на устройство отображения.
  • Модуль распознавания голоса и голосового управления
  • Модуль взаимодействия с пользователем и отображения пользовательской интерфейса

Все модули работают в рамках одного приложения и обладают необходимыми интерфейсами для взаимодействия друг с другом.

Сценарий обучения

Для запуска программы, пользователю необходимо выбрать соответствующее приложение в мобильном устройстве и запустить его. После запуска на экран мобильного устройства начнется трансляция видеоизображения. Программа поддерживает несколько режимов работы:

  • Режим 1 - «с дополненной реальностью» для отображения визуальных элементов на реальном пульте управления водителя.
  • Режим 2 - «с виртуальной реальностью» для отображения визуальных элементов на виртуальной 3D модели пульта управления, без привязки к реальным объектам.

По умолчанию программа запустится в режиме «с дополненной реальностью», для использования которого пользователю необходимо расположиться перед пультом управления на месте водителя, надеть мультимедийные очки с предварительно запущенным мобильным приложением и навести взгляд на пульт механика-водителя. Переключение в режим виртуальной реальности для обучения вне машины или в учебном классе, производится при помощи специальных управляющих элементов в интерфейсе приложения, или определенной голосовой командой.

В режиме виртуальной реальности пользователь видит не реальное изображение пульта управления, а его 3D модель. Весь сценарий обучения, в описанной последовательности, отображается непосредственно на трёхмерной модели, без привязки к реальным объектам.

Обучение поэтапное. Каждый этап последовательно показывает пользователю действия, которые необходимо произвести с элементами пульта управления для запуска двигателя машины и подготовки ее к движению. Каждый этап сопровождает соответствующая демонстрация. Во время демонстрации нужный элемент пульта управления (переключатель или прибор) выделяется цветом для привлечения внимания пользователя. Анимация показывает пользователю то действие, которое ему необходимо выполнить. Выводится текстовая информация и воспроизводится голосовая подсказка о необходимом к выполнению действии. Пользователь в данном случае является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса.

В пользовательском интерфейсе показано количество этапов и текущее положение пользователя (этап, на котором он находится в данный момент).

Управление обучением

Управление демонстрацией, переключение между этапами и модулями осуществляется через элементы пользовательского интерфейса (кнопки) или голосовые команды, каждая из которых запускает соответствующий этап демонстрации.

Визуальная инструкция по ремонту и обслуживанию техники на примере замены ведущей звездочки ходовой части.

Данный программный продукт предназначен для быстрого визуального обучения методике обслуживания и ремонта техники на примере замены ведущей звездочки ходовой части. Обучение происходит вне машины, при помощи переносного устройства отображения (планшетного компьютера), с непосредственным наложением визуальных инструкций на боковую заднюю часть кузова, в месте расположения ведущей звездочки ходовой части, которая и является отправной точкой системы трекинга.

Система состоит из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – планшетного компьютера (или мультимедийных очков дополненной реальности).

Для запуска обучения пользователю необходимо расположиться с правого бока машины в задней её части, напротив ведущей звёздочки. На планшетном компьютере необходимо запустить соответствующее приложение, после чего навести камеру мобильного устройства на звездочку ходовой части. Система трекинга распознает указанную деталь (или специализированную метку на этой детали) и запустит соответствующую образовательную программу.

Интерактивная образовательная программа наглядно демонстрирует непосредственно на машине порядок действий, сопровождаемых визуальными и голосовыми подсказками, который необходимо провести для ремонта ходовой части или гусеницы в походных условиях или на учебном стенде.

Обучение индивидуальное и проходит посредством демонстрации на экранах мультимедийных очков пользователя дополнительных информационных слоев, включающих 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам реальных конструкторских элементов ходовой части. Совмещение координат виртуальных и реальных объектов достигается за счет технологии дополненной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.

Обучение поэтапное. Каждый этап сопровождается соответствующей демонстрацией, показывающей через 3D модели и дополнительные визуальные элементы необходимую информацию. Этапы, демонстрирующие последовательность определенных действий, сопровождаются голосовыми подсказками. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования)

Функциональные особенности

  • Знакомство пользователя с основными элементами ходовой части;
  • Наглядное обучение пользователя процедуре замены ведущей звездочки ходовой части с привязкой к координатам элементов ходовой части;
  • Наглядное обучение пользователя процедуре замены ведущей звездочки ходовой части без привязки к координатам элементов ходовой части по её 3D модели (для обучаемых, находящихся на удалении от машины);
  • Голосовое управление;
  • Голосовое сопровождение и подсказки.

Назначение

Система позволяет неподготовленному специалисту за 1-2 минуты визуально ознакомиться с процедурой замены ведущей звездочки ходовой части непосредственно на технике.

Аппаратная часть

Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запушено на мобильном устройстве под управлением ОС Android и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон.

Для повышения стабильности распознавания позиции звездочки ходовой части в пространстве, объекты рядом со звездочкой, или сама звездочка, предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системе трекинга и повышают точность позиционирования виртуальных объектов.

Программная часть

Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:

  • Модуль системы дополненной реальности, который осуществляет захват видеопотока с камеры мобильного устройства, поиск маркера по ключевым точкам на видеоизображении и определение по ним координат реального объекта.
  • Модуль логики образовательного процесса, который получает информацию о расположении реальных объектов, подставляет на них дополнительные информационные слои и 3D модели, и применяет к ним условия текущего этапа обучения.
  • Модуль формирования итогового изображения (в том числе 3D изображения) и вывод его на устройство отображения.
  • Модуль распознавания голоса и голосового управления
  • Модуль взаимодействия с пользователем и отображения пользовательской интерфейса

Все модули работают в рамках одного приложения и обладают необходимыми интерфейсами для взаимодействия друг с другом.

Сценарий обучения

Для запуска программы, пользователю необходимо выбрать соответствующее приложение в мобильном устройстве и запустить его. После запуска на экран мобильного устройства начнется трансляция видеоизображения. Программа поддерживает несколько режимов работы:

  • Режим 1 - «с дополненной реальностью» для отображения визуальных элементов на реальном пульте управления водителя.
  • Режим 2 - «с виртуальной реальностью» для отображения визуальных элементов на виртуальной 3D модели пульта управления, без привязки к реальным объектам.

По умолчанию программа запустится в режиме «с дополненной реальностью», для использования которого пользователю необходимо расположиться с правого бока машины в задней её части, напротив ведущей звёздочки и навести камеру мобильного устройства непосредственно на ведущую звездочку. Переключение в режим «виртуальной реальности» для обучения на удалении от машины или в учебном классе, производится при помощи специальных управляющих элементов в интерфейсе приложения, или определенной голосовой командой.

В режиме виртуальной реальности пользователь видит не реальное изображение звездочки ходовой части, а её 3D модель. Весь сценарий обучения, в описанной последовательности, отображается непосредственно на трёхмерной модели, без привязки к реальным объектам.

Когда система трекинга распознает указанную деталь (или специализированную метку на этой детали) начнется отображение шагов визуальной инструкции, демонстрирующих операции, которые необходимо выполнить пользователю.

Каждый этап сопровождается соответствующая демонстрация. Во время демонстрации нужный элемент звездочки или ходовой части выделяется цветом для привлечения внимания пользователя. Анимация показывает пользователю то действие, которое ему необходимо выполнить. Выводится текстовая информация и воспроизводится голосовая подсказка о необходимом к выполнению действии. В случае, если операция является опасной, или непредсказуемой – система выводит соответствующие предупреждения, сопровождаемые индикацией и звуковым сигналом.

В процессе обучения, пользователь является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса.

В пользовательском интерфейсе показано количество этапов и текущее положение пользователя (этап, на котором он находится в данный момент).

Управление обучением

Управление демонстрацией, переключение между этапами и модулями осуществляется через элементы пользовательского интерфейса (кнопки) или голосовые команды, каждая из которых запускает соответствующий этап демонстрации.

Визуальная демонстрация основных запасных частей и их функционального предназначения

Данная демонстрация предназначена для просмотра основных запасных частей ремонтного набора техники и формулировки их функционального предназначения, без вскрытия содержащего их контейнера и нарушения условий хранения.

Система состоит из программной части, использующей в основе технологию компьютерного распознавания образов и мобильной аппаратной части – планшетного компьютера (или мультимедийных очков дополненной реальности).

Для запуска демонстрации, пользователю необходимо подойти к ящику с запасными частями, расположенному радом с машиной, запустить на планшетном компьютере (или другом мобильном устройстве) необходимо соответствующее приложение, после чего, навести камеру мобильного устройства на специальную метку, расположенную на ремонтном контейнере. Система трекинга распознает указанную метку и запустит соответствующую демонстрационную программу.

Интерактивная образовательная программа наглядно демонстрирует элементы комплектации ремонтного набора. Элементы выводятся на экран мобильного устройства пользователя с дополнительными информационными слоями, включающими 3D модели, подсказки, анимацию, текстовые и графические элементы, спозиционированные по координатам контейнера для их хранения. Совмещение координат виртуальных и реальных объектов достигается за счет технологии дополненной реальности, позволяющей отслеживать их изменение в пространстве посредством распознавания реальных объектов в видеопотоке, поступающем с камеры мобильного устройства.

Демонстрация состоит из одного этапа, в котором поочередно показываются элементы ремонтного набора. Пользователь может выбрать интересующий его элемент и посмотреть его внешний вид, описание и детальную информацию по его применению. Демонстрация элементов ремонтного комплекта сопровождается голосовыми подсказками с описанием инструмента и его применения. Управление демонстрацией происходит при помощи голосовых команд и дополнительных устройств ввода и позиционирования (сенсорные панели, манипуляторы, устройства аппаратного позиционирования).

Функциональные особенности

  • Знакомство пользователя с основными элементами ремкомплекта;
  • Наглядная демонстрации внешнего вида запасных частей, расходников и инструментов;
  • Демонстрации тактико-технических характеристик элементов ЗИП без вскрытия контейнера;
  • Демонстрации визуальных пошаговых инструкций по использованию инструментов и установке запасных частей;
  • Голосовое управление;
  • Голосовое сопровождение и подсказки.

Назначение

Система позволяет неподготовленному специалисту за 1-2 минуты визуально ознакомиться с составом ремонтного комплекта, внешним видом и характеристиками содержащихся в нем элементов, без вскрытия контейнера.

Аппаратная часть

Для обеспечения универсальности и дополнительного резервирования аппаратной составляющей, программное обеспечение может быть запушено на мобильном устройстве под управлением ОС Android и оборудованном видеокамерой. Это может быть практически любой современный планшетный компьютер или смартфон.

Для повышения стабильности распознавания позиции звездочки ходовой части в пространстве, объекты рядом со звездочкой, или сама звездочка, предварительно маркируется визуальными, либо инфракрасными метками, которые помогают работе системе трекинга и повышают точность позиционирования виртуальных объектов.

Программная часть

Организация работы системы визуального обучения реализуется на базе специально разработанного мобильного приложения. Данное мобильное приложение содержит следующие основные функциональные модули:

  • Модуль системы дополненной реальности, который осуществляет захват видеопотока с камеры мобильного устройства, поиск маркера по ключевым точкам на видеоизображении и определение по ним координат реального объекта.
  • Модуль логики образовательного процесса, который получает информацию о расположении реальных объектов, подставляет на них дополнительные информационные слои и 3D модели, и применяет к ним условия текущего этапа обучения.
  • Модуль формирования итогового изображения (в том числе 3D изображения) и вывод его на устройство отображения.
  • Модуль распознавания голоса и голосового управления
  • Модуль взаимодействия с пользователем и отображения пользовательской интерфейса

Все модули работают в рамках одного приложения и обладают необходимыми интерфейсами для взаимодействия друг с другом.

Сценарий обучения

Для запуска программы, пользователю необходимо выбрать соответствующее приложение в мобильном устройстве и запустить его. После запуска на экран мобильного устройства начнется трансляция видеоизображения. Программа поддерживает несколько режимов работы:

  • Режим 1 - «с дополненной реальностью» для отображения визуальных элементов на реальном пульте управления водителя.
  • Режим 2 - «с виртуальной реальностью» для отображения визуальных элементов на виртуальной 3D модели пульта управления, без привязки к реальным объектам.

По умолчанию программа запустится в режиме «с дополненной реальностью», для использования которого пользователю необходимо подойти к ящику запасными частями с передней стороны и навести камеру мобильного устройства непосредственно на верхнюю маркированную часть ящика. Переключение в режим виртуальной реальности для обучения в учебном классе, производится при помощи специальных управляющих элементов в интерфейсе приложения, или определенной голосовой командой.

В режиме виртуальной реальности пользователь видит не реальное изображение пульта управления, а его 3D модель. Весь сценарий обучения, в описанной последовательности, отображается непосредственно на трёхмерной модели, без привязки к реальным объектам.

Когда система трекинга распознает специальную метку на ящике, запускается программа демонстрации, отображающая модели элементов ремкомплекта. Элементы поочередно перемещаются на передний план виртуальной сцены, вращаясь по кругу.

Во время демонстрации выбранный элемент выводится на передний план. Выводится текстовая и графическая информация, и воспроизводится голосовая подсказка.

В процессе обучения, пользователь является активным участником демонстрации и может управлять её процессом при помощи голосовых команд и навигационных элементов пользовательского интерфейса. В пользовательском интерфейсе показано количество элементов и текущий (выбранный) элемент.

Управление обучением

Управление демонстрацией и переключение между этапами осуществляется через элементы пользовательского интерфейса (кнопки) и голосовые команды, каждая из которых переключает режим отображения информации.

Партнерам

Презентации

Ценовое предложение

Инфопак

Клиентам

Коммерческое предложение

Разместить заказ

Поддержка

Задать вопрос

Скачать демо версии