Эффект присутствия
Глубокое погружение обучающихся в среду проводимых экспериментов
Комплекс разработан на базе мульти-платформенной среды разработки двух- и трёхмерных приложений Unity3D. В качестве основной для работы с дополненной реальностью, используется библиотека ArUco, созданная на основе открытой библиотеки OpenCV, которая собрала в себе практически все современные алгоритмы компьютерного зрения (Computer Vision).
Для организации индивидуальных рабочих мест и для удаленного обучения используется конфигурация оборудования на базе графической стации (устройства обработки видео сигнала), 3D-Web камеры (или сдвоенной классической Web-камеры) для получения стерео-видео потока и высококачественного устройства воспроизведения 3D-стерео (3D монитор или 3D телевизор), доукомплектованного поляризационными 3D очками.
Для графической станции, или устройства обработки видеопотока, наложения слоя дополненной реальности и формирования итогового 3D изображения, подходит практически любой современный компьютер или ноутбук, удовлетворяющий следующим минимальным системным требованиям:
Рекомендуемые системные требования
PC версия
- Процессор Intel Core i5 с частотой не менее 2.5 ГГц (или аналогичный)
- Не менее 4 ГБ оперативной памяти
- Не менее 1,5 ГБ свободного места на жестком диске
- Клавиатура, мышь (или совместимое указывающее устройство)
- Видеокарта с 1 Гб видеопамяти, с поддержкой Shader Model 4.0 и выше, с поддержкой DirectX 9 и выше
- Операционная система Windows 7/8/10
- Веб-камера (Full HD)
Мобильная версия
- Многоядерный процессор ARM v7 и выше, с частотой 1,5 ГГц и выше
- 2 ГБ оперативной памяти и выше
- Видеоускоритель с поддержкой OpenGL ES 2.0 и выше
- Android 4.0 и выше
- Камера
Программная часть
Приложение, представляющее собой программную основу комплекса, обладает всем необходимым техническим функционалом для проведения виртуальных лабораторных работ по школьному курсу физики 7-11 классов, основанных на маркерной технологии дополненной реальности, и виртуальных демонстраций физических явлений и процессов, с возможностью просмотра в режиме 3D-стереоскопии.
Конструктивно приложение состоит из нескольких архитектурных программных модулей позволяющих в полном объеме реализовать систему дополненной реальности и сформировать итоговое изображение в формате 3D-стереоскопии, передаваемое на устройство отображения:
- Модуль захвата видео потока - необходим для поиска установленных в системе источников видео потока, в нашем случае подключенной к компьютеру камеры (2 камер).
- Модуль поиска области нахождения маркера на входном изображении.
- Модуль распознавания маркера и получения закодированной в нем информации.
- Модуль логики виртуальной лабораторной работы - получает информацию о расположении маркеров, подставляет 3D модели и применяет к ним условия текущей лабораторной работы (физические законы, схемы взаимодействия, анимацию и пр.)
- Модуль формирования итогового изображения (3D изображения) и вывод его на устройство отображения (монитор).
Базовой средой разработки прототипа была выбрана система Unity3D - это мульти-платформенный инструмент для разработки двух- и трёхмерных приложений.
Дополнительно использованы следующие плагины и библиотеки:
- ArUco (OpenCV) - для работы с дополненной реальностью
- HTML Engine for NGUI & Unity GUI - Плагин для вывода форматированного HTML текста в интерфейсе Unity или в NGUI
- NGUI: Next-Gen UI - Плагин для отрисовки графического интерфейса в среде Unity
- Easy XML Parser - Парсер XML файлов для Unity
Виртуальные 3D объекты, используемые в лабораторных работах, разрабатывались в приложении Autodesk 3ds Max (ранее 3D Studio MAX) – полнофункциональной профессиональной программной системе для создания и редактирования трёхмерной графики и анимации. Сценарии взаимодействия виртуальных объектов внутри сцены были реализованы средствами среды разработки.
Алгоритмы формирования функций 3D-стереоскопии, применительно к виртуальным объектам, реализованы при помощи базовых средств среды разработки с использованием двух виртуальных камер, расположенных на сцене.
Поддерживаемые 3D режимы:
- Горизонтальная стереопара - кадры располагаются горизонтально друг относительно друга, левое изображение предназначено для левого глаза, а правое изображение — для правого.
- Вертикальная стереопара - представляет собой два изображения, расположенные друг над другом.
- Чересстрочный - метод получения стереоэффекта путем чересстрочного смешивания обоих ракурсов в одном кадре.
- Шахматный - метод получения стереоэффекта путем смешивания обоих ракурсов в шахматном расположении.
- Анаглифный - метод получения стереоэффекта через цветовое разделение.