Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

приложение информационный технический операционный

Лабораторные практикумы являются важной составляющей прикладных дисциплин. В курсе «Электротехника» компания National Instruments предлагает готовый инструментарий для проведения практических работ. Сопутствующее программное обеспечения для стенда NI ELVIS позволяет отслеживать выполнение поставленных задач, но может быть не всегда очевидно студентам на первых этапах. Разрабатываемая информационная система поможет учащимся во время практикумов.

Актуальность выбранной темы заключается в быстром темпе развитии технологии дополненной реальности, особенно в сфере образования [1]. Применение подобной технологии при обучении положительно сказывается на показателях успеваемости учащихся [2], поэтому такая платформа может стать отличным помощником при выполнении практических работ по электротехнике.

Основной функцией приложений, которые используют дополненную реальность, является дополнение реальной окружающей среды различными элементами. Это может быть текст или трехмерные объекты, которые привязаны к определенному реальному предмету.

Целью текущей научно-исследовательской работы являлась разработка информационной системы для выполнения лабораторных работ по переходным процессам, представленные в базовом курсе «Электротехника». Разрабатываемое приложение предназначено для рабочей станции NI ELVIS II с использованием платы INT-EE от фирмы National Instruments. Данный стенд служит учебным практикумом по основам электротехники. Специально разработанная плата включает электронные компоненты и контакты измерительных приборов. Следуя инструкциям, студенты должны выполнить ряд действий, последовательно соединяя провода. Разрабатываемое программное обеспечение служит в роли интерактивного методического пособия, которое предотвратить ошибки при сборе схемы.

Для решения обозначенной цели необходимо выполнить следующие задачи:

1. провести обзор и анализ аналогов;

2. исследовать методы и алгоритмы решения поставленных задач;

3. разработать программное обеспечение для выполнение лабораторной работы с применением дополненной реальности;

4. провести эксперимент.

Объектом исследования являются системы, основанные на дополненной реальности в сфере образования, поэтому при разработке приложения одной из основных задач является проведение обзора и анализа существующих аналогичных решений. Ниже отображен ряд недостатков, которые исправлены в разрабатываемом приложении. Основными проблемами в подобных разработках являются точность определения маркеров и правильное отображение вспомогательной информации при взаимодействии пользователя с реальным объектом.

При создании информационной системы важной задачей является выбор подходящего метода создания дополненной реальности, а также алгоритм использования этого метода. В данном случае наилучшим методом реализации дополненной реальности является маркерный, так как используя его можно более точно взаимодействовать со стендом, в отличии от метода, использующего GPS.

На основании выбранного маркерного метода необходимо определить принцип распознавания маркеров. Feature detection и генетические алгоритмы являются основными алгоритмами, решающими поставленную задачу. Перспективным способом решения определения маркеров является feature detection, который создает шаблон изображения по ключевым точкам, позволяя не создавать большую базу данных маркеров, как пришлось бы это делать в случае с генетическим методом.

Разработка велась под операционную систему Android. Такой выбор объясняется распространённостью данной ОС среди населения планеты [3], а также открытость платформы.

Новизна разрабатываемой системы заключается во взаимодействии электронного стенда по электротехнике с приложением, анализирующего его компоненты.

Практическая значимость исследования заключается в том, что пользователь может без помощи преподавателя разобраться в сборке схемы, что является проблематичной задачей для многих студентов. Также это ускорит выполнение студентами лабораторной работы, не ожидая преподавателя, которому приходится уделять много времени на каждого учащегося.

Таким образом, для создания информационной системы для выполнения лабораторных работ по электротехнике следует разработать приложение для мобильных устройств на ОС Android. Для этого нужно провести обзор существующих приложений, выбрать программное обеспечения для разработки, описать сценарий работы и сформулировать требования к новому программному образовательному продукту с использованием AR



1. Обзор и анализ

1.1 Объекты для проектирования программ для дополненной реальности

Приложение с дополненной реальностью является таковой, если она:

1) основана на реальных объектах или окружающей среде;

2) взаимодействует с реальными объектами или внешней средой в реальном времени;

3) имеет интерфейс, с помощью которого пользователь взаимодействует с объектами или внешней средой в реальном времени.

Определение 1. Дополненная реальность - смешанная реальность, которая дополняется, созданными компьютером, объектами в воспринимаемое поле видения. Тем самым создается система, объединяющая реальные и виртуальные объекты, которые взаимодействуют между собой в реальном времени и работают в 3D [4].

Определение 2. AR-устройство - устройство, позволяющее воспроизводить и просматривать цифровой контент, созданный специально для дополненной реальности [5].

Приложение - программа, функционирующая на определенной операционной системе (мобильной или десктопной) и выполняющая определенный ряд задач [6].

Слово «приложение» используется для описания программ как общего назначения (текстовые и графические редакторы, таблицы и прочее), так и специального назначения. В данном случае применяется последний вариант употребления. В этом случае термин применяется для обозначения обучающих и профессиональных программ.

Каждое приложения можно разделить на отдельные модули. Каждый модуль выполняет определенную функцию, создавая в целом полнофункциональное приложение.

Приложения могут быть следующими:

1) приложение для ПК;

2) приложение для мобильных устройств;

3) веб-приложение.

Приложение для ПК - система визуализации дополнительного цифрового контента в реальном времени c использованием дополнительных устройств, например, камеры или очков / шлема.

В основном такие приложения используются в развлекательных или в образовательных целях. Обычно для взаимодействия с приложениями, которые предназначены для ПК, необходимо иметь инструменты для получения объемного изображения, а именно очки для дополненной реальности, которые позволяют человеку увидеть картинку, которую нельзя увидеть без устройства.

Примером такого приложения является PhysicsPlayground. Оно предназначено для изучения механики с использованием дополненной реальности. В приложении имитируются физические опыты в области механики в реальном времени. Пользователи могут проводить собственные эксперименты, изучая их в трехмерном виртуальном мире.

Немного иначе использует дополненную реальность Augmented Reality Development Lab. Это также экспериментальная лаборатория, но в ней виртуальные объекты создаются на месте специальных областей-маркеров. С трехмерными объектами можно взаимодействовать.

Приложение для мобильных устройств - приложения для карманный ПК (смартфоны и планшеты). В основном, такие программы используют картинку, которую захватывает камера устройства.

Яркими примером подобных приложений являются интерактивные экскурсии. Пользователю достаточно навести камеру устройства на определенный объект (скульптура, картина и так далее), после чего предустановленная программа определит его и выведет на экране дополнительную информацию. Это может простой текст, картинки или видео.

Кроме того, приложение может использовать геолокацию, то есть определять текущее положение пользователя. Эта функция может быть использована для отображения виртуальной карты, на которой можно с легкостью найти местоположение и увидеть ближайшие объекты для взаимодействия.

Существующие приложения: «Узнай Москву», New Horizon, Школа в AR парке.

Веб-приложение - клиент-серверное приложение, где браузер выступает клиентом, а веб-сервер в качестве сервера. Данные приложения не требуют установки на устройства, так как работают на сервере [7].

Большим недостатком является невозможность работать без установленного браузера и без выхода в глобальную Сеть. Некоторые приложения могут просто не запуститься без подключения к Интернету, так как программная часть находится на сервере.

Примером может служить онлайновая игра Second Life. В этом проекте может произойти что угодно и может выступать образовательным инструментом. В приложении можно моделировать онлайн уроки, презентации, демонстрации и тому подобное.

Фреймворк - программная платформа, которая определяет архитектуру программной системы. Также это может быть программное обеспечение, которое служит для разработки и объединения различных частей большого программного проекта [8].

Вывод: в качестве объектов в данной работе определены:

1) Пользователь информационной системы;

2) интерфейс информационной системы, с которым взаимодействует пользователь;

3) мобильное устройство, на котором запускается информационная система;

4) лабораторный стенд, с которым взаимодействует информационная система.

1.2 Основные функции приложений для дополненной реальности

1. Дополнение реального мира. Основной задачей приложения для дополненной реальности является создание дополнительного интерфейса или объектов на основе реального окружения. Это позволяет упростить взаимодействие с оборудованием или позволяет предоставить новые возможности / функции. Например, всплывающие элементы во время проектирования сложных систем позволят избавиться лишних действий, так как весь необходимый инструментарий может иметься в программе (автоматический замер расстояния между элементами).

2. Взаимодействие пользователя с виртуальными объектами. С помощью приложений дополненной реальности можно работать с виртуальными объектами в реальном времени, то есть просматривать их или даже изменять. Очень часто для взаимодействия используются дополнительные технические средства такие как очки дополненной реальности, которые проецируют изображение в области видимости человека, или перчатки, специально созданные для того, чтобы пользователь мог ощущать своими руками предметы, к которым прикасается. Такие вещи дают возможность для получения более реальных ощущений от взаимодействия с объектами.

3. Образование и проектирование. Дополненная реальность особенно популярная в сфере образования и проектирования. В обоих случаях приложения для дополненной реальности позволяют обойтись без дорогостоящего оборудования для проведения опытов / расчетов. Подобные программы помогают обучиться работе с реальным оборудованием на «виртуальном примере».

Типы пользователей приложения:

1. Разработчики приложений. Создатели программ, они могут продавать приложения и устройства, которые требуются для воспроизведения контента. Также разработчики могут заниматься рекламой и продвижением своего продукта.

2. Потребители. Они могут использовать приложения в образовательных или ознакомительных целях для взаимодействия в реальной среде с виртуальными объектами.

3. Рекламодатели и маркетологи. Используют приложения в качестве площадки для рекламы услуг, сервисов и продуктов.

Вывод: разрабатываемая информационная система должна иметь поддержку дополненной реальности, взаимодействовать с реальными объектами, быть образовательно направленной и распространяться бесплатно. Основными потребителями приложения являются студенты, изучающие теоретические основы электротехники.

1.3 Приложения-помощники, использующие дополненную реальность

Обзор существующих решений. Сегодня существует много разработок под дополненную реальность. Их можно разделить на три класса.

1. Конструктор программ для дополненной реальности.

2. Приложения, использующие специальные очки / шлем.

3. Приложения, использующие обычный экран / дисплей телефона.

Augmented Reality Development Lab. Экспериментальная лаборатория от Digital Tech Frontier, которая сотрудничает с Google, Microsoft и Logitech. Данная разработка позволяет создавать развлекательные и образовательные проекты [9].

Основные особенности:

1) создание собственных экспериментов (модулей);

2) как развлекательный, так и научный аспект;

3) простота;

4) множество готовых модулей;

5) стоимость использования приложения.

В основном программа предназначена для создания интерактивных трехмерных объектов, которые можно в дальнейшем использовать для обучения. Образовательные учреждения могут сделать заказ на учебные пакеты по разным ценам.

Physics Playground. Игровой движок для ПК, который продолжил свое развитие в качестве образовательного пособия по физике. В Physics Playground создаётся трёхмерная среда с глубоким погружением, в которой можно не только экспериментировать, но и изучать физические явления [10].

Основные особенности:

1) площадка для создания собственных проектов;

2) множество областей применения;

3) гибкость;

4) много готовых решений;

5) взаимодействие с виртуальными объектами с помощью специальных устройств.

New Horizon. Приложение для смартфонов и планшетов, которое помогает изучать английский язык. Программа, работающая в связке со специальными учебниками, при наведении камеры на страницу книги отображает на экране дополнительные элементы и / или переводит текст [11].

Основные особенности:

1) для работы используется мобильное устройство;

2) моментальная работа;

3) работа с текстом.

Wearable Widgets для Google Glass. Набор программ для очков дополненной реальности от Google. Пользователь может моментально проверить почту, погоду или расписание [12].

Основные особенности:

1) портативное носимое устройство;

2) моментальное срабатывание;

3) геолокация.

Blippar. Программа помогает побольше узнать о реальных объектах окружающего нас мира [13]. При наведении камеры на объект приложение анализирует его и пытается определить, что находится перед человеком.

Основные особенности:

1) для работы используется мобильное устройство;

2) работа без задержек;

3) работа с любыми объектами;

4) определение местонахождения.

Программа имеет большую базу предметов, однако корректное определение происходит только в половине случаях.

Сравнительный анализ существующих приложений

	Augmented Reality Development Lab	Physics Playground	New Horizon	Wearable Widgets для Google Glass	Blippar	Разрабатываемая система
Графический интерфейс	+	±	+	+	+	+
Образовательная значимость	+	+	+	-	-	+
Работа на Android платформе	-	-	+	+	+	+
Взаимодействие со шлемом дополненной реальности	-	+	-	+	-	+
Удобство использования	±	±	-	+	+	+
Русская локализация	-	-	-	-	-	+
Использование дополнительной литературы	-	-	+	-	-	-
Стабильность работы	+	+	+	±	±	+
Возможность работы без шлема	+	+	+	-	+	+
Коммерцизация	от 600 $	бесплатно	Необходимо приобретение книги	Необходимо приобретение Google glass	Бесплатно	Бесплатно

1.4 Разработка требований к разрабатываемой системе

На основе проведенного обзора и анализа существующих решений, оценив их положительные и отрицательные стороны, был сформирован список основных требований к разрабатываемой информационной системе:

1. программа должна иметь понятный и удобный графический интерфейс;

2. программа должна иметь образовательную значимость и помогать в процессе обучения;

3. программа должна работать на операционной системе Android;

4. программа должна иметь поддержку шлема дополненной реальности;

5. программа должна содержать подробную инструкцию для пользователя на русском языке;

6. все технические детали (инструкция, информация о приложении) должны содержаться в программе, а не на отдельном бумажном или электронном носители информации / файле;

7. программа должна стабильно работать и не содержать багов / ошибок;

8. программа должна распространяться бесплатно.

Основываясь на перечисленных выше требованиях, можно привести схему работы разрабатываемой информационной системы:

1. пользователь устанавливает программу на устройство под управлением Android;

2. после установки приложение запускается на мобильном устройстве;

3. из главного меню приложения можно выбрать по нажатию кнопки режим работы;

4. выход из приложения производится по нажатию кнопки «Выход».

Обзор и анализ приложений с использованием дополненной реальности позволяет сформулировать новизну разработок:

1. определена значимость разработок программного обучения для дополненной реальности в образовательной сфере;

2. описана схема работы образовательной информационной системы, что позволяет определить требования к интерфейсам для приложений с применением дополненной реальности;

3. обозначены требования к будущему программному образовательному продукту с использованием дополненной реальности.



2. Выбор методов построения системы

Информационную систему можно как разработать с нуля, так и использовать готовый инструментарий, расширив набор функций и настроить под нужды проекта. Для обеспечения работоспособности необходимо разработать модели и сценарий, а также определить метод и алгоритм построения системы. Ниже рассмотрены имеющиеся программные инструментарии и проведен анализ методов, эффективность используемого алгоритма.

2.1 Обзор и анализ технологий дополненной реальности

Основной задачей при проектировании программного обеспечения с использованием дополненной реальности является точность наложения дополнительной информации. Стоит определиться не только с методом, но и обосновать его выбор. Для этого важно учесть задачи и дальнейшее использование разработки. Ниже представлен обзор и анализ основных принципов построения дополненной реальности. Стоит заметить, что всего существует два основных принципа:

1) с использованием маркеров;

2) с использованием текущего местоположения.

Основные методы описаны ниже.

1) GPS - использование географических координат и элементов, которые уточняют направление взгляда. Например, в смартфоне используются компас и акселерометр. С их помощью приложение с дополненной реальностью может определить местоположение, а также направление взгляда пользователя, что позволяет дополнить окружающий мир, контентом или информацией, привязанной к конкретному местоположению.

2) Маркеры - главной идеей метода является использование изображений, распознаваемые камерой смартфона, планшета и любого другого устройства. К этим изображениям привязываются 3D объекты, которые отображаются на дисплее, дополняя реальное пространство.

3) SAR (Spatial Augmented Reality) - пространственная дополненная реальность является логичным развитием дополненной реальности. Новая технология не использует такие дополнительные носимые устройства для работы, как шлем виртуальной реальности, мобильное устройство или другое оборудование. Однако для реализации программ таким методом, необходимо иметь как минимум два проектора и специальные датчики, которые будут отслеживать движения пользователя. Это позволяет не просто заполнить реальное пространство 3D объектами, но и напрямую взаимодействовать с ними руками и ногами. Однако, нет еще ни одного до конца реализованного продукта, который бы использовал этот метод.

Анализируя вышеперечисленные методы, можно прийти к выводу, что технология с применением маркерного метода подходит лучше всего для обозначенных в предыдущем разделе задач. Она достаточно точна в закрытых помещениях, в отличии от GPS, и доступнее, чем SAR. Поэтому при разработке будут использованы маркеры в качестве основных меток.

2.2 Обзор фреймворков

Разрабатываемое программное обеспечение должно быть разработано для смартфонов под управлением Android, поэтому ниже будут приведены фреймворки, которые позволяют создать приложения для выбранной операционной системы.

Основные фреймворки:

1) Android Studio;

2) Xamarin;

3) Unity3D;

4) Unreal Engine 4.

Android Studio - среда разработки для устройств на базе операционной системы Android, разработанная компанией JetBrains [14]. Основывается на IntelliJ IDEA, заменила IDE Eclipse.

Особенности:

1) редактор макетов с возможностью работать с пользовательским интерфейсом при помощи Drag-and-Drop;

2) сборка приложений на основе Gradle;

3) разные виды сборок;

4) возможность генерации нескольких.apk файлов;

5) переборка кода (изменение внутренней структуры программы без модификации поведения и работы приложения);

6) статический анализатор кода, который позволяет находить ошибки в производительности, несоответствие версий и другое;

7) встроенная защита приложения (ProGuard) и программа для подписывания разрабатываемого продукта;

8) наличие шаблонов основных макетов и компонентов Android;

9) возможность создавать приложения для Android Wear и Android TV;

10) встроенный облачный сервис Google Cloud Platform;

11) Android Studio 2.1 поддерживает обновленный компилятором Jack на платформе x86, Java 8 и функцию Instant Run, которая сокращается время сборки приложения;

12) поддержка виртуальной и дополненной реальности.

Xamarin - среда разработки для кроссплатформенной разработки приложений под мобильные операционные системы, использующий язык программирования C# [15].

Особенности:

1) основа на платформе.NET - Mono;

2) собственный компилятор C#;

3) возможность запускать программы на C# на операционных системах, не основанных на Windows;

4) поддержка ОС Android и iOS.

Unity3D - преимущественно игровой инструмент для разработки двухмерный и трехмерных видеоигр, однако также движок подходит для создания различных приложений [16].

Особенности:

1) поддержка DirectX и OpenGL;

2) поддержка устройств под управлением Windows, OS X, Windows Phone, Android, Apple iOS, Unix;

3) поддержка игровых консолей Wii, PlayStation 3, PlayStation 4, Xbox 360, Xbox One и Switch;

4) имеется возможность создавать приложения, запускаемых в интернет-браузерах, посредством подключаемого модуля Unity Web Player;

5) интерфейс с поддержкой Drag&Drop;

6) поддержка ОС Android и iOS;

7) поддержка виртуальной и дополненной реальности.

Unreal Engine 4 - игровой движок, созданный компанией Epic Games, использует язык C++ и поддерживает большинство операционных систем [17].

Особенности:

1) совместимость с компьютерами на операционной системе Microsoft Windows, Linux, Mac OS и Mac OS X;

2) поддержка игровых платформ, среди которых Xbox One, Xbox 360, PlayStation 2, PlayStation 3, PlayStation 4, PS Vita и Switch;

3) упрощенное портирование с использованием модульной системы зависимых компонентов;

4) поддержка систем рендеринга (OpenAL и другие) и воспроизведения звука (A3D и другие);

5) плотная интеграция с онлайн-сервисами.

Вывод: на основе обзора был выбран фреймворк Unity3D, так как он выключает богатый набор функций и возможностей для работы с виртуальной и дополненной реальностью, а также с легкостью компилировать приложения для ОС Android.

2.3 Обзор инструментов для создания AR

Для создания дополненной реальности можно использовать как собственные программные средства, так и уже готовые решения. Ниже будут рассмотрены программное обеспечение и модули, которые встраиваются в среду разработки, позволяя работать с AR-инструментами.

SDK:

1) Vuforia

2) OpenSpace3D

3) ARmedia

4) Google Tango

Vuforia - инструмент для создания дополненной реальности для мобильных устройств [18]. Используется технологии компьютерного зрения. Платформа имеет плотную интеграцию с Unity.

Особенности:

1) отслеживание плоских и объемных объектов (например, кубических);

2) распознавание текста;

3) распознавание цилиндрических маркеров;

4) поддержка одновременного захвата нескольких маркеров;

5) совместимость с iOS и Android.

OpenSpace3D - платформа для создания программного обеспечения с поддержкой виртуальной и дополненной реальности [19].

Особенности:

1) интуитивный принцип работы, использующий блок-схему, позволяя разрабатывать почти без программирования;

2) система теней, партиклов и бликов;

3) поддержка Oculus Rift и Microsoft Kinect.

ARmedia - программа, позволяющая прямо на мобильном устройстве создавать дополненную реальность [20]. Готовые материалы можно интегрировать в сторонние разработки.

Особенности:

1) возможность захвата и отслеживания;

2) моделирование на мобильном устройстве;

3) поддержка серий из фотографий;

4) экспорт отснятых материалов и моделей.

Google Tango - технология для создания дополненной и виртуальной реальности от Google [21].

Особенности:

1) возможность захвата и отслеживания с мобильного девайса;

2) построение трехмерной карты и отслеживания перемещений;

3) привязка виртуальных объектов к карте мира;

4) считывания объектов с помощью инфракрасных датчиков, захват отраженного света;

5) интеграция со сторонними приложениями посредством Java.

Вывод: более подходящим модулем для работы с дополненной реальностью является Vuforia, которая полностью совместима с выбранной ранее Unity3D и способна работать с несколькими маркерами одновременно. Также Vuforia может похвастаться лучшим качеством распознавания ключевых точек.



3. Моделирование информационной системы

3.1 Концептуальная модель

Входные данные:

- данные, предоставляемые пользователем.

К данным, которые вводит пользователь, относятся захваченные камерой устройства изображения. Картинка сопоставляется с базой данной, которая внесена в информационную систему. Пользователь взаимодействует посредством графического интерфейса.

К ним относятся:

- компоненты:

- кнопки;

- поля с текстовой информацией;

- изображения;

- селекторы;

- виртуальный указатель (курсор).

Выходные данные:

- определение захваченного маркера и вывод соответствующей информации.

Основываясь на определенных выше функциях для решения задач в разрабатываемой программы, можно привести диаграмму вариантов использования текущей разработки (Рис. 1).



Рис. 1. Диаграмма вариантов использования концептуальной модели программы «Программа для выполнения лабораторных работ по переходным процессам»

Пользователь запускает приложение на мобильном устройстве, после чего выбирает в главном меню (Рис. 2) нужный ему режим. Перечисленные ниже. Там же можно выйти из программы по нажатию кнопки «Выход». Главное меню содержит следующие пункты:

1) «Инфо» - краткое описание каждого элемента рабочей платы при наведении камеры и электронная версия методических указаний;

2) «Старт» - пошаговое выполнение и инструкции по лабораторной работе;

3) «Стерео» - стереоскопический режим, при котором можно пользоваться приложением в очках виртуальной реальности;

4) «Тяжелый старт» - пользователь выбирает две точки на схемы, программа проверяет выбор на правильность и выдает сообщение о правильности или не правильности;

5) «Тест» - тестирование по теме лабораторной работы.

Рис. 2. Главное меню программы «Программа для выполнения лабораторных работ по переходным процессам»

3.2 Логическая модель

В соответствии с проведенным обзором и анализом выше и сформированным перечнем требований для разработки была выбрана среда разработки Unity3D с модулем Vuforia.

Разрабатываемый программный продукт скомпилирован в Unity3D для мобильных устройств под управлением Android и имеет расширение.apk. Приложение устанавливается на портативное устройство, после чего оно запускается пользователем с рабочего стола или полного списка всех установленных программ.

Принцип работы программы:

1) пользователь запускает приложение;

2) из главного меню «кликает» по нужной кнопке;

3) программа анализирует выбор пользователя и запускает нужные ему режим;

4) после завершения работы пользователь может сменить режим или выйти из приложения.

Приложение включает несколько модулей:

1) графические модули;

2) модули передачи графического представления;

3) модули передачи и анализа данных;

4) модуль работы с дополненной реальностью.

На основании вышеперечисленных модулей можно сформировать диаграмму классов концептуальной модели приложения (Рис. 3), которая демонстрирует основные связи между составляющими программного обеспечения.

Рис. 3. Диаграмма классов концептуальной модели информационной системы «Программа для выполнения лабораторных работ по переходным процессам»

Описание элементов диаграммы:

1) dipGUI - визуализация контента;

2) dipAR - дополненная реальность;

3) dipAnalyze - анализ данных, поступающих на камеру;

4) dipController - управление системой;

5) Model Places - ключевые точки для определения местонахождения объектов взаимодействия (кнопки меню);

6) Plane Places - элементы меню;

7) Model Pref - всплывающие подсказки;

8) Elems - массив подсказок для каждого из маркеров;

9) Metod Pages - методические указание по выполнению лабораторной работы;

10) Questions - вопросы теста, на которые пользователь должен дать ответ;

11) Answers - варианты ответов на вопросы;

12) HardPoints - точки элементов на электрической схеме;

13) HardPlanes - плоскости на схеме.

Для подключения новых модулей стоит поместить новый модуль в общий каталог модулей приложения и соединить его системой. После добавления модуля может потребоваться перезагрузка Unity для корректной работы новой функции.

Каталог с модулями приложения расположен по следующему пути: «Dip/Assets/AppContent/Scripts».



4. Разработка приложения

Как было написано выше, для разработки была выбрана программная среда Unity3D, в которой проводилась основная часть работы с использованием языка программирования C#. В присоединенном модуле Vuforia проводилось создание меток для дополненной реальности.

Для внедрения меток в приложение был сделан ряд фотографий стенда по электротехнике NI Elvis II. Сделанные фотографии обрабатывались в графическом редакторе на персональном компьютере, после чего загружались на сайт Vuforia. После компиляции маркеры встраивались в Unity.

Движок Unity позволяет гибко настраивать взаимодействие приложения с метками и работать сразу с множеством ключевых точек. В Vuforia встроен набор ARToolKit - библиотека для создания приложений с поддержкой дополненной реальности на языке программирования C++.

В Unity можно настраивать картинку, камеру и объекты приложения. Объекты, которые содержит разрабатываемая информационная система, приведены на рисунке 4 со скриншотом рабочей среды.

Рис. 4. Объекты программы «Информационная система для выполнения лабораторных работ по переходным процессам»

На рисунке выше можно увидеть трехмерные модели, которые связаны с созданными маркерами. Поясним некоторые элементы:

1) arrow1 - стрелка-указатель, которая подсказывает пользователю, какие элементы следует соединить;

2) ampermetr - амперметр;

3) voltmeter - вольтметр;

4) earth - «земля»;

5) Е - источник тока;

6) transformer - трансформатор;

7) clem - клеммы.

Используемые объекты в скрипте Game Logic для взаимодействия приложения с объектами (маркерами), отражено на рисунке 5. Определяются элементы массивы в меню Vuforia. Каждый элемент, созданный в Unity, помещается в соответствующей ему массив.

Рис. 5. Объекты информационной системы «Программа для выполнения лабораторных работ по переходным процессам»



Скрипт с процессом загрузки выбранного пункта меню Progress Bar представлен на рисунке 6. Он активируется при наведении «кружочка» (загрузки) на точку, которая находится на кнопке. Определяется, какая кнопка попадает в указатель, копирует ее название и отправляет в Game Logic. Чтобы клик (нажатие) был определен, сделана загрузка, при ии 100% который клик становится «истинной».

Рис. 6. Указатель процесса загрузки информационной системы «Программа для выполнения лабораторных работ по переходным процессам»

Стоит отметить, что для корректного запуска приложения, устройство должно обладать следующими минимальными характеристиками:

Операционная система: Android 4.3

Свободная память: 500 Мб

Оперативная память: 1 Гб

Тип экрана: сенсорный

Разрешение экрана: 1280х720

Камера: 5 Мп



5. Проведение эксперимента

5.1 Схема работы приложения

После запуска установленной на портативном устройстве программы пользователя может выбрать один из четырех пункта меню. Все пункты, кроме «Выхода», продолжают работу приложения по заданному сценарию.

По выбору пункта «Стерео» картинка разделяется на два изображения, что позволяет работать с использованием очков виртуальной / дополненной реальности, не используя руки.

В режимах «Инфо», «Тяжелый Старт», «Старт» и «Тест» можно работать как в стерео, так и в обычном режиме. По выборе «Инфо» пользователь может по наведению получить краткую информацию об элементе на плате, а также может открыть методические указания. «Тяжелый Старт» запускает выполнение лабораторной работы с подсказками, в «Старт» пользователю уже самому нужно указать разъемы, а «Тест» проверит знания по текущей теме.

Схема работы приложения представлена на рисунке 7, схема взаимодействия приложения с внешними модулями представлена на рисунке 8.



Рис. 7. Диаграмма классов концептуальной модели программы «Программа для выполнения лабораторных работ по переходным процессам»



Рис. 8. Концептуальная модель взаимодействии программы с остальными устройствами

1 - мобильное устройство под управление операционной системы Android.

2 - плата INT-EE на рабочей станции NI ELVIS II от компании National Instrument.

3 - персональный компьютер.

4 - графическая среда программирования NI LabVIEW.

5 - шлем / очки виртуальной / дополненной реальности.

5.2 Результаты эксперимента

Очевидных возможных результатов работы информационной системы всего три, один на каждый основной режим. Так, для «Инфо» - это вывод информации об электрическом элементе, «Старт» и «Тяжелый старт» - окончание сборки схемы электрической цепи, «Тест» - оценка за ответы на теоритические вопросы по теме лабораторной работы.

Режим «Инфо»

После выбора пункта меню «Инфо» приложение переходит в режим отображения информации об элементах рабочего стенда. Если пользователь указывает объективом камеры мобильного устройства на рабочий стенд, то на дисплее появится краткое описание всех ее элементов. Пример работы «Инфо» приведен на рисунке 9.

Рис. 9. Пример работы режима «Инфо»

В подразделе режима можно открыть электронную версию методички с подробными инструкциями по выполнению лабораторной работы, которую можно закрыть (Рис. 10).

Рис. 10. Пример работы режима «Инфо»

Режим «Старт»

При «Старте» приложение запускает пошаговую инструкцию по выполнению лабораторной работы по переходным процессам. На каждом шаге практической работы программа анализирует элементы схемы, каждый из которых является маркером (Рис. 11). Переход к следующему шагу выполняется по нажатию кнопки «Далее», которая появляется после запуска режима.

Пользователю с помощью стрелочек указываются электрические компоненты, которые на текущем шаге надо соединить проводом, как можно увидеть на рисунке ниже. После выполнения всех этапов электрическая цепь замыкается. Следующий шаг переключается по кнопке «Далее».

Рис. 11. Пример работы режима «Старт»

Режим «Стерео»

Нельзя не отметить режим стереоизображения, позволяющий пользоваться приложением без использования рук и взаимодействовать с GUI с помощью взгляда. Переключение из обычного режима происходит в главном меню по выбору соответствующего пункта. После нажатия изображение, которое захватывается камерой устройства, разделяется на два идентичных изображения, одно под каждый глаз (Рис. 12).

Рис. 12. Пример работы режима «Стерео»

Режим «Тяжелый Старт»

В данном режиме пользователь должен самостоятельно определить подходящие точки на схемы для соединения проводом (Рис. 13). Если выбрана правильная пара точек, приложение сообщает о верном соединении (Рис. 14), в противном случае появится сообщение об ошибке.

Рис. 13. Пример работы режима «Тяжелый Старт»



Рис. 14. Пример работы режима «Тяжелый Старт»

Рис. 15. Пример работы режима «Тяжелый Старт»

Режим «Тест»

Режим призван проверить теоретические знания студентов по выполняемой лабораторной работы. Последовательно появляются вопросы, а также несколько вариантов ответов (Рис. 18).



Рис. 18. Пример работы режима «Тест»

Программа из исходных 10 баллов вычитает по одному баллу за неправильный ответ. По окончанию выполнения теста студент получает итоговую оценку (Рис. 19).

Рис. 19. Пример работы режима «Тест»



6. Перспективы

Согласно аналитикам [22], дополненная реальность с каждым годом стремительно развивается. Если в 2014 году количество пользователей не превышало 200 миллионов, то в 2016-ом эта цифра выросла в два раза. Как можно увидеть из рисунка 20, сфера образования является наиболее перспективным путем развития данной технологии.

Рис. 20. Темпы роста сферы дополненной реальности (количество активных пользователей)

Разработанное программное обеспечение может быть успешно внедрено в базовый курс «Электротехника». Приложение может быть дополнено другими лабораторными работами, которые выполняются на плате NI Elvis II. Выбор практической работы будет осуществляться из главного меню, принцип работы останется неизменным.

В будущем возможно расширение не только каталога работ, но и создание подобных приложений по другим прикладным дисциплинам. Например, пользователи смогут выполнять лабораторные работы по электронике или светотехнике, физике или химии. В таком случае придется внести серьезные изменяя и изменить логику функционирования приложения.



Заключение

Исследования показали, что приложения с применением дополненной реальности помогают лучше усваивать новый материал, поэтому это является эффективным средством в сфере образования.

Подобные системы позволяют студентам моментально получать информацию в случае возникновения проблем, не листая бумажные методические указания в поисках ответа на нужный вопрос.

Проведенный обзор и анализ информационных систем с использованием дополненной реальности позволил определить основное направление развитие рассматриваемой сферы и ключевые методы применения, а также сформулировать требования к новой образовательной системе для выполнения практических работ по электротехнике. Обзор и анализ методов построения подобной системы позволил определить подходящий путь создания приложения, а также выбрать среду разработки и вспомогательное ПО.

Движок Unity отлично себя показал не только в качестве фреймворка для разработки компьютерных видеоигр, но и создании образовательного приложения. Модуль Vuforia позволил создать качественные метки для определения меток, с которыми связаны трехмерные модели с информацией.

В результате моделирования информационной системы для выполнения лабораторных по переходным процессам была разработана концептуальная модель взаимодействия приложения с пользователем и приложения с рабочим стендом. Предложена логическая модель, которая позволяет выполнять пользователю поставленные задачи или разобраться в непонятных моментах, а также проверить свои знания.

Теоретические результаты эксперимента подтвердили эффективность предложенных методов и алгоритмов, а также показали жизнеспособность данной работы. Приведены результаты практического использования методики

применения информационной системы с использованием технологии дополненной реальности в сфере образования, а также рекомендации по его использованию (раздел 5).

Было разработано программное обеспечение для устройством под управлением мобильной операционной системы Android для выполнения лабораторных работ студентами, позволяющее пользователям моментально получить сведения о текущем задании, элементах электронной цепи и проверить свои знания по сборке электрической схемы.

Были обозначены экономические преимущества разработанной системы, а также описаны перспективы развития. Обозначены воздействия на экологию и здоровье пользователя.



Список использованной литературы

1. Nor Farhah Saidin, Noor Dayana Abd Halim, Noraffandy Yahaya / A Review of Research on Augmented Reality in Education: Advantages and Applications // International Education Studies - 2015 - Vol 8 - No 13.

2. Kangdon Lee / Augmented-Reality-in-Education-and-Training // TechTrends - 2012 - Vol 52 - P. 13-21.

3. This Is How Google Keeps 1.4B Android Devices Safe? [Электронный ресурс] / forbes.com. - URL.: https://www.forbes.com/sites/leemathews/2017/02/20/this-is-how-google-keeps-1-6-billion-android-devices-safe/#7159635c3137 (Дата обращения: 27.11.16).

4. Что такое дополненная реальность? [Электронный ресурс] / arnext.ru. - URL.: http://arnext.ru/dopolnennaya-realnost (Дата обращения: 26.11.16).

5. Смешанная реальность, AR, VR - типы виртуальных удовольствий [Электронный ресурс] / iguides.ru. - URL.: https://www.iguides.ru/main/gadgets/smeshannaya_realnost_ar_vr_tipy_virtualnykh_udovolstviy/ (Дата обращения: 26.11.16).

6. Сайт Augmented Reality [Электронный ресурс] / augmentedrealitydevelopmentlab.com. - URL.: http://augmentedrealitydevelopmentlab.com/ (Дата обращения: 12.12.16).

7. Сайт Physics Playground [Электронный ресурс] / physicsplayground.com. - URL.: http://www.physicsplayground.com/ (Дата обращения: 12.12.16).

8. Раздел сайта NASA [Электронный ресурс] / nasa.gov. - URL.: https://www.nasa.gov/mission_pages/newhorizons/main/index.html (Дата обращения: 12.12.16).

9. Wearable Widgets [Электронный ресурс] / wearablewidgets.com. - URL.: http://wearablewidgets.com/glass/ (Дата обращения: 12.12.16).

10. Сайт Blippar [Электронный ресурс] / blippar.com. - URL.: https://blippar.com/en/ (Дата обращения: 12.12.16).

11. Сайт Anroid Studio [Электронный ресурс] / developer.android.com. - URL.: https://developer.android.com/studio/index.html (Дата обращения: 17.01.17).

12. Сайт Xamarin [Электронный ресурс] / xamarin.com. - URL.: https://www.xamarin.com/ (Дата обращения: 17.01.17).

13. Сайт Unity3D [Электронный ресурс] / unity3d.com. - URL.: https://unity3d.com/ru (Дата обращения: 17.01.17).

14. Сайт Unreal Engine [Электронный ресурс] / unrealengine.com. - URL.: https://www.unrealengine.com/ (Дата обращения: 17.01.17).

15. Сайт Vuforia [Электронный ресурс] / vuforia.com - URL: https://developer.vuforia.com/ (Дата обращения 17.12.16).

16. Сайт OpenSpace3D [Электронный ресурс] / openspace3d.com. - URL.: http://www.openspace3d.com/ (Дата обращения: 17.01.17).

17. Сайт AR-media [Электронный ресурс] / armedia.it. - URL.: http://www.armedia.it/ (Дата обращения: 17.01.17).

18. Сайт Google Tango [Электронный ресурс] / get.google.com. - URL.: https://get.google.com/tango/ (Дата обращения: 18.01.17).

19. Smartphone OS Market Share, 2016 Q3 [Электронный ресурс]. URL: http://www.idc.com/promo/smartphone-marketshare/os; jsessionid=C5A957A2AD6B0E10ACA97F01FE59DF50 (дата обращения: 08.01.2016).

20. What Is Augmented Reality and How Can Engineers and Designers Use It? [Электронный ресурс]. URL: http://www.engineering.com/DesignSoftware/DesignSoftwareArticles/ArticleID/11873/What-Is-Augmented-Reality-and-How-Can-Engineers-and-Designers-Use-It.aspx (дата обращения: 08.01.2016).

21. Augmented Reality Tutorial No. 42: Augmented Reality Noughts and Crosses Game [Электронный ресурс] / https://youtu.be/-8cdEZQ9Da4? list=PLdov47qfNta3EHwK0uz2hL2wPtLsUEfNm (Дата обращения: 30.01.17).

22. Раздел на сайте National Instruments [Электронный ресурс] / ni.com. - URL.: http://www.ni.com/en-us/support/model.ni-elvis-ii.html (Дата обращения: 25.11.16).

23. Благовещенский И.А., Демьянков Н.А. Технологии и алгоритмы

24. для создания дополненной реальности - Моделирование и анализ информационных систем. 2013. №3. С. 129-138.

25. Martin S. Banks. Stereoscopy and the Human Visual System / Martin S. Banks, Jenny C.A. Read, Robert S. Allison, Simon J. Watt // SMPTE Motion Imaging J. - 2012 - Vol 121 - P. 24-43.

26. Яковлев Б.С. Классификация и перспективные направления использования технологии дополненной реальности / Яковлев Б.С., Пустов С.И. // Известия Тульского государственного университета. Технические науки - 2013 - №3 - С. 484-491.

27. Jennifer L. Chiu, Jie Chao. The Effects of Augmented Virtual Science Laboratories on Middle School Students' Understanding of Gas Properties // Computers & Education. 2015. Vol 85. P. 59-73.

28. Ступин И.А. Дополненная реальность как эффективное инновационное средство для повышения качества образования // Computers & Education. 2012. №4. С. 67-74.

29. Буженко Р.М., Зотин А.Г. Методика и проблемы создания дополненной реальности // Актуальные проблемы авиации и космонавтики. 2011. Том. 1. No. 7. С. 353.

30. Распознавание маркера дополненной реальности [Электронный ресурс] / Geektimes.ru. - URL: https://geektimes.ru/post/135659/ (Дата обращения: 24.01.17).

31. Подробно о Xamarin [Электронный ресурс] / habragabr.ru. - URL.: https://habrahabr.ru/post/188130/ (Дата обращения: 30.03.17).

32. Augmented Reality Apps: The future is real + virtual [Электронный ресурс] / Xcubelabs.com. - URL: https://www.xcubelabs.com/our-blog/enterprise-mobility/augmented-reality-apps-the-future-is-real-virtual/ (Дата обращения: 21.03.17).

33. Особенности оформления дипломной работы [Электронный ресурс] / пишем-диплом-сами. рф. - URL.: http://www.xn-8kcodrdcygecwgg0byh.xn-p1ai/pravila-oformleniia-diplomnoi-raboty (Дата обращения: 30.03.17).

34. Обзор и анализ систем любительскои? стереоскопическои? съемки видео / Л.Р. Гимашев, А.М. Кирилловых // Межвузовская научно-техническая конференция студентов, аспирантов и молодых специалистов им. Е.В. Арменского. Материалы конференции. - М. ~: МИЭМ НИУ ВШЭ, 2017 - P. 434 - 437

Размещено на Allbest.ru

...