Разрабатываемое приложение не использует никаких сетевых модулей для передачи данных, оно полностью выполняется на мобильном устройстве. Приложение является программным обеспечением для операционной системы Android. Как уже говорилось, приложение использует три основных модуля:

· модуль распознавания;

· модуль создания меток и сам механизм дополненной реальности;

· модуль трехмерной графики.

Модуль распознавания представлен библиотекой компьютерного зрения OpenCV. С помощью ее функционала и ее методов в приложении реализована возможность распознавания планировок квартир. То есть благодаря ей программное обеспечение понимает изображение планировок и извлекает координаты стен, оконных и дверных проемов.

Инструментарий разработчика Vuforia выступает в приложении в качестве модуля для создания эффекта дополненной реальности. Благодаря ему создается эффект привязки полученной 3D-модели к планировке на изображении с камеры.

Для создания трехмерных сцен в приложении используется библиотека OpenGL. Она выступает в качестве модуля трехмерной графики.

3.2 Структура разрабатываемого приложения

Механика работы разрабатываемого приложения следующая:

1. Вначале пользователь должен определить, что за планировка лежит у него перед глазами: стены изображены штриховой линией либо черной жирной;

2. Следующим шагом он наводит камеру своего мобильного устройства на планировку, изображенную на листе бумаги;

3. Далее пользователь ждет пока камера его устройства поймает «фокус» и изображение на экране будет не размытым и четким;

4. После этого он должен нажать на кнопку, которая в свою очередь запустит механизм распознавания и построения 3D модели макета квартиры. Вместе с этим происходит создание метки для позиционирования виртуальной модели квартиры в дополненной реальности;

5. При успешной работе алгоритма, планировка квартиры полностью распознается, и пользователь увидит полученную трехмерную модель будущей квартиры на экране мобильного устройства в режиме дополненной реальности.

3.4 Описание алгоритма распознавания разрабатываемого приложения

Как говорилось раньше, чтобы работать с изображениями в библиотеке компьютерного зрения OpenCV существует специальный класс для хранения изображения Mat. Все преобразования и функции применяются по отношению к ним.

Рассмотрим реализованный в разрабатываемом приложении алгоритм распознавания планировок. Исходное изображение планировки квартиры показано на рисунке 2.

Рисунок 2. Исходное изображение планировки

В ходе изучения возможностей библиотеки OpenCV было решено использовать метод поиска замкнутых контуров findContours для нахождения положения стен квартиры. Для реализации данного метода нужно использовать восьмибитное изображение (каждый пиксель кодируется 8 битами) - то есть черно-белое изображение планировки. Чтобы получить черно-белое изображение из цветного использовался метод cvtColor. Далее, алгоритм расходится на две ветви: для планировок, стены на которых были изображены штриховой и черной жирной линией. Для того чтобы определить положение стен, изображенных штриховой линией, использовался специальный алгоритм для улучшения изображения и удаления лишний деталей.

Рассмотрим, что происходит с изображением, если требуется распознать планировку с штриховыми линиями, которые показывают расположение стен. Вначале полученное из метода cvtColor черно-белое изображение с помощью метода adaptiveThreshold делается инверсным и каждый пиксель подвергается сравнению с определенным порогом, в результате которого пиксель становиться либо полностью белым, либо полностью черным. Далее применяется функция delite, которая позволяет с маской определенных размеров увеличить количество определенных пикселей, значения которых близки к среднему максимуму в пределах маски. После применения данного метода изображение становится более насыщенным и все его элементы выделяются сильнее белым цветом. Далее с изображением работает метод morphologyEx, который убирает «черный шум» со всех белых линий изображения, для того, чтобы стены выделялись на фоне остальных дополнительных элементов планировки. После этой операции, алгоритм снова становится единым, как для стен исполненных штриховой линией, так и для стен, которые изображены черной сплошной линией.

Чтобы в область распознавания не попало ничего лишнего, кроме самой планировки, используется метод для нахождения замкнутых контуров, а именно findContours. Следует отметить, что данной процедурой можно пренебречь, так как на вход данного метода принимаются только двух цветное изображение, которое получается из исходного, методом Canny, и он не всегда срабатывает корректно. Для того, чтобы «найти» планировку квартиры на изображении используется метод нахождения самого большого контура изображения, так как при фотографировании планировки квартиры вся квартира и будет являться самым большим контуром. Это происходит простым перебором всех распознанных контуров. После нахождения требуемого контура происходит заливка черным цветом всей остальной части изображения, чтобы лишние компоненты не мешались при распознавании стен.

Непосредственно после этого к изображению применяются методы распознавания стен, опять же разные для каждого вида стен. Для распознавания стен, изображенных штриховой линией использовался метод wallDetector_hatch, а для стен, изображенных сплошной черной линией - wallDetector_solid. В первом с помощью метода getStructuringElement из изображения были «выдернуты» все прямоугольные тонкие линии, которые и являются искомыми стенами. Полученное новое изображение было помещено в экземпляр класса Mat под названием walls. Второй же метод более сложный так как сначала распознает стены изображенные сплошной линией, а затем с помощью маски закрашивает черным цветом те места, которые не являются стенами на исходном изображении. Благодаря этому приему, с полученного изображения (которое передается в экземпляр класса Mat walls) убираются лишние детали, которые не должны быть приняты в качестве стен.

После проделывания описанных действий, программа имеет белые очертания стен (вытянутые прямоугольники). Промежуточный результат работы программы изображен на рисунке 3.

Рисунок 3. Промежуточный результат выполнения алгоритмы программы

Далее опять же с помощью уже упоминавшегося метода findContours программа находит все контуры полученного на предыдущем шаге изображения. В результате все найденные замкнутые контуры будут соответствовать расположению всех стен в заданной планировке. Но полученные контуры будут состоять из большого количества точек. Это ведет к неточностям при построении 3D-модели, так как плоскость стены возможно будут получаться неровной, что не соответствует исходной планировке. Для этого используется метод contours_points класса ModelBuilder. Он удаляет лишние точки контура для достижения более правдивого результата построения трехмерной модели. Удаляются только те точки, угол между которыми больше 115 градусов.

Чтобы преобразовать координаты точек контуров стен, распознанных с экрана мобильного устройства, в координаты виртуального трехмерного пространства так, чтобы полученная трехмерная модель в режиме дополненной реальности накладывалась на изображение с камеры как будто трехмерная модель - результат выдавливания стен планировки вверх, нужно применить формулу:

В итоге все полученные точки контуров помещаются в список списков Point - counter_wall, то есть в нем хранятся списки типа Point (тип данных который хранит координаты точек, имеет атрибуты x и y), которые соответствуют разным контурам. Имея все точки в таком списке легко составить массив, который содержит X- и Y-координаты вертексов искомой 3D-модели. Z-координата приравнивается к определенному статическому значению, которое обозначает высоту выдавливания, оно не меняется от планировки к планировке.

Также приложение способно распознавать не только стены, но также дверные проемы и окна, изображенные на планировке. При этом остается проблема несогласованности стандартов изображения планировок квартир у разных застройщиков, что создает трудности работы алгоритма. Результаты получаются не одинаковыми.

Для распознавания дверных проемов на планировке, в приложении создан метод под названием doorDetector, который использует встроенные алгоритмы OpenCV. В этом методе используется прием поиска по шаблону под названием matchShapes. Он сравнивает не пиксели изображения, а его контуры. Другими словами, в разрабатываемом приложении хранится шаблон дверного проема, чтобы производить сравнивания с контурами изображения. Он изображен на рисунке 4.

Рисунок 4. Шаблон для поиска дверных проемов

В данном случае программа сначала находит самый большой контур шаблона, затем находит все контура изображения с камеры мобильного устройства. Также как и раньше, контуры изображения распознаются с помощью метода findContours. После этого перебором функция matchShapes сравнивает контуры изображения с шаблонным, так и происходит поиск дверных проемов.

Для поиска оконных проемов не используется специальных алгоритмов, так как стандарты обозначения оконных проемов отличаются от застройщика к застройщику. Основываясь на данной планировке, был разработан метод, который ищет подходящее расположение распознанных контуров. Если же их расположение соответствует обозначению оконного проема, следовательно, на этом месте строится оконный проем.

На рисунке 5 изображен весь алгоритм распознавания стен планировки.

Рисунок 5. Алгоритм работы разрабатываемого приложения

Рассмотрим, как строится конечная 3D-модель квартиры. Имея массив точек verts и массив нормалей normals, передавая их в класс ModelShape, который наследует GLSurfaceView. Renderer можно легко отобразить полученную модель на экране мобильного устройства. Это становится возможным из-за того, что точки в массиве verts идут в следующем порядке: сначала координата x, потом y и соответственно z. То есть каждые три последовательных элемента массива описывают один вертекс. Девять идущих друг за другом элементов - описывают один треугольник, и так далее. Массив составлен таким образом, что все его числа будут описывать целиком выходную трехмерную модель квартиры. Массив нормалей описывает нормализованные векторы для каждого вертекса. Это нужно в первую очередь для расчета цвета каждого треугольника, для более реалистичного восприятия.

Для того чтобы сохранить полученную трехмерную модель квартиры в популярном формате «STL» нужно просто записать в текстовый файл координаты полигонов в соответствующем порядке. Рассмотрим структуру, которой должен соответствовать файл «STL». Всегда в начале такого файла должен идти заголовок, состоящий из 80 байт, затем количество треугольников (полигонов) - целое число (Int). Далее каждый треугольник описывается двенадцатью 32 битными числами с плавающей запятой: 3 числа для нормали и по 3 числа на каждую из трёх вершин для X/Y/Z координат. После этого в файле должны идти 2 байта беззнакового «short».

4. Работа приложения и апробация

Разрабатываемое приложение было опробовано в действии на нескольких различных планировках, стандарты изображения которых похожи. На рисунке 6 представлены исходные изображения планировок, которые напечатаны на листе бумаги А4.

Рисунок 6. Исходные изображения планировок

Для корректной работы приложения пользователь должен поднести телефон в портретном режиме к планировке, напечатанной на листе бумаги. После этого пользователь дожидается, когда изображение на экране станет четким, то есть когда камера «поймает» фокус. Также перед непосредственным распознаванием нужно выбрать метод распознавания в зависимости от типа стен, изображенных на планировке. Затем пользователь должен нажимать на кнопку распознавания. Сам процесс распознавания занимает определенное количество времени: от 15 до 30 секунд. Это связано с тем, что для работы метода findContours требуется много расчетов и работы с памятью.

На рисунке 7 показан результат распознавания двух различных планировок. Здесь зеленым цветом обведены контуры распознанных стен, что на самом деле соответствует действительности. Желтым цветом показано месторасположение оконных проёмов, что также соответствует планировкам. Красным же цветом изображены дверные проемы. Следует отметить, что данные планировки отличаются стандартами изображения, но алгоритм распознавания для них работает практически идентично.

Рисунок 7. Результат распознавания

На рисунке 8 изображены полученные трехмерные модели квартир в дополненной реальности. При просмотре создается ощущение, что стены трехмерной модели выдавлены вверх из нарисованных стен планировки.

Рисунок 8. Полученные 3 - модели в дополненной реальности

На рисунке 9 показан вид (Activity) приложения на котором пользователь может просматривать полученную трехмерную модель квартиры в виртуальном пространстве. Пользователь может вращать и масштабировать 3D-модель, чтобы рассмотреть все ее детали. В сцену добавлен источник света, который вращается по часовой стрелке на некоторой высоте от модели для того, чтобы пользователь смог лучше видеть расположение стен в квартире.

Рисунок 9. Полученные 3 - модели в отдельном Activity

Как уже упоминалось в приложении есть возможность сохранять полученную модель в формате «STL». На рисунке 10 изображен вид получившейся модели квартиры в 3D-редакторе 3ds Max.

Рисунок 10. Полученные 3 - модели в отдельном Activity

Заключение

В ходе данной работы был разработан программный продукт, который способен распознавать планировки квартир и строить по ним трехмерные модели. Разработанное приложение предназначено в первую очередь для мобильных устройств на базе Android. В работе представлен алгоритм распознавания планировок квартир, а именно стен, оконных и дверных проемов. В ходе работы был произведен анализ инструментов для разработки приложений для операционной системы Android, также был сделан обзор и анализ самых популярных библиотек компьютерного зрения. В ходе работы также были рассмотрена популярные и важные методы компьютерного зрения библиотеки OpenCV. В работе содержится анализ библиотеки OpenGL для создания трехмерной графики на мобильных устройствах. Был произведен эксперимент, который подтвердил работоспособность алгоритма распознавания планировок квартир, полученные 3D-модели удалось открыть и редактировать во всех популярных 3D-редакторах.

Все поставленные задачи были решены, а именно: распознавание планировок, построение 3D-модели квартиры на экране мобильного устройства как элемента дополненной реальности, возможность вращать и масштабировать полученную модель, возможность сохранять полученную модель. Также была достигнута поставленная цель - сократить время для построения трехмерной модели.

В перспективе планируется усовершенствовать алгоритм распознавания, чтобы строить трехмерные модели квартир, планировки которых были нарисованы от руки. Планируется создание облачного сервиса для выгрузки трехмерных моделей для того, чтобы пользователи могли быстрее переносить файлы моделей на другие устройства.

Литература