Онтологическое представление фотограмметрических методов для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям

Размещено на http://www.allbest.ru

Онтологическое представление фотограмметрических методов для решения задач определения геометрических параметров объектов по предварительно обработанным цифровым изображениям

Сергеев Николай Евгеньевич

Доктор технических наук, профессор кафедры вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета

Самойлов Алексей Николаевич

Кандидат технических наук доцент, заведующий кафедрой вычислительной техники института ком-пьютерных технологий и информационной безопасности Южного федерального университета

Половко Иван Юрьевич

Кандидат технических наук, доцент кафедры безопасности информационных технологий института компьютерных технологий и информационной безопасности Южного федерального университета

Аннотация

фотограмметрический цифровой задача

Основу построения систем, работающих на принципах анализа изображений, составляют конкретные методы обработки и их комбинации, чья эффективность доказана при решении множества при-кладных задач. В условиях частоты изменения и вариативности условий, при которых производится фото-съемка, а также постоянном пополнении пула методов, доступных для использования встает задача выбора таких методов на основе опыта разработки и применения. Очевидно, что компоненты, решающие такую за-дачу выбора, должны основываться на интеллектуальных технологиях. Это следует из того, что описания методов и их применения зачастую не формализованы и не подлежат обработке классическими методами. Для решения задачи выбора оптимального метода или совокупности методов авторами была решена задача составления единой модели на основе онтологий, которая позволяет выполнять такие задачи, как поиск, под-бор и извлечение. В предложенной онтологии содержатся знания о применимости методов и их сочетаний для отдельно взятых задач. Онтология описана на языке OWL и размещается в облачной среде, что обеспечивает её непрерывную доступность.

Ключевые слова: онтология, прикладная фотограмметрия, обработка изображений.

Abstract

Ontological presentation of photogrammetric methods for solving the problems of determining the geometric parameters of objects from pre-processed digital images

Sergeev Nikolay Evgenyevich

Doctor of Technical Sciences, Professor of the Department of Computer Engineering, Institute of Computer Technologies and Information Security, Southern Federal University

Samoylov Aleksey Nikolaevich

Candidate of Technical Sciences, Associate Professor, Head of the Department of Computer Engineering, Insti-tute of Computer Technology and Information Security, Southern Federal

Polovko Ivan Yuryevich

Candidate of Technical Sciences, Associate Professor of the Department of Information Technology Security, In-stitute of Computer Technology and Information Security, Southern Federal University

The basis for constructing systems operating on the principles of image analysis is made up of specific processing methods and their combinations, whose effectiveness has been proven in solving a variety of applied prob-lems. Given the frequency of change and variability of the conditions under which photography is performed, as well as the constant replenishment of the pool of methods available for use, the problem arises of choosing such methods based on the experience of development and application. It is obvious that the components that solve such a selection problem must be based on intelligent technologies. This follows from the fact that descriptions of methods and their application are often not formalized and cannot be processed by classical methods. To solve the problem of choosing the optimal method or a set of methods, the authors solved the problem of compiling a single model based on ontologies, which allows performing tasks such as search, selection and extraction. The proposed ontology contains knowledge about the applicability of methods and their combinations for individual tasks. The ontology is described in the OWL language and is hosted in the cloud, which ensures its continuous availability.

Keywords: ontology, applied photogrammetry, image processing.

Построение цифровых измерительных комплексов для нужд промышленности требует соблюдения определенных условий и ограничений, накладываемых нормативными докумен-тами, регламентами и требованиями к обеспечению качества технологических процессов. Можно выделить класс задач, для которых требуется соблюдение жестких ограничений по части предельно допустимых значений погрешности измерения и которые, в то же время, могут быть решены средствами автоматизации. К такому классу задач можно отнести изме-рение объема круглого лесоматериала, подсчет количества трубной продукции/арматуры (в особенности при пересортице) [1]. Задачи подсчета в отдельных случаях могут быть решены с помощью методов машинного обучения и нейронных сетей, эффективно справляющихся с задачами классификации объектов. В случае решения измерительных задач требуется ком-бинация методов, реализуемых как программными, так и аппаратными средствами, посколь-ку машинное обучение и нейронные сети позволяют говорить лишь о приблизительной точ-ности получаемых результатов.

Это приводит к появлению цифровых измерительных комплексов, таких, как «Каш-тан», «Ско-3», а также различных авторских подходов и методов [2-5]. Подобные решения, в свою очередь, применимы только для крупных предприятий в силу своей стоимости (в том числе стоимости создания инфраструктуры) и требований к квалификации персонала, ис-пользующего данные комплексы. Таким образом, складывается ситуация, когда малые пред-приятия не имеют возможности использования эффективных средств автоматизации и вы-нуждены использовать ручные методы обмера и обсчета.

Чтобы обеспечить малые предприятия автоматизированными средствами решения из-мерительных, задач необходимо создание малогабаритных мобильных комплексов, исполь-зующих оборудование общего назначения. Авторы в течение последних лет ведут исследо-вания в данном направлении, что привело к созданию концепции мобильно-облачной техно-логии измерения геометрических параметров объектов, использующей преимущества совре-менных мобильных устройств, снабженных цифровыми фотокамерами в части мобильности, автономности, сложности эксплуатации и облачных технологий, обеспечивающих доступ-ность вычислительных ресурсов из любой точки планеты [1].

Реализация данной концепции требует создания методов, методик и алгоритмов, позво-ляющих автоматизировать процедуру измерения, обеспечивая заданный уровень погрешно-сти, и выдвигающих минимальные требования к квалификации оператора. Основную про-блему при этом составляет определение методов и комбинаций методов, которые дают эф-фективный результат измерения в каждой отдельно взятой ситуации. Иными словами, долж-на решаться задача структурно-параметрического синтеза измерительной системы, соответ-ствующей условиям применения и характеру измерительной задачи.

С учетом известных подходов, решение проблемы подбора комбинации методов для проведения измерительной процедуры возможно следующими способами:

1. Итеративный ручной подбор. В данном случае выбор метода или комбинации мето-дов осуществляется оператором, который, проводя непрерывную сверку с эталоном, находит оптимальный набор и параметры методов, дающие желаемую точность результата;

2. Интеллектуальный подбор, основанный на методах машинного обучения. В данном случае используется обучающая выборка на множестве снимков, описывающих различные ситуации измерения (освещенность, ракурс, расстояние съемки и пр.) [6-15]. На основе этой выборки происходит обучение классификатора, работающего либо на базе искусственных нейронных сетей, либо на базе формализованных методов. С помощью классификатора оп-ределяются кластеры, для каждого из которых в дальнейшем происходит подбор метода. Ре-альные измерения при этом предполагают отнесение нового снимка к одному из выделенных на этапе обучения кластеров и последующий подбор соответствующего метода.

Первый способ не решает проблему автоматизации и, наоборот, увеличивает трудоем-кость измерительной процедуры. Второй способ требует наличия датасета [12-14], способ-ного учесть все возможные ситуации, и не гарантирует требуемой точности в случае, когда новый снимок не будет четко отнесен к одному из кластеров. Особенности реализации по-добных инструментов таковы, что оператор не получит информации о том, что измерение может быть неточным.

Для устранения недостатков вышеизложенных подходов необходимо комбинирова-ние ручного и интеллектуального способов подбора, учитывающих опыт применения ме-тодов в прошлом. Система должна «запоминать» опыт применения методов и комбинаций методов в каждой конкретной ситуации, а также выполнять эффективный поиск подходя-щего метода, дающего наиболее точный результат измерения при сохранении баланса вы-числительных нагрузок.

В данной статье представлена онтология фотограмметрических методов, позволяющая реализовать данную комбинацию в системе, предназначенной для определения геометриче-ских параметров объектов по предварительно обработанным цифровым изображениям.

Нечеткая онтология фотограмметрических методов

Основу системы, использующей интеллектуальные технологии, должна составлять база знаний. На сегодняшний день известно несколько базовых технологий, позволяющих хра-нить знания. К ним относятся фреймовые модели, продукционные правила, семантические сети и онтологии. Каждая из моделей нацелена на решение определенного круга задач. Од-нако с точки зрения решаемых в статье проблем ни одна из представленных моделей не при-менима, так как они основываются на точном сопоставлении: для слотов фрейма однозначно сопоставляется демон; для продукционных правил - значение антецедента и консеквентна; для семантических сетей и онтологий - вершины (узлы).

В реальной ситуации при использовании камеры мобильного устройства невозможно обеспечить настолько близкие параметры фотоснимков измеряемых объектов, чтобы по ним можно было однозначно установить соответствие подходящих методов в условиях примене-ния одной из вышеуказанных технологий хранения знаний. Выходом из ситуации может быть нечеткая онтология [16], которая позволяет выстроить взаимосвязи методов (комбина-ций методов) с каждой отдельно взятой ситуацией. Для построения подобных онтологий используется язык OWL и его расширение FuzzyOWL. В результате предварительно проведенных исследований нами была разработана нечеткая онтология методов и их комбинаций, применяемых для измерения объема круглого лесоматериала. Фрагмент данной онтологии, построенный в средстве Protege 4.3 c расшире-нием FuzzyOWL, представлен на рисунке 1.

В данной онтологии определены следующие классы верхнего уровня:

1. Класс “Measurement” - определяет доступные на данный момент виды измерений, выполняемые программно-аппаратным комплексом. Содержит подклассы, определяющие виды измерений:

a. Подкласс “Quantity” - определяет самый простой случай измерения - подсчет ко-личества объектов разных типов. Экземпляры класса содержат спецификации типов объек-тов, подсчет количества которых может производить система; Подкласс “Area” - определяет случай измерения площади объектов, расположен-ных на фотографии. Экземпляры класса содержат спецификации типов объектов, подсчет площади которых может производить система;

b. Подкласс “Volume” - определяет случай измерения объема объектов, располо-женных на фотографии. Экземпляры класса содержат спецификации типов объектов, под-счет объема которых может производить система, а также спецификации переменных, вво-димых оператором вручную для точного описания объекта.

Рис. 1. Фрагмент нечеткой онтологии методов решения измерительной задачи на основе цифровых изображений

2. Класс “Method” - определяет доступные на данный момент методы, применяемые для проведения процедуры измерения геометрических параметров. Содержит подклассы, оп-ределяющие конкретные методы:

a. Подкласс “Marked” - представляет метод измерения на основе маркера или иного калибровочного элемента. Экземпляры класса содержат конкретные реализации метода для различных случаев измерения. Подкласс связан только с подклассами “Area” и “Volume”, поскольку для измерения количества объектов определение их точного размера не требуется;

b. Подкласс “Stereoscopic” - представляет метод измерения на основе множествен-ных снимков объекта с различных ракурсов. Экземпляры класса содержат конкретные реали-зации метода для различных случаев измерения. Подкласс связан только с подклассами “Area” и “Volume”, поскольку для измерения количества объектов определение их точного размера не требуется;

c. Подкласс “Calibrated On Fly” - представляет метод измерения, при котором опе-ратор вручную вводит параметры измеряемого объекта. Экземпляры класса содержат кон-кретные реализации метода для различных случаев измерения. Подкласс связан со всеми подклассами класса “Measurement”.

3. Класс “Case” - определяет ситуации, которые могут встречаться при проведении из-мерений. Не содержит подклассов, однако каждый его экземпляр обладает набором парамет-ров, по которым происходит различение условий измерения.

4. Класс “CBR” - определяет прецеденты согласно подходу Case-based reasoning. Под-классов не содержит. Каждый экземпляр класса содержит связку: ситуация (экземпляр клас-са “Case”), метод (экземпляр одного из подклассов класса “Method”) и параметры (связку значений переменных, характеризующих настройки системы, приведшие к получению тре-буемого результата).

Заключение

В статье представлена нечеткая онтология методов и комбинаций методов, где с помо-щью нечетких функций принадлежности задаются связи между экземплярами подклассов, характеризующих методы измерения и экземплярами подклассов, характеризующих ситуа-ции. Каждая такая связь также отражается в конкретном экземпляре класса CBR, содержа-щем опыт применения конкретного метода в конкретной ситуации.

Используя данную онтологию, за счет применения методики рассуждения на основе прецедентов возможно решение задачи структурно-параметрического синтеза новой измери-тельной системы для отдельно взятой задачи. Параметры переменных, характеризующих на-стройки системы, при этом могут быть выражены в настройке методов измерения, содержа-щейся в онтологии.

Примечания

1. Mobile-cloud data processing system on digital im-ages / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Indus-trial Informatics (INDIN). 2019. July. Article No. 8972161. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161

2. Shvarts D., Tamre M. Bulk material volume estima-tion method and system for logistic applications // 9^th International Conference of DAAAM Baltic: Indus-trial Engineering. Tallinn, 2014. P. 289-294.

3. Knyaz V.A., Maksimov A.A. Photogrammetric tech-nique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Zurich, 2014. Vol. 40. P. 157-162.

4. Круглов А.В., Круглов В.Н., Чирышев Ю.В. Спо-соб измерения кубатуры круглого леса: патент РФ RU 2553714 C1, 19.12.2013. URL: https://patenton.ru/patent/RU2553714C1

5. Madeira S., Gonsalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Comput. Geosci. 2010. Vol. 36, No. 6. P. 699-706.

6. Embedded image processing system for cloud-based applications / L. Thieling [et al.] // IWSSIP 2014 Pro-ceedings. 2014. P. 163-166.

7. Yan Y., Huang L. Large-Scale Image Processing Re-search Cloud // CLOUD Comput. 2014. Fifth Int 2014. P. 88-93.

8. Fitz-Gerald S. A Brief Guide to CLOUD Computing: An Essential Guide to the Next Computing Revolution // International Journal of Information Management. 2011. URL: https://doi.org/10.1016/j.ijinfomgt.2011.03.002

9. Clouard R., Renouf A., Revenu M. An ontology-based model for representing image processing application objectives // International Journal of Pattern Recogni-tion and Artificial Intelligence. 2010. URL: https://doi.org/10.1142/S0218001410008354

10. Ratna Babu, K. Sunitha K.V.N. A New Approach To Enhance Images Of Mobile Phones With In-Built Digital Cameras Using Mean And Variance // Inter-national Conference On Advances In Computer En-gineering. 2013.

11. WESPE: Weakly supervised photo enhancer for digi-tal cameras / A. Ignatov, N. Kobyshev, R. Timofte, K. Vanhoey, L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recog-nition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112

12. Road Image Update using In Vehicle Camera Images And Aerial Image / Masafumi Noda, Tomokazu Ta-kahashi, Daisuke Deguchi [et al.] // IEEE Intelligent Vehicles Symposium (Iv). Baden-Baden Germany, June 5-9, 2011.

13. Mohamed Amine Bendoumi, Mingyi He, Shaohui Mei. Hyper Spectral Image Resolution Enhancement Using High-Resolution Multispectral ImageBased On Spectral Unmixing.

References

1. Mobile-cloud data processing system on digital im-ages / A. Samoylov, Y. Borodyansky, A. Kostyuk, I. Polovko // IEEE International Conference on Indus-trial Informatics (INDIN). 2019. July. Article

2. No. 8972161. P. 1674-1678. DOI: 10.1109/INDIN41052.2019.8972161

3. Shvarts D., Tamre M. Bulk material volume estima-tion method and system for logistic applications // 9^th International Conference of DAAAM Baltic: Indus-trial Engineering. Tallinn, 2014. P. 289-294.

4. Knyaz V.A., Maksimov A.A. Photogrammetric tech-nique for timber stack volume control // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Zurich, 2014. Vol. 40. P. 157-162.

5. Kruglov A.V., Kruglov V.N., Chiryshev Yu.V. Method for measuring the volume of roundwood: pat-ent of the Russian Federation RU 2553714 C1, 19.12.2013. URL: https://patenton.ru/patent/RU2553714C1

6. Madeira S., Gonsalves J., Bastos L. Photogrammetric mapping and measuring application using MATLAB // Comput. Geosci. 2010. Vol. 36, No. 6. P. 699-706.

7. Embedded image processing system for cloud-based applications / L. Thieling [et al.] // IWSSIP 2014 Pro-ceedings. 2014. P. 163-166.

8. Yan Y., Huang L. Large-Scale Image Processing Re-search Cloud // CLOUD Comput. 2014. Fifth Int

9. 2014. P. 88-93.

10. Fitz-Gerald S. A Brief Guide to CLOUD Computing: An Essential Guide to the Next Computing Revolution // International Journal of Information Management. 2011. URL: https://doi.org/10.1016/j.ijinfomgt.2011.03.002

11. Clouard R., Renouf A., Revenu M. An ontology-based model for representing image processing application objectives // International Journal of Pattern Recogni-tion and Artificial Intelligence. 2010. URL: https://doi.org/10.1142/S0218001410008354

12. Ratna Babu, K. Sunitha K.V.N. A New Approach To Enhance Images Of Mobile Phones With In-Built Digital Cameras Using Mean And Variance // Inter-national Conference On Advances In Computer En-gineering. 2013.

13. WESPE: Weakly supervised photo enhancer for digi-tal cameras / A. Ignatov, N. Kobyshev, R. Timofte, K. Vanhoey, L. Van Gool // IEEE Computer Society Conference on Computer Vision and Pattern Recog-nition Workshops. 2018. URL: https://doi.org/10.1109/CVPRW.2018.00112

14. Road Image Update using In Vehicle Camera Images And Aerial Image / Masafumi Noda, Tomokazu Ta-kahashi, Daisuke Deguchi [et al.] // IEEE Intelligent Vehicles Symposium (Iv). Baden-Baden Germany, June 5-9, 2011.

15. Mohamed Amine Bendoumi, Mingyi He, Shaohui Mei. Hyper Spectral Image Resolution Enhancement Using High-Resolution Multispectral ImageBased On Spectral Unmixing // IEEE Transactions On Geo-science And Remote Sensing. 2011.

16. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [et al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.

17. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [et al.] // Conference on Human Factors in Comput-ing Systems - Proceedings. 2015. April. P. 1183-1186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418

18. A fuzzy ontology for semantic modelling and recog-nition of human behaviour, Knowledge-Based Sys-tems / Natalia Diaz Rodriguez, Manuel P. Cuellar, Johan Lilius, Miguel Delgado Calvo-Flores. 2014. Vol. 66. P. 46-60. URL: https://doi.org/10.1016/j.knosys.2014.04.016

19. science And Remote Sensing. 2011.

20. Personal photograph enhancement using internet photo collections / C. Zhang, J. Gao, O. Wang [et al.] // IEEE Transactions on Visualization and Computer Graphics. 2014. No. 20 (2). P. 262-275.

21. Real-time guidance camera interface to enhance photo aesthetic quality / Y. Xu, J. Ratcliff, J. Scovell [et al.] // Conference on Human Factors in Comput-ing Systems - Proceedings. 2015. April. P. 1183-1186. Association for Computing Machinery. URL: https://doi.org/10.1145/2702123.2702418

22. A fuzzy ontology for semantic modelling and recog-nition of human behaviour, Knowledge-Based Sys-tems / Natalia Diaz Rodriguez, Manuel P. Cuellar, Johan Lilius, Miguel Delgado Calvo-Flores. 2014. Vol. 66. P. 46-60. URL: https://doi.org/10.1016/j.knosys.2014.04.016.

Размещено на Allbest