Современные инструментальных средства моделирования и обработки визуальной информации

Размещено на http://www.allbest.ru/

Современные инструментальных средства моделирования и обработки визуальной информации

Емельянов Виталий Александрович, доктор наук, доцент

Крымский федеральный университет имени В.И. Вернадского

Выполнен анализ возможностей существующих средств обработки визуальной информации. Показана целесообразность комбинирования рассмотренных средств для обработки визуальной информации.

В цифровой обработке изображений широко применяется специализированное оборудование, такое как процессоры с конвейерной обработкой инструкций и многопроцессорные системы. В особенной мере это касается систем обработки видео. Обработка изображений выполняется также с помощью программных средств компьютерной математики, например, MATLAB, Mathcad, Maple, Mathematica и др. Для этого в них используются как базовые средства, так и пакеты расширения Image Processing. [1]. Для решения инженерных задач в области сбора и обработки информации наработано большее количество инструментария.

MATLAB. MATLAB (Matrix Laboratory), это пакет прикладных программ для решения задач технических вычислений, имеющий собственный язык программирования и среду разработчика. Язык MATLAB является высокоуровневым интерпретируемым языком программирования, включающим основанные на матрицах структуры данных, широкий спектр функций, интегрированную среду разработки, объектно-ориентированные возможности и интерфейсы к программам, написанным на других языках программирования. Начиная с версии 7.0 ведется поддержка инструмента Image Processing Toolbox, в состав которого ходит набор функций, позволяющих решать широкий спектр задач обработки сигналов, изображений, проектирования цифровых фильтров и систем связи. Также, для решения задач обработки и анализа графической информации разработаны инструменты: DSP Toolbox, Wavelet Toolbox, Communication Toolbox, Filter Design Toolbox. [1-2]

Среди сильных сторон среды моделирования MATLAB следует отметить широкий выбор готового инструментария и библиотек, которые реализуют работу большого количества алгоритмов анализа цифрового изображения. Можно довольно быстро проверить работоспособность собственной модели. Нет необходимости тратить время на разработку собственных алгоритмов, реализующие уже существующие методы обработки (фильтрация, классификация, декодирование, поиск признаков и т.д), а поддержка взаимодействия с внешними приложениями дает возможность реализовать графическую обвязку и создавать полноценные пользовательские приложения. Однако, следует заметить, что MATLAB далек от оптимизации выполнения математических вычислений, что связано с идеологией построения его вычислений. В следствии этого, разработка приложения, необходимого для расчета быстродействующих процессов в реальном времени, весьма усложняется, а порой и вовсе невозможна [3-5].

Windows API DirectShow. DirectShow -- это API, позволяющий Windows-приложениям управлять широким спектром устройств аудио/видео ввода, включающий (но не ограниченный) DV камеры, веб-камеры, DVD-устройства, карты TV-тюнеров. Оно поддерживает также различные форматы, от WAV и AVI до Windows Media. DirectShow, кроме этого, расширяемо, оно позволяет поддерживать устройства третьих производителей, форматы и компоненты обработки [6].

DirectShow предлагает как высокоуровневую модель приложения, позволяющую быстро разрабатывать цифровые медиаприложения, так и низкоуровневую классовую модель, позволяющую третьим производителям создавать собственные компоненты аудио и видео обработки.

Аудио и видеопотоки могут быть обработаны самыми разными способами. Они могут быть скомбинированы, проанализированы, перемешаны, скопированы, сгенерированы, изменены и т.д. В DirectShow все эти операции скрыты в фильтрах -- COM-объектах, имеющих стандартную реализацию. Фильтры могут быть трех основных типов: фильтры источников для ввода, фильтры преобразования для обработки и фильтры рендеринга для отображения информации..

Единственная задача DirectShow -- это организация взаимодействия периферийных устройств ввода/вывода аудио и видео информации на программном уровне. Существенным недостатком модели является отсутствие кросс-платформенности, т.е. DirectShow - это механизм, который можно использовать только в среде Windows.

Open Source Computer Vision Library. OpenCV -- библиотека алгоритмов компьютерного зрения, обработки изображений и численных алгоритмов общего назначения с открытым кодом. Реализована на C/C++, так же разрабатывается для Python, Ruby, Matlab, Lua и других языков. Может свободно использоваться в академических и коммерческих целях -- распространяется в условиях лицензии BSD [7].

OpenCV предоставляет широкий ряд инструментальных средств для обработки и распознавания графических изображений. Библиотека совместима с Intel Image Processing Library (IPL), которая осуществляет операции низкого уровня в цифровых образах. Несмотря на такие примитивы, как например, бинаризация, фильтрация, OpenCV -- по большей части высокоуровневая библиотека, которая содержит следующие модули:

CXCORE является ядром библиотеки и содержит следующее: базовые операции над многомерными числовыми массивами; матричная алгебра, математические функции, генераторы случайных чисел; DFT (дискретное преобразование Фурье), DCT (дискретное косинусное преобразование); запись/восстановление структур данных в/из XML/YAML; базовые функции 2D графики; поддержка более сложных структур данных: разреженные массивы, динамически растущие последовательности, графы.

Модуль обработки изображений и компьютерного зрения CV содержит: базовые операции над изображениями (фильтрация, геометрические преобразования, преобразование цветовых пространств и т. д.); анализ изображений (выбор отличительных признаков, морфология, поиск контуров, гистограммы); структурный анализ (описание форм, плоские разбиения); анализ движения, слежение за объектами; обнаружение объектов, в частности лиц; mкалибровка камер, элементы восстановления пространственной структуры.

Модуль ML содержит множество функций статистической классификации, регрессии и группировки данных.

Модуль HighGUI предназначен для ввода/вывода изображений и видео, создания пользовательского интерфейса.

Помимо этих модулей существуют модули Cvaux и CvCam, которые не включены в основную структуру OpenCV. Модуль Cvauxсодержит экспериментальные и устаревшие функции: пространственное зрение: стерео калибрация, самокалибрация; поиск стерео-соответствия; нахождение и описание черт лица; сравнение форм, построение скелетонов; скрытые Марковские цепи; описание текстур.

Модуль CvCam предназначен для захвата видео.

Библиотеку OpenCV можно рассматривать как SDK в решении задач обработки видео и фото информации. Использовать ее можно только в средах разработки ПО и это требует глубокого опыта программирования. Существенным преимуществом данной библиотеки над аналогами, является кросплатформенность и высокая оптимизация выполнения математических вычислений.

Технология NVIDIA PhysX. Сопроцессор PhysX позиционируется как «многопоточный вычислитель», предназначенный для ускорения весьма специфических классов вычислений. А именно -- задач линейной алгебры. Они используются практически во всех вычислительных процедурах, связанных с реализацией довольно привлекательных и одновременно потенциально опасных для разработчиков компьютерных игр алгоритмов. В перечень таких алгоритмов можно внести моделирование динамики твердых упругих тел (движение, столкновение, деформации), конечно-элементные расчеты, моделирование потоков жидкостей и газов. Привлекательность использования их в играх обусловлена стремлением к реалистичности [8].

С точки зрения прикладного программирования PhysX - это библиотека подпрограмм, скорость выполнения которых может на три порядка превышать быстродействие самого мощного коммерчески доступного микропроцессора.

Виртуальная вычислительная машина PhysX реализована двумя ключевыми механизмами -- «заготовщиком» и «исполнителем» высокоуровневых команд. Задача «заготовщика» -- исключительно быстро подготовить данные, для обработки их «исполнителем».

«Заготовщик» -- это высокоуровневая коммутационная машина, соединяющая три ключевые области памяти PhysX: внешнюю основную память сопроцессора (CMM, Coprocessor Main Memory), разделяемую с центральным процессором компьютера, внутреннюю сверхбыструю «черновую» память (SPM, Scratch Pad Memory), применяемую для хранения промежуточных результатов вычислений, и внутреннюю память сопроцессора (ICM, Internal Coprocessor Memory). ICM и SPM -- это области памяти двухбанковой организации, допускающие одновременное выполнение операций чтения/записи в разных банках. Над хранящимися в них данными выполняются расчетные операции.

После того как «заготовщик» создал необходимые для обработки наборы данных в ICM и SPM, они передаются в «исполнитель». Это процессор гибридной архитектуры, обладающий признаками и векторных, и VLIW-процессоров. За один такт он может выполнять одновременно несколько скалярных и векторных операций. «Исполнитель» содержит четыре скалярных вычислителя, оперирующих числами с плавающей точкой, четыре векторных вычислителя и один блок скалярных целочисленных вычислений. Назначение целочисленного блока (16-битного) -- генерация циклов и адресов. Несмотря на «скалярность», целочисленный блок содержит восемь независимых, способных работать одновременно 16-битных ALU -- это необходимо для обеспечения функционирования главных вычислителей «исполнителя». Векторные вычислители состоят из четырех FPU каждый. Каждый FPU за один такт способен одновременно выполнить четыре операции: загрузку слова в регистр FPU, запись слова из регистра FPU в память, одну простую арифметическую операцию (сложение/вычитание/сравнение) и одну операцию умножения.

Механизмы распределения математических вычислений начали появляться относительно недавно и получили название CUDA(Compute Unified Device Architecture -- программно-аппаратная архитектура, позволяющая производить вычисления с использованием графических процессоров NVIDIA, поддерживающих технологию GPGPU, произвольных вычислений на видеокартах). Связано это с увеличением расчетов, которые необходимо производить центральному компьютерному процессору.

CUDA [9] SDK позволяет программистам реализовывать на специальном упрощённом диалекте языка программирования Си алгоритмы, выполнимые на графических процессорах NVIDIA и включать специальные функции в текст программы. CUDAдаёт разработчику возможность по своему усмотрению организовывать доступ к набору инструкций графического ускорителя и управлять его памятью, организовывать на нём сложные параллельные вычисления.

Таким образом, на сегодняшний день, для решения задач по обработке видео и фото данных, существует большое количество компьютерного инструментария, однако ни один из рассмотренных механизмов не позволяет решить эти задачи в полной мере. Наиболее оптимальный подход к решению прикладных задач -- это комбинированное использование рассмотренных инструментов.

визуальный информация графический процессор

Список литературы

1. Емельянова Н.Ю. Анализ методов обнаружения помех на изображении Текст Н.Ю. Емельянова // Сборник статей Международной научно-практической конференции «Роль и место информационных технологий в современной науке». - Омск, 2016. - С. 29-31

2. Емельянова Н.Ю. Исследование методов поиска и выделения объектов на изображении [Текст] / Н.Ю. Емельянова, А.О. Смолин // Сборник статей Всероссийской научно-практической конференции «Информационные системы и технологии в моделировании и управлении». - Ялта, 2016. - С. 78-82.

3. Емельянова Н.Ю. Исследование метода surf для поиска объектов на изображении [Текст] / Н.Ю. Емельянова // Сборник статей Международной научно-практической конференции «Теоретические и практические аспекты развития научной мысли в современном мире». - Новосибирск, 2016. - С. 53-55.

Размещено на Allbest.ur