Моделі мультиграничної сегментації зображень

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Вступ

Актуальність теми. Доступність візуальної інформації у цифровій формі для корпоративних та індивідуальних користувачів, її поширення в різних видах діяльності, інтенсифікація створення та використання систем із базовим носієм інформації у вигляді зображень визначають необхідність удосконалення методів автоматичної інтерпретації відеоданих. Сучасний стан методів і засобів аналізу, перетворень та інтерпретації зображень у різних предметно-орієнтованих областях фокусує увагу на ліквідації семантичного конфлікту між результатами обробки алгоритмами низького рівня і прикладним трактуванням результатів, коли зображення трансформується в деяку семантичну конструкцію. У цьому аспекті на перший план виходять задачі достовірної сегментації зображень, тобто пошуку в полі зору однорідних (із тих або інших позицій) областей, які корелюють зі значущими об'єктами сцен. Інакше кажучи, перцептивна організація даних (грануляція, кластеризація, інкапсуляція, факторизація) і є суттю сегментації - пошуку областей носія зображення на основі заданої або формованої у процесі обробки моделі подібності.

Серед основних цілей сегментації зображень варто виділити такі: позиціонування областей на основі агрегованих ознак; врахування ознак форми цільового об'єкта та просторових відношень між різними об'єктами; створення передумов для підвищення швидкодії за рахунок виключення необхідності аналізу окремих пікселів; стиснення зображень на основі сукупностей областей, які не перетинаються, та їх яскравих та геометричних ознак, забезпечення можливостей індексації та пошуку в базах даних по змісту зображень із запитами `ad exemplum'.

Основний вплив на розвиток методів сегментації зображень зробили українські та зарубіжні вчені С.Г. Антощук, А.М. Ахметшин, Р.А. Воробель, В.М. Крилов, Є.П. Путятін, М.І. Шлезінгер, L. Alvarez, B.K.P. Horn, W.G. Kropatsch, A. Rosenfeld, J. Serra, J. Weіckert та ін. Аналіз стану та тенденцій розвитку методів сегментації дозволяє стверджувати, що, незважаючи на численні дослідження в цьому напрямку, задача синтезу розумних із погляду прикладної інтерпретації фактор-множин ще далека від свого остаточного розв'язання.

Таким чином, вивчення зв'язків і властивостей покриття та розбиття інформації, яка зареєстрована (діапазону півтонівё або колірних складових, наборів ознак), і продукованих покриттів та розбиттів поля зору є актуальним завданням, що забезпечує можливості інтелектуального аналізу зображень.

Мета і завдання дослідження. Метою дисертаційного дослідження є розроблення математичних моделей та методів мультиграничної сегментації статичних півтонових зображень на базі аналізу класів толерантностей та еквівалентностей для синтезу алгоритмів автоматичної інтерпретації візуальної інформації у конкретних предметних областях.

Відповідно до поставленої мети дисертаційна робота передбачала розв'язання таких завдань:

- синтез, обґрунтування і дослідження моделей мультиграничної сегментації на основі зв'язків покриттів або розбиттів носія та покриттів або розбиттів області значень даних, що аналізуються;

- введення і дослідження операцій на класах еквівалентностей або толерантностей для перетворень результатів сегментації для отримання областей зображень, що інтерпретуються;

- дослідження специфіки реалізації та застосування мультиграничної сегментації, створення і впровадження дослідницьких та спеціалізованих програмних засобів.

1. Аналіз стану й тенденцій розвитку методів сегментації зображень, основною метою яких є виділення областей поля зору, що характеризує значущі об'єкти сцен, а у кінцевому результаті - перетворення растрової візуальної інформації в деяку семантичну конструкцію

Встановлено, що підходи до сегментації можуть розглядатися з різних позицій - локальні й глобальні методи можуть класифікуватися як порогові просторові, спектральні, гістограмні, текстурні тощо. За математичними моделями, що використовуються, в залежності від виду й обсягу апріорної інформації алгоритми розділяються на детерміновані й статистичні, а в останній час активно розвиваються моделі, які враховують неадекватність і недостовірність інформації, яку отримують із зображення, її надмірність, і в той же час дефіцит, стосовно проблемно-орієнтованої області.

Показано, що сьогодні найбільш поширені: адаптовані алгоритми кластеризації; гістограмні методи; алгоритми на основі пошуку контурних препаратів; методи нарощування областей; алгоритми, які базуються на функціях рівня; методи побудови розбиття графів; різні модифікації перетворень водорозділів; методи, які базуються на моделях або навчаючих вибірках; алгоритми на основі штучних нейронних мереж та інтерактивні алгоритми розміток областей і, головне, всі їх існуючі комбінації. На основі аналізу переваг і недоліків зазначених методів і алгоритмів визначено, що, як і раніше, порогові (просте порогове обмеження, просторово-адаптивні пороги, інтервальні пороги, квазіпорогова обробка, мультиграничні алгоритми) методи можуть забезпечувати у низці прикладних задач потрібну якість сегментації. Методи порогової обробки, незважаючи на їхні недоліки, відіграють досить істотну роль у задачах сегментації зображень. Як першопричину потрібно вказати їхні інтуїтивно зрозумілі властивості та простоту обчислювальних моделей. Проте методи граничної обробки потребують свого розвитку в плані розробки моделей, які забезпечують у деякому розумінні універсальні підходи до аналізу просторів зображень або ознак.

Стосовно інтерактивної та автоматичної обробки візуальної інформації акцент переноситься на розв'язання задачі ліквідації семантичного конфлікту, тобто результати обробки зображень алгоритмів низького рівня, що орієнтовані на обробку зображень як двомірних полів, не завжди придатні для тематичної інтерпретації навіть у конкретних предметних областях. Для усунення цього недоліку необхідно вміти отримувати та трансформувати дані в прийнятну форму, зокрема находити компроміс між недостатньою та надмірною сегментацією. Таким чином, одним із напрямків, які мають теоретичний інтерес та практичну значущість, є моделювання півтонових та/або кольорових зображень на основі зв'язків покриттів (розбиттів) області значень та покриттів (розбиттів) носія.

На основі проведеного аналізу зроблено висновок щодо актуальності створення моделей сегментації на основі багаторівневого представлення зображень за допомогою бінарних відношень ліній рівня та вивчення операцій, які забезпечують адаптацію часткової мультиграничної сегментації до розв'язання задач синтаксичної, семантичної, якісної та кількісної інтерпретації зображень.

2. Мультиграничні моделі взаємозв'язку результатів сегментації з вихідним зображенням, в основу яких покладено систему відношень, що враховує подібність яскравісних характеристик (ознак)

Властивості цих відношень забезпечують ефективну алгоритмізацію сегментації, що в кінцевому результаті надає достовірні дані для етапу інтелектуального аналізу зображень та дозволяє запропонувати нові методи, які враховують просторові властивості.

У полі зору відеодатчика (прямокутної фінітної області ) аналізуються цифрові форми подання зображень, тобто функція розподілу яскравості набуває тільки повнозначних числових значення у вузлах сітки розміру . Для спрощення запису (з урахуванням построкової розгортки) носій зображення представлений множиною , де . Тоді зображення при довільному законі квантування з рівнями визначається множиною

.

Розглянемо покриття діапазону значень , де , , , , , . Функція і покриття індукують на бінарне відношення, яке є відношенням толерантності.

(1)

де

З іншого боку, відношення реалізує багатозначні відображення з в , які продукують ліві та праві суміжні класи:

- клас образів елемента ;

- клас прообразів елемента .

Система класів толерантності утворює покриття множини . Довільне покриття названо правильним, якщо й тільки якщо для будь-яких його двох елементів і виконуються відношення і .

Твердження 1. Класи толерантності утворюють правильне покриття множини .

Довільне покриття скінченної множини названо впорядковано зв'язним, якщо існує індексація, при якій у будь-якому представнику покриття втримуються тільки занумеровані підряд (без пропусків) елементи, тобто , , . Довільна трійка різних елементів множини із заданим на ній покриттям названа транзитивним триплетом, якщо будь-яка пара точок лежить хоча б у одному елементі покриття.

У загальному випадку будь-яка пара аналогічно (1) індукує на множині відношення толерантності, а саме:

Вивчені властивості правильних і впорядковано зв'язних покриттів.

Властивість 1. Для будь-якої пари елементів впорядковано зв'язного, правильного покриття існує хоча б один нетранзитивний триплет, який належить до їхнього об'єднання , два елемента якого не належать одному елементу покриття, тобто

.

Властивість 2. Якщо для будь-якої пари елементів довільного покриття існує нетранзитивний триплет , який лежить у їхньому об'єднанні, то це покриття правильне.

Властивість 3. Довільне розбиття скінченної множини є впорядковано зв'язним покриттям.

Довільне бінарне відношення , яке задане на множині , названо функціональним, якщо задана деяка функція , а на задано покриття і , де , .

Твердження 2. Функціональне відношення не зміниться, якщо з покриття, що його індукує, будуть вилучені всі неправильні елементи.

Ці результати створили передумови для вивчення питань взаємозв'язку завдання покриттів значень функцій розподілу яскравості і результатів сегментації.

На питання, коли суміжні класи і класи толерантності збігаються для функціональних відносин, відповідь дає

Твердження 3. Класи образів і прообразів заданого на довільній множині функціонального відношення , індукованого функцією і деяким упорядковано зв'язним покриттям , є класами толерантності тоді і тільки тоді, коли - розбиття.

Інтерпретація доведеного твердження прозора - при раціональному розбитті діапазону зміни функції розподілу яскравості можна одержати "області подібності" на носії зображення у вигляді класів толерантності, які трактуються доволі просто.

Використання впорядкованого зв'язного покриття є принциповим, тобто якщо його виключити із розгляду, то збіг класів образів і класів толерантності не гарантує, що є розбиттям.

На питання про зв'язок класів толерантності й суміжних класів відповідає

Твердження 4. Будь-який суміжний клас довільного толерантного відношення містить підмножину - клас толерантності, якому належить елемент, що породжує цей суміжний клас.

Побудова обчислювальних моделей базується на такому результаті.

Твердження 5. Якщо матриця довільного толерантного відношення має блочний вигляд, то покриття і , які утворені відповідно суміжними і толерантними класами, є впорядковано зв'язними. При цьому - правильне покриття, а - правильне тоді і тільки тоді, коли суміжні класи або класи толерантності не перетинаються для елементів, які мають різні образи, і фактично збігаються.

Будь-яка функціональна толерантність, яка індукована відображенням , яке можна трактувати як зображення, тобто функцією розподілу яскравості у полі зору, ставить у відповідність кожному елементу покриття бінарні відношення на множині

де , , , .

Оскільки відображення є відображенням у множині , довільний елемент має повний прообраз - так називані лінії рівня . Якщо розглянути при відображенні всіх елементів покриття , то по кожному фіксованому елементу покриття отримаємо об'єднання всіх ліній рівня його елементів, тобто

.

Це відношення є відношенням еквівалентності, продукуючи клас еквівалентності правилом

. (2)

Відзначимо, що класи є передкласами толерантності, оскільки складаються із парних толерантних елементів. Система передкласів , яка індукована еквівалентностями (правилом (2), буде в просторі функціональної толерантності базисом, тобто відповідати умовам:

Твердження 6. Для довільної функціональної толерантності , яку задали на скінченній множині , покриття із повних прообразів є базисом у просторі толерантності за умови, що вихідне покриття є впорядковано зв'язним і базисним.

Спільна обробка покриттів, отриманих різними шляхами, дозволяє отримати додаткову інформацію для побудови розбиттів, що найточніше відповідають об'єктам, які шукаються. Отримані результати являють собою основу для введення операцій між покриттями і критеріїв переходу до розбиттів, адекватних структурі сцен, що спостерігаються. Після одержання часткової сегментації зображень головним завданням стає трансформація класів еквівалентності або толерантності для забезпечення передумов тематичної інтерпретації візуальної інформації.

3. Методи перетворень розбиттів і покриттів поля зору.

Сегментовані зображення представлені у вигляді , де , при аналізі розбиття і під час обробки покриття. Внаслідок сегментації класи еквівалентності або толерантності розмічені, тобто існує індексуюче відображення таке, що . Розглянуто операції, що відповідають умовам

, (3)

, (4)

, (5)

. (6)

Умова (3) вказує на існування необхідного відображення. Умова адитивності (4) разом з умовою монотонності (5) гарантує можливість пофрагментної обробки. Умова (6) забезпечує обробку декількох множин, що визначають сегментоване зображення. Якщо відображення взаємно однозначне, то включення (6) переходить у рівність. Як другий операнд можуть використовуватися або елементи множини , або інші результати сегментації , або деякі фіксовані множини , які передбачають акцентування або фільтрацію тих або інших властивостей. На сегментованих зображеннях виділені межі окремих областей , а також їхні внутрішні частини .

Для маніпуляцій з розбиттями (покриттями) як базові обрані операції алгебри Мінковського на площині. По-перше, результати сегментації є замкнутими щодо операцій алгебри Мінковського, по-друге, додавання і віднімання Мінковського, де операнди - довільні множини, що задовольняють умовам (3) - (6).

Якщо фіксувати просторову форму й структуру однієї з множин, то можна одержувати підмножини із заданими властивостями (стосовно обробки результатів сегментації одержуємо бінарну морфологію).

Як базові операції використані операції бінарної морфології: і - розширення і звуження відповідно. Тут - множина, яка фіксується і має назву структурний елемент, .

Часто при трансформаціях розбиттів або покриттів корисними виявляються операції визначення внутрішніх частин і замикання , оскільки: багаторазове використання одних і тих самих операцій і не міняє результату; завжди ; операція видаляє дрібні об'єкти і тонкі частини великих об'єктів, приводить до розділення об'єктів, які з'єднані тонкими лініями, тобто реалізує деякі елементарні алгоритми фільтрації; операція заповнює мілкі отвори в об'єктах, об'єднує найближчі об'єкти, тобто при відповідному виборі прототипів аналіз багатозв'язних об'єктів можна зводити до обробки однозв'язних областей.

Якщо використовувати і як структурні елементи, отримуємо ортогональні () або ізотропні () межі. Застосовуючи розклад чотиризв'язності , де , , отримуємо горизонтальні та вертикальні складові межі.

Маніпуляції із сегментованими зображеннями (об'єднання розбиттів із метою огрублення областей інтересу, їхнє перетинання для підвищення ступеня деталізації й т. ін.) можуть дозволити знаходити розумний компроміс між надмірною і недостатньою сегментацією. Для визначення операцій із сегментованими зображеннями введемо характеристичну функцію класу еквівалентності:

Необхідно вказати граничні умови , і своєрідну подвійність введених відношень .

У розділі встановлений взаємозв'язок між парами і елементів двох довільних розбиттів і :

,

,

.

Для отримання розбиттів, що відповідають контексту реальних сцен, для операцій типу злиття-розщеплення потрібне одночасне використання декількох класів еквівалентності. Показано, що для

,

.

Якщо ввести позначення , де означає внутрішню частину елемента з межею і визначити відношення:

то матриця однозначно задає всі можливі варіанти взаємного розташування елементів розбиття, аналіз яких підвищує точність і надійність інтерпретації сегментованих зображень. Використання індикаторної функції:

дозволяє для будь-яких розбиттів , визначити:

, ,

, ,

При для огрублення або деталізації сегментації потрібний додатковий аналіз із характеристичною функцією відповідно, наприклад, до ознак форми шуканих об'єктів.

4. Методи мультиграничної сегментації зображень, проведено експериментальні дослідження отриманих теоретичних результатів і обговорено особливості їхнього запровадження при автоматизації неінвазивних методів дослідження і діагностики патології ока, які базуються на його фізичних властивостях

Зображення були отримані з використанням поляризованого світла, що дозволяє не тільки покращити якість оптичного зображення ока, але й дослідити фізичні властивості середовища ока. Зважаючи на те, що більшість тканин ока є оптично анізотропними, використання поляризованого світла дозволяє отримати нову діагностичну інформацію. Оптична анізотропія, яка викликана механічними деформаціями (розтягненням, стисканням), дає можливість, наприклад, визначати безконтактними методами внутрішньоочний тиск. Задача автоматизації діагностики патології екстраокулярних м'язів у поляризованому світлі пов'язана з визначенням геометричного центру райдужної оболонки і геометричних параметрів окремих об'єктів у полі зору.

Для опису форми елементів покриття використовувався набір таких ознак: площа, заповнена площа, опукла площа, периметр, діаметр кола рівної площі, діаметр окружності рівного периметра, максимальний діаметр Ферре, довжини великої та малої піввісей еліпсу, координати центру тяжіння, середня арифметична відстань від контурних точок до центру тяжіння, розкид відстані від контурних точок до центра тяжіння; максимальна й мінімальна відстань до центру тяжіння; максимальний та мінімальний моменти інерції відносно головних центральних вісей інерції контуру; число Ейлера. На основі цих ознак вираховувалися такі числові характеристики елементів покриття: сферична проекція, відношення Ваделла (опуклості форми), відношення Пентланда (сферичність проекції), коефіцієнт складчастості, ексцентриситет, фактор компактності Гортона, відношення опуклості, параметри кривизни.

Запропонований метод сегментації можна надати у такий спосіб. Після медіанної фільтрації, яка забезпечує зменшення кількості потенційних класів еквівалентності (або толерантності), на основі мультиграничних моделей виконується реквантування цифрового зображення з урахуванням детектування локальних максимумів гістограми. Далі після «розфарбування» отриманих класів (індексації зв'язних областей) застосування операції бінарної морфології дозволяє виключити з аналізу дрібні деталі, а в кожному класі, який залишили, ліквідувати незначущі частини з метою переходу (якщо можливо) до однозв'язних областей. Порогова фільтрація в просторі ознак забезпечує відсікання ряду елементів фактор-множин, які не становлять інтересу з погляду застосувань. На цьому етапі розбиття (покриття) поля зору вважається підготовленим для трансформацій. Після виділення внутрішніх частин і меж на базі просторового контексту (додавань, дотику, перетинання і т. ін.), виконуючи теоретико-множинні операції, отримуємо придатний для однозначної інтерпретації результат.

Для дослідження залежності точності багатозначного реквантування від кількості порогів використовувалось розбиття оператором початкового зображення, що приймалося як еталонне. Для визначення міри близькості між еталонним розбиттям («ground truth» парадигма) і розбиттями , які отримуємо внаслідок автоматичного реквантування, використовувалася метрика

,

де - симетрична різниця множин.

Під час проведення дисертаційних досліджень отримані дані, що характеризують залежності точності визначення центру райдужної оболонки та зіниці, їхніх діаметрів при різних параметрах сегментації.

Результати експериментальних досліджень дозволяють стверджувати, що запропонована в роботі двоетапна схема сегментації, коли на першому етапі здійснюється мультигранична сегментація, а на другому - шляхом трансформацій окремих класів розбиттів (покриттів) або їхніх сукупностей створюються достатні умови для предметно-орієнтованої інтерпретації зображень є ефективною. Реалізація теоретичних результатів здійснена при розробці спеціалізованого програмного забезпечення неінвазивної діагностики патології ока на основі властивостей п'єзооптичного ефекту і при створенні дослідницьких засобів для розробки програмного забезпечення пошуку й розпізнавання візуальної інформації у великих колекціях зображень.

Висновки

мультиграничний сегментація носій

У дисертації наведено узагальнене та отримано нове вирішення наукового завдання усунення семантичного конфлікту між обробкою та тематичною інтерпретацією візуальної інформації у вигляді моделей мультиграничної сегментації зображень і перетворень класів еквівалентності або толерантності на основі даних, які визначені специфікою предметної області. Під час проведення дисертаційних досліджень отримано такі основні результати:

1. Встановлено, що в концептуальному і прикладному аспектах для інтерпретації візуальної інформації досить універсальним і адекватним є підхід, що полягає в отриманні часткової сегментації зображень на базі мультиграничних моделей і наступних перетворень розбиттів і/або покриттів поля зору, що продукуються, з урахуванням апріорних даних.

2. Запропоновано обґрунтовані й досліджені моделі, в основу яких покладено зв'язок розбиттів і покриттів поля зору, індукованих розбиттями й покриттями діапазону зміни яскравостей (множини ознак). Властивості розбиттів і покриттів забезпечують отримання розбиттів, аналіз яких створює передумови для пошуку розумного компромісу між надмірною і недостатньою сегментацією.

3. Встановлено, що для підвищення ефективності інтерпретації візуальної інформації доцільно проводити морфологічну обробку окремих класів еквівалентності або толерантності, а розбиття або покриття повинні перетворюватися з урахуванням їхніх просторових властивостей та ознакової інформації, пов'язаної зі специфікою предметно-орієнтованої області.

4. На основі узагальнених вимог до трансформацій результатів часткової сегментації конкретизовано операції з окремими областями і з їхніми сімействами. Виявлено випадки одержання однозначних результатів і ситуації, що вимагають залучення додаткової інформації: або ознак форми об'єктів чи областей, що визначають носій їхніх зображень, або характеристик просторової конфігурації необхідної фактор-множини.

5. Удосконалено методи мультиграничної сегментації зображень. Шляхом експериментальних досліджень виявлено особливості двоетапної процедури сегментації на основі мультиграничних моделей і перетворень розбиттів і покриттів у плані застосування операцій, що забезпечують істотне зменшення кількості аналізованих областей за рахунок злиття або вилучення фрагментів несуттєвих із погляду застосувань.

6. Теоретичні й практичні результати дисертації реалізовано у вигляді програмних засобів, що забезпечують як розв'язання конкретних завдань обробки та інтерпретації візуальної інформації, так і їхнє використання в задачах імітаційного моделювання для вибору характеристик алгоритмів сегментації на базі мультиграничних моделей.

7. Результати теоретико-експериментальних досліджень реалізовано та впроваджено у вигляді прикладних та дослідницьких програмних комплексів, що використовуються при розробці систем медичної діагностики.

Література

4. Chupikov A., Kinoshenko D., Mashtalir V., Shcherbinin K. Image retrieval with segmentation-based query // Adaptive multimedia retrieval: user, context, and feedback / S. Marchand-Maillet et al. (Eds.). 4-th International Workshop Adaptive Multimedia Retrieval. Geneva, Switzerland, July 27-28, 2006. - Berlin Heidelberg: Springer-Verlag. - Lecture Notes in Computer Science. - Vol. 4398. - 2007. - Р. 208-222.

5. Chupikov A., Mashtalir S., Yegorova E. Morpholohical normalization of image binary cuts // Computational Imaging and Vision / M.A. Viergever, ed. International Conference on Computer Vision and Graphics. Warsaw. Poland, September 22-24, 2004. - Dordrecht: Springer. -Vol. 32. - 2006. - P. 558-564.

6. Чупиков А.Н. Синтез методов сегментации в задачах идентификации // Материалы I международной научной конференции «Глобальные информационные системы. Проблемы и тенденции развития». Харьков, 3-6 октября 2006 г. - Харьков: ХНУРЭ, 2006. - С. 87-88.

Размещено на Allbest.ru