Можливості розпізнавання рукописних і стародруків текстів

Размещено на http://www.allbest.ru/

Серед проблем формування сучасної наукової й освітньої сфери гуманітарних наук однією з актуальних є створення інформаційних ресурсів на основі рукописних і стародруків пам'ятників XII-XVII ст. Це підтверджується увагою до різних сторін її вирішення фахівцями в області гуманітарної інформатики, істориками, лінгвістами, філологами, працівниками музеїв, архівів. Зроблені суттєві кроки в області каталогізації, документування, збереження і візуалізації цих цінних історичних джерел на основі інформаційних технологій.

Процес розпізнавання тексту можна описати так - в результаті сканування документа виходить його електронний образ, що представляє собою як би цифровий малюнок, що складається з точок - растра. З точок складається все - і фон, і саме зображення. Отриманий електронний образ документа зберігається в сформованому файлі, де всі точки малюнка описуються саме як точки на площині, кожна зі своїми координатами, кольором та іншими атрибутами. У такому файлі і текст, і цифри, і інші елементи зображення записані однаково - як графічні зображення, що складаються з точок.

Щоб об'ємніше усвідомити роботу програми розпізнавання, треба уявити собі, що в квадратну дошку через рівні невеликі проміжки один від одного вбиті ряди цвяхів, що стирчать. Шляпки одних цвяхів зрізані і гострі, інших - не займані і тому пласкі. Плоскі шляпки, як точки, утворюють букви і слова, гострі голівки - фон. Всі букви для простоти впізнавання - українські. Але щоб не можна було по парі-трійці букв вгадати слово і далі не мацати, слова позбавлені сенсу і являють собою просто набори букв.

Для наближення задачі до реальності дошка повинна бути в абсолютно темній кімнаті.

Тепер визначимо на дотик, які слова утворені крапками-цвяхами. Очевидно, що при пошуку спочатку треба намацувати кожен рядок, а потім визначати букви в рядку одну за іншою. При цьому важливо намацати інтервали між літерами і між словами.

Після проведених експериментів зазвичай приходить глибоке усвідомлення функціонування програми OCR, крім такого важливого моменту, що в реальності вона повинна ще відокремити текст на сторінці від графічного зображення, яке може знаходитися поряд з текстом.

Отже, на першому етапі програма повинна розбити сторінку на блоки і знайти серед них ті, які містять текст, враховуючи при цьому особливості його розташування: з вирівнюванням вправо, вліво або по ширині сторінки, а також можливе форматування в кілька колонок.

Тепер розпізнані блоки з текстом розбиваються на рядки.

Незважаючи на уявну простоту, це не така очевидна задача, так як на практиці можуть бути невеликі перекоси зображення всієї сторінки або її фрагментів. Навіть невеликий нахил рядка може призвести до того, що лівий край рядка стає нижче правого краю наступної. Це особливо помітно при маленькому інтервалі між рядками і достатку надрядкових елементів. В результаті виникають труднощі з визначенням рядки, до якої належить той чи інший фрагмент зображення. Наприклад, для символів з діакритичними елементами начебто букв «j», «i», «е», «у», «х» при невеликому нахилі складно визначити, до якої рядку відноситься верхня, надрядкові частина символу. Адже вона може бути сприйнята як точка з рядка зверху.

Далі програма намагається розбити рядок на області зображення, розділені пробілами, припускаючи, що кожна така область і є символ, тобто буква або цифра.

Алгоритм розпізнавання робить припущення, якому з символів, що зберігаються в пам'яті програми, відповідає розглянута область. Програма OCR зберігає дані про символи у вигляді еталонів, з якими порівнюється виділений об'єкт. Найбільш відповідний еталон і буде відповідати шуканого символу.

Однак такий підхід не дозволяє домогтися по-справжньому високої якості розпізнавання, як би він не був вдосконалений. Головний його недолік полягає в тому, що в програмі повинно зберігатися дуже велика кількість еталонів, що враховують всі варіанти написання символу. Тим не менш варіантів зображення тієї чи іншої літери або цифри в реальності все одно виявляється більше. Тому, як тільки програма стикається з нестандартним написанням букви або цифри, еталона якого в ній немає, вона або не може розпізнати символ взагалі, або розпізнає його неправильно.

Сучасні, вдосконалені алгоритми розпізнавання будуються на різних принципах. Так, наприклад, в сучасних алгоритмах використовують принципи цілісності, цілеспрямованості та адаптивності, процес розпізнавання заснований на висуненні та перевірці гіпотез. На основі загальних ознак програма висуває деяку кількість гіпотез про те, що може бути на зображенні. Потім ці гіпотези цілеспрямовано перевіряються. Якщо якийсь ознака в зображенні відсутній, перевірка цієї гіпотези відразу припиняється, обмежуючи перебір варіантів на ранніх стадіях. Одночасно з висуненням гіпотез про окремі символах програма висуває гіпотези і про цілих словах. При цьому результати розпізнавання окремих знаків використовуються, по-перше, для висунення гіпотез, а по-друге, як одне з джерел для оцінки слова. Для остаточної перевірки правильності гіпотез про цілих словах використовується словник.

У більшості OCR програм закладені алгоритми самонавчання, що реалізують принцип адаптивності. Вони дозволяють запам'ятати не зустрічалися раніше ситуації та використовувати їх у подальшій роботі.

У програму OCR закладаються словники різних мов, моделі словозміни. Алгоритми розпізнавання повинні враховувати не тільки словниковий склад мови, але і графічне виконання букв. Наприклад, у польському тексті, крім того, що в ньому використовується латиниця, існують не тільки надрядкові, але і підрядкові елементи букв, що грають смислоразлічітельную роль. Можуть також виникати труднощі в розрізненні символів «t», «l» і «l».

Сучасні OCR-програми, можуть обробляти текст, що містить одночасно слова різних мов. Потрібно тільки вказати - яких. Подібні тексти нерідко зустрічаються в діловій практиці.

Отже, в результаті роботи алгоритмів програми OCR сторінка перетвориться з набору графічних образів в символи тексту, причому в заданому форматі, наприклад у форматі Word або Excel. При цьому зберігається зовнішній вигляд, тобто форматування вихідного документа, зберігаються таблиці, графічні елементи і т.д. Крім XLS і DOC програмою звичайно підтримуються всі відомі текстові та графічні формати і формати електронних таблиць, а також формати Internet Explorer і Adobe PDF.

Спочатку поява і розвиток систем розпізнавання текстових документів, що нині мають широке поширення, породило певний оптимізм і щодо кириличних рукописних і стародруків [2]. Однак ці прогнози не виправдалися, незважаючи на досить помітне удосконалення цих систем. Так, застосування одного з найбільш ефективних програмних продуктів ABBYY FineReader і наявних у ньому інструментів «розпізнавання з навчанням» та «розпізнавання з еталоном» дозволяє домагатися досить непоганих результатів на друкованих текстах XVIII-XIX ст. Що ж стосується розпізнавання кириличних рукописних і стародруків текстів, то і застосування зазначених інструментів не дає прийнятних результатів.

Неможливість використання для створення електронних версій рукописних і стародруків в форматі електронного тексту за допомогою існуючих програм розпізнавання зумовила розвиток такого напрямку в рішенні цієї задачі, як створення спеціальних текстових редакторів для ручного набору з клавіатури (наприклад, редактор OldEd системи Manuscript. [5]).

Як і ручний набір взагалі, така технологія створення електронних текстів на основі рукописних і стародрукованих видань досить трудомістка. До того ж, вимагає придбання спеціальних навичок. В остаточному підсумку, вона не дозволяє проводити переклад даного кола історичних пам'яток у формат електронного тексту в потрібному обсязі і темпі. Число версій таких пам'ятників в текстовому форматі на сьогоднішній день невелика.

В процесі реалізації проекту з розробки програмного комплексу для розпізнавання рукописних і стародруків текстових історичних джерел істотне місце займають проблеми створення моделі системи. При вирішенні це цього завдання враховувалися як існуючі підходи, так і специфіка даного проекту.

Створюваний програмно-технологічний комплекс спочатку орієнтований не тільки на власне розпізнавання джерел, але і можливість їх зберігання і візуалізації в графічних і текстових форматах. Таким чином, постає завдання поєднати в одному продукті систему і зберігання, та розпізнавання, що невластиво для існуючих моделей і обумовлено наступним. Розпізнавання зазначеного кола джерел досить складний і ресурсномісткий процес і одного разу розпізнані тексти доцільно зберегти і надати можливість дослідникам звертатися до них по мірі потреби. Функціонування модуля розпізнавання припускає використання атрибуції джерела, яка здійснюється при його введенні в базу даних системи. Нарешті, об'єднання систем дозволяє при введенні кожного нового джерела відразу використовувати його (наприклад, для аналізу по атрибутах), так і розпізнати його.

Кількісний і якісний аналіз ресурсів Інтернет, пов'язаних з рукописними і стародруками кириличними текстами, виявлення способів організації ресурсів і способів подання джерел, показав, що найбільшим науковим потенціалом володіють комплекси, що містять не тільки самі джерела, але й розвинену систему їх метаданих, що забезпечують графічне і текстове (в оригінальній орфографії та транскрипції) уявлення, що дозволяють інформаційно-пошукові і аналітичні операції з даними [3]. Відносно невелика кількість таких систем стало одним з основних аргументів для створення модуля зберігання і візуалізації джерел в рамках загального комплексу, а результати аналізу наявних проектів стали відправними пунктами при визначенні параметрів розроблюваної системи.

Що стосується компонента розпізнавання, то основним підходом до його розробки стало використання нейромережевих технологій, оскільки традиційні для розпізнавання текстів OCR-технології не дають задовільних результатів для стародруків і рукописних видань [1].

Розроблена на підставі вищевказаного модель програмно-технологічного комплексу включає набір додатків, які повинні забезпечувати збереження, розпізнавання і роботу з рукописними і стародруками кириличними виданнями.

База даних припускає зберігання інформації про видання (бібліографічні, археографічні та інші атрибути), цифрових версій видань повністю і посторінково в різних форматах (текст у сучасній та оригінальній орфографії, зображення), різних допоміжних таблиць (друкарні, друкарі, місця зберігання, бібліографія та ін.). База даних реалізована в СУБД Access.

Додаток для здійснення пошуково-аналітичних операцій включає модулі для вибірки видань по атрибутам (час, друкарні, типи графіки, зміст та ін), повнотекстового пошуку по текстах в сучасній та оригінальній орфографії (по всьому масиву видань і вибірці), посторінкового і повного перегляду. Дані модулі реалізовуються на основі запитів до бази даних і відповідних веб-інтерфейсів.

Додаток для наповнення інформаційної системи доступно адміністратору і включає модулі для додавання, видалення, редагування видань, а також допоміжних для розпізнавання операцій по розбивці видань на сторінки і формуванню єдиного текстового файлу в оригінальній орфографії на основі посторінкових фрагментів.

Додаток для розпізнавання тексту реалізує наступні функціональні можливості: «очистка сміття», відновлення згаслого тексту, бінаризація, сегментація зображень на блоки і символи, кластеризація, зіставлення кластерів і символів, формування файлу з текстом в оригінальній орфографії, формування файлу з текстом в сучасній орфографії. На сьогоднішній день розроблені наступні модулі: компонент бінаризації, що виконує попередню обробку зображення і переводить всі зображення у встановлений формат кольоровості і дозволу; компонент виділення елементів тексту, результати роботи якого передаються компоненту кластеризації; власне компонент кластеризації, що виділяє однакові елементи тексту, що встановлює закономірності взаємного розташування символів. Найближчим часом планується робота по реалізації компоненту розпізнавання з інтерфейсом користувача експерта, що дозволяє зіставити символи та інші елементи тексту та їх еквіваленти в оригінальній орфографії та сучасної орфографії. Це дозволить перейти до якісно нового рівня автоматизації досліджень стародруків та рукописних кириличних текстів. Необхідно відзначити, що суттєвим програмно-технологічним рішенням при розробці комплексу стало створення в якості його основи інструменту параметрізуемой кластеризації «стародруки кириличний символ».

Відсутність спеціалізованих та неефективність існуючих систем розпізнавання стосовно до середньовічним рукописним і старопечатним кириличним текстам обумовлена низкою факторів, серед яких як особливості джерел (практично кожен манускрипт є унікальним), так і відносно великі фінансові та трудові витрати на їх розробку при невисокій затребуваності в таких продуктах на ринку.

Ще з 70-х рр. XX в. робляться спроби вирішити різні проблеми розпізнавання Бразіл на основі використання методів і технологій штучного інтелекту, зокрема нейронних мереж. Першою значною публікацією по використанню паралельних алгоритмів на основі штучних нейронних мереж була робота G.A. Carpenter, S. rossberg1, а докладний опис паралельних обчислень на основі штучних нейронних мереж було розглянуто ще в 1992 р. у книзі Yoshiyasu Takefuji «Neural Network Parallel Computing».

Що стосується стародавніх і середньовічних рукописних і старопечатних пам'ятників, то задовільного рішення проблеми їх автоматичного розпізнавання на основі нейромереж ока не знайдено. Однак і у вітчизняній, і в зарубіжній теорії і практиці зроблені кроки по вдосконаленню та доповненню нейромережевих технологій розпізнавання образів - як за рахунок компоненти, так і за рахунок використання додатків, що дозволяють реалізовувати алгоритми попередньої обробки зображень сегментація, контрастування, бінаризація, видалення сторонніх предметів та ін.) і засобів (на основі орфографічного, синтаксичного і семантичного видів аналізу). Так, отримані гарні результати розпізнавання складних у технічному відношенні текстів (нечітких, забруднених, з безліччю помарок, написаних з використанням різних шрифтів) - таких, як автомобільні номерні знаки, підписи технічної документації (рукописні штампи на кресленнях). Таким чином, є підстави вважати, що використання нейромережевого компонента в сукупності з рядом доповнень може стати хорошою основою програмного комплексу для розпізнавання рукописних і стародрукованих текстів.

Основні компоненти програмно-технологічного комплексу включають базу даних, призначену для каталогізації та зберігання електронних версій джерел, варіантів налаштувань системи та інших даних, необхідних для ефективної роботи системи; додатка дораспознаванія, розпізнавання, постраспознаванія і візуалізації даних за запитами користувачів.

Одним з основних компонентів програмно-технологічного комплексу є розроблений оригінальний алгоритм параметрізуемой кластеризації «Кириличний символ» [4]. Інструмент дозволяє виділяти символи з кольорових та чорно-білих растрових зображень кириличних рукописних і стародруків історичних пам'яток і групує схожі за накресленню символи і надрядкові знаки в окремі образи-кластери для подальшої процедури розпізнавання.

Алгоритм, на основі якого працює інструмент кластеризації, складається з традиційних для задач розпізнавання трьох етапів: бінаризація, сегментація і власне кластеризація. При цьому результати кожного з етапів є вхідними даними для наступного етапу, і кількісне покращення на кожному з них дозволяє підвищити ефективність розпізнавання як з точки зору відсотка правильно певних символів, так і продуктивності.

В результаті символи тексту відокремлюються від фонового зображення. Неоднорідність фону, пов'язана з особливостями використовуваного паперу, вицвітання фарби, механічні пошкодження оброблюваного листа книги вимагають використання адаптивних алгоритмів.

Другий етап - сегментація - дозволяє виділити символи і знаки в зображенні. При вирішенні даної задачі використовується інформація про шрифт, що сприяє усуненню перешкод. Так, окремі чорні крапки на білому фоні занадто малі, щоб розглядатися як букви або надрядкові знаки, сліди воску занадто великі і мають характерну форму і ін При виділенні окремих символів вирішуються проблеми розривів і спотворень в зображеннях символів, перешкод, схожих на надрядкові знаки, наявності буквиці, елементів графіки та великих перешкод, які необхідно відокремлювати від символів алфавіту.

Ефективність алгоритму сегментації підвищена за рахунок застосування методу промальовування контуру, що добре зарекомендував себе при розпізнаванні глаголичних текстів. Це дозволило істотно підвищити якість і швидкість сегментації.

Останнім етапом роботи алгоритму є власне кластеризація - об'єднання однакових символів і знаків у групи.

На вхід алгоритму кластеризації подається масив символів, отриманих в результаті сегментації. Далі кожному із сегментів присвоюється числова мітка і обчислюється вектор характерних; сегменти, ступінь збігу векторів яких перевищує задане граничне значення, об'єднуються в кластери. Потім відбувається зіставлення кластерів і користувальницьких зразків символів на основі порівняння векторів ознак в кластері з еталонними зображеннями символів. Отримане відповідність між еталонними зображеннями і кластерами використовується для автоматичного навчання нейронної мережі.

Після навчання нейронної мережі на її вхід подається масив сегментів, отриманих в результаті обробки зображень всіх сторінок видання, в результаті чого кожному з сегментів призначається символ на виході нейронної мережі.

У зв'язку з тим, що інструмент розпізнавання працює на основі нейронних мереж, а саме багатошарового персептрона, продуктивність інструменту значно підвищується при його реалізації у формі виконуються паралельно web-сервісів, що взаємодіють один з одним. Інструмент «стародруки кириличний символ» може бути адаптований для використання певного числа паралельно працюючих процесорів (ядер).

Оскільки для різних типів текстів необхідно використовувати різні значення параметрів нейронної мережі, був розроблений спеціальний алгоритм, що дозволяє за значеннями характеристик рукописних і стародруків визначити, або яку саме нейронну мережу з існуючих необхідно використовувати, або необхідність створення нової нейронної мережі для джерел нового типу. Основним критерієм вибору нейронної мережі є результати розпізнавання контрольної ділянки зображення джерела.

У зв'язку з тим, що нейронні мережі складні для налагодження та аналізу їх роботи, виникла необхідність у створенні спеціального компонента пояснення. Цей компонент дозволяє зіставити значення ваг нейронної мережі та вихідні значення нейронної мережі. У тому випадку, якщо якість результатів розпізнавання неприйнятно, виникає можливість визначити, які значення вимагають зміни.

На заключному етапі роботи програми розпізнавання відбувається формування файлу з текстом в оригінальній орфографії. Далі цей текст може бути перетворений в текст в сучасній орфографії.

Створюваний програмно-технологічний комплекс орієнтований не тільки на власне розпізнавання джерел, але і можливість їх зберігання і візуалізації в графічних і текстових форматах. Розпізнавання зазначеного кола джерел досить складний і ресурсномісткий процес, і одного разу розпізнані тексти доцільно зберегти і надати можливість дослідникам звертатися до них.

На сьогоднішній день проведена досить значна робота з каталогізації рукописних і стародруків, результатом якої є каталоги, що описують колекції, як у хронологічному, так і в регіональному (за місцем зберігання) аспектах.

рукописний стародрук розпізнавання текст

Размещено на Allbest.ru