Улучшение качества распознавания изображений документов путем устранения геометрических искажений

Размещено на http://www.allbest.ru/

Улучшение качества распознавания изображений документов путем устранения геометрических искажений

А.А. Масалович

ABBYY Production, Москва; МФТИ,

ФИВТ, Москва

В работе описывается метод аппроксимации и устранения геометрических искажений изображений текстовых документов для повышения качества распознавания искаженных документов. Для аппроксимации искажения документа предлагается использовать двумерные патчи Безье. Для построения аппроксимирующего патча Безье предлагается использовать аппроксимацию междустрочных просветов текста, полученных с помощью непрерывного скелетного представления изображения.

В последнее время все чаще для создания электронных версий бумажных документов используются цифровые фотокамеры или даже камеры мобильных телефонов. Притом при фотографировании в изображение документа могут появляться геометрические искажения. Искажения при фотографировании могут появиться по нескольким независимым друг от друга причинам, при этом способы искажений могут комбинироваться между собой в любом сочетании. Из-за этого невозможно точно описать и предсказать модель искажения сфотографированного документа. Большинство современных профессиональных систем распознавания текста (таких как FineReader, OmniPage, ReadIris) рассчитаны на то, что строки текста на изображении будут прямыми и горизонтальными. Малейшие искажения строк текста приводят к сильному ухудшению качества распознавания. Из-за этого в последнее время очень большое внимание уделяется методам, позволяющим устранять геометрические искажения в изображениях документов для улучшения качества распознавания. патч аппроксимация текст искажение

В данной работе предлагается использовать непрерывное скелетное представление изображения для выделения на изображении междустрочных просветов. Искривление отдельных междустрочных просветов аппроксимируется с помощью одномерных кривых Безье. Аппроксимация искажения всего документа строится с помощью двумерного патча Безье, аппроксимирующего набор одномерных кривых. Результаты, описанные в данной работе, также были опубликованы в ряде журналов в частности в [Масалович, 2009].

Предложенный в работе алгоритм был применен к базе документов с геометрическими искажениями [Shafait et al., 2007]. Улучшение качества распознавания на тестируемых изображениях составило порядка 90%.

1. Обзор существующих решений

В последнее время очень большое внимание уделяется методам, позволяющим устранять геометрические искажения в изображениях документов. В частности можно перечислить следующие работы: [Yin et al., 2007], [Fu et al., 2007], [Wu et al., 2007], [Schneider et al., 2007], [Gatos et al., 2007].

Задачу распрямления искаженных строк в изображении документа обычно разделяют на две подзадачи: выделения и описания строчной структуры в изображении и построения преобразования изображения, при котором эти выявленные строки превратятся в прямолинейные. Известные методы устранения геометрических искажений имеют существенные недостатки при решении обеих подзадач.

Для определения строковой структуры обычно вычисляются базовые линии текста (линии нижней и верхней границ строчных символов). Однако достоверное определение базовых линий представляет собой весьма сложную задачу. Наличие свисающих и выступающих элементов в символах шрифта, знаков препинания и диакритических символов, а также коротких слов в строках приводят к большим ошибкам в определении базовых линий. Неточности в их определении приводят к неправильному описанию строковой структуры.

Описание распрямляющего преобразования обычно осуществляется на основе некоторой параметрической модели заданного класса, например, перспективного искажения, либо цилиндрического искажения внутреннего края страниц книги. Если фактическое искажение не относится к этому классу, то выбранная модель не позволяет подобрать хорошее распрямляющее преобразование. В результате известные методы не являются универсальными, могут исправлять только какой-то ограниченный класс искажений документов, к примеру, перспективные искажения или искажения от сгиба страницы у края книги.

2. Выделение междустрочных просветов в тексте

В качестве основы для построения аппроксимации искажения всей страницы документа в данной работе предлагается использовать аппроксимацию искажения междустрочных просветов текста на изображении документа. Использование междустрочных просветов потенциально более стабильно, чем использование строк текста, так как в них компенсируются локальные несоответствия, которые могут быть в строках текста.

Для выделения междустроных просветов используется внешний скелет бинарного изображения. Скелетом бинарного изображения называют скелет полигональной области минимального периметра, которая аппроксимируют черные объекты на изображении. Скелетом полигональной области называется геометрическое место точек на евклидовой плоскости, имеющих не менее двух ближайших точек на границе полигональной области. Внешним скелетом называется часть скелета бинарного изображения, лежащая вне черных объектов. Более подробное описание скелета бинарного изображения и описание эффективных алгоритмов его построения можно прочитать в работе [Местецкий, 2009].

При построении внешнего скелета бинарного изображения к изображению и скелету применялась некоторая предобработка, для удаления из скелета ребер, которые лежали между различными гранями одинаковых объектов и между объектами внутри одного слова текста. Более подробное описание предобработки скелета можно прочитать в работе [Масалович, 2009]. Пример внешнего скелета с предобработкой и без приведен на рисунке 1.

Для выделения во внешнем скелете изображения междустрочных ветвей скелета предлагается использовать кластеризацию ребер скелета.

По всем углам наклона ветвей скелета строится гистограмма углов наклона. После построения гистограммы определяется порог, разделяющий два кластера. Для определения порога предлагается следующий механизм кластеризации.

Рис. 1. Внешний скелет изображения текстового документа без предобработки и с предобработкой

Для каждого возможного значения порогового угла (с шагом в один градус) определяется показатель разделимости получающихся кластеров. Для этого слева и справа от порога определяется среднее значение гистограммы ( и ) и дисперсия значений гистограммы ( и ). Показатель разделимости кластеров для данного порога определяется как отношение суммы дисперсий внутри кластеров к расстоянию между средними значениями кластеров:

.

Содержательно показатель разделимости описывает отношение внутриклассового рассеяния к межклассовому.

Порог, разделяющий кластеры, выбирается как порог с наименьшим значением показателя разделимости кластеров (Рис. 2).

После кластеризации ветвей скелета из скелета удаляются все ветви, не лежащие между соседними строками текста. После применения ряда эмпирических правил для разрешения неоднозначностей в скелете остаются только ветви скелета разделяющие соседние строки текста (рис. 3).

Рис. 2. Пример гистограммы углов наклона ветвей скелета с определенным порогом

Рис. 3. Скелет после выделения междустрочных ветвей скелета

Выделенные междустрочные ветви скелета аппроксимируются с помощью одномерных кривых Безье.

Одномерная кривая Безье - это параметрическая кривая на плоскости, задаваемая выражением:

,

где - опорные вершины кривой (точки на плоскости изображения), а - базисные функции кривой Безье, называемые также полиномами Бернштейна, - степень полинома, - порядковый номер опорной вершины.

,

Задача аппроксимации ветви скелета кривой Безье порядка сводится к решению двух систем линейных уравнений порядка для нахождения координат опорных точек аппроксимирующей кривой.

3. Аппроксимация искажения изображения документа

Для аппроксимации искажения всего документа предлагается использовать двумерный патч Безье.

Двумерный патч Безье размерности - это функция , задаваемая выражением:

,

где - опорные вершины патча (точки на плоскости), а и - полиномы Бернштейна.

Если в патче Безье зафиксировать один параметр , то получившаяся функция по второму параметру t будет одномерной кривой Безье на плоскости:

Для аппроксимации набора одномерных кривых каждой кривой из набора сопоставим некоторое значение параметра патча и будем минимизировать суммарное отклонение между кривыми из аппроксимируемого набора и соответствующими кривыми из патча.

Можно доказать [Масалович, 2009], что требуемая точность аппроксимации набора кривых двумерным патчем Безье достигается, если аппроксимировать n+1 наборов опорных точек кривых Безье из исходного набора с одинаковым порядковым номером вертикальным кривыми Безье, а затем по получившимся опорным точкам вертикальны кривых построить двумерный патч Безье.

Для каждого порядкового номера контрольных точек исходных кривых (от 0 до ) получаем набор из контрольных точек аппроксимирующей кривой. Таким образом, всего получается набор из контрольных точек. Эти точки и используются для построения патча Безье (Рис. 4).

Рис. 4. Пример построения патча Безье

4. Распрямление изображение и результаты экспериментов