Принципы распознавания дорожных знаков

Размещено на http://allbest.ru

Содержание

Введение

1. Дорожные знаки и их мониторинг

2. Система распознавания дорожных знаков

3. Эксперименты с обучением методов распознавания дорожных знаков на синтетических данных

3.1 Создание синтетической обучающей выборки

3.2 Описание предложенного алгоритма

3.3 Эксперименты и результаты

Заключение

Список литературы

Введение

Задача распознавания дорожных знаков активно исследуется уже не одно десятилетие. Если будет создан метод, работающий с достаточной точностью, его можно использовать в системах помощи водителю, инвентаризации объектов придорожной инфраструктуры или для автоматизированного создания навигационных карт.

Дорожные знаки сделаны, чтобы быть заметными и легко читаемыми и это делает их хороших объектом для автоматического распознавания. В то же время автоматические алгоритмы должны распознавать знаки в условиях внутриклассовой изменчивости, изменения освещенности, положения точки наблюдения, размытия и перекрытий. Лучшие на сегодняшний день алгоритмы опираются на машинное обучение и требуют наличия большой и репрезентативной обучающей коллекции, чтобы обойти все вышеперечисленные проблемы.

1. Дорожные знаки и их мониторинг

дорожный знак транспортный проезжий

Система распознавания дорожных знаков ведет автоматическое наблюдение за дорожными знаками и передает изображение соответствующего символа на экран смартфона или планшетника водителя. Она считывает временные и постоянные дорожные знаки, которые расположены вдоль проезжей части или над ней. Это изобретение относится к устройствам и средствам для отображения информации на дороге. Целью этой системы является повышение уровня безопасности дорожного движения посредством надежной визуализации знаков дорожного движения в салоне транспортного средства.

Отличительная особенность системы для распознавания знаков заключается в том, что она может использовать как встроенную камеру устройства, так и использовать одну или нескольких внешних видеокамер, причем эти видеокамеры могут быть расположены на транспортном средстве таким образом, чтобы иметь возможность обзора мест размещения светофоров и знаков на дороге. Видеокамеры коммутируются с блоком информирования, содержащего визуализирующее устройство и с блоком определения знаков. Визуализирующее устройство соединяется с блоком выбора аудио- и видеосообщений, который в свою очередь подключен к блоку памяти знаков дорожного движения и к блоку выбора информационного режима о знаке.

Важное преимущество видеокамеры для распознавания знаков в том, что она имеют высокую разрешающую способность, содержит прибор подсветки дорожных знаков, позволяющий работать в инфракрасном или оптическом диапазоне, а чувствительность в условиях плохой видимости многократно превосходит человеческое зрение.

Каждый водитель сталкивался с ситуацией, когда ненадолго отвлекаешься от дороги, то перестаешь обращать внимание на дорожные знаки. Хорошо, если это знак ограничения скорости, а вы ее не превышаете или знак обгона, но обгонять некого. Но бывают случаи, когда, пропустив случайно необходимый поворот, приходится наматывать лишние километры и тратить время на корректировку маршрута. Хорошо, если кто-нибудь рядом следит за дорогой и вовремя подсказывает. Но в обязанности пассажира не входит наблюдение за дорожной информацией. В таких случаях для дополнительной подстраховки водителя, важно применять системы распознавания дорожных знаков.

В большинстве случаев видеокамеры четко распознают дорожные знаки и различные информационные таблички. В целях информирования водителя значение дорожного знака может выводиться с помощью видеоустройств на дисплей или проецироваться на стекло автомобиля так, чтобы знак был виден в удобном положении для водителя. При этом не будет необходимости отводить взгляд от дороги и поворачивать голову, не нужно будет отвлекаться и напрягать память, чтобы прочитать знак и верно определить его значение. Это дает возможность уменьшить давление на зрительную систему, эмоциональную и интеллектуальную нагрузку водителя.

Преимущество системы распознавания знаков заключается и в том, что для комфорта водителя предусмотрено наличие нескольких режимов отображения информации о дорожном знаке. Она отображается или один раз, или с момента обнаружения дорожного знака до момента подтверждения водителем полученной о нем информации, или с момента обнаружения знака до момента его выхода из зоны видимости. Режимы поступления сообщений по различным знакам выбираются водителем или устанавливаются исходя из требований безопасности дорожного движения.

Применение системы распознавания дорожных знаков дает возможность гораздо надежнее, нежели водитель, занятый управлением автомобиля, определить наличие знака и расшифровать его значение. Они могут работать в условиях ограниченной видимости и в любую погоду без снижения эффективности. Они практически не ошибаются и не устают. Стилизованные изображения знаков дорожного движения облегчают структурирование систем их определения по видеоизображению.

2. Система распознавания дорожных знаков

На сегодняшний день превышение скорости или несоответствие ее конкретным дорожным условиям является одной из основных причин совершения ДТП, в результате которых ежегодно гибнут и получают увечья тысячи человек. Причем, согласно статистике ДТП, при увеличении скорости, тяжесть последствий ДТП возрастает в геометрической прогрессии. К сожалению, не многие водители знают, что превышение скорости в реальных условиях дорожного движения не приводит к существенному выигрышу во времени. Водитель, преодолевает средний городской маршрут (около 20 км) со скоростью 80 км / ч, вместо разрешенных 60 км / ч , выигрывает во времени всего две минуты. Стоит ли рисковать и нервничать ради пары минут? Не стоит также забывать, что водитель, превышающей скорость, подвергает риску не только себя, но и окружающих людей. В ДТП на скорости 30 км / ч риск смертельного исхода для пешехода 5%, при 50 км / ч -- 40%, а при 65 км / ч -- уже 84%. Превышение скорости часто становится причиной тяжелых дорожно- транспортных происшествий, однако водители часто относятся к этой проблеме без должного внимания. Даже законопослушные водители, которые никогда не позволяют себе вождение в нетрезвом виде, выезда на встречную полосу и т.п., не считают опасным «небольшое» (до 20 км / ч ) превышение разрешенной скорости. На следующем графике приведена статистика ДТП, в которой явно показано, что наиболее частой причиной аварий является превышение скорости.

Несмотря на то, что на дорогах России с каждым днем появляется все больше камер регистрирующих превышение скорости, количество нарушений остается на высоком уровне. С каждым годом количество автомобилей в мире возрастает, соответственно возрастает и количество дорожно-транспортных происшествий.

Рис. 1. Статистика ДТП

В связи с этим все больше внимания уделяется автомобильным системам интеллектуальной обработки информации и принятия решений. Инженерами разных стран мира разработано множество систем активной безопасности для автомобилей таких, как ABS (антиблокировочная система), EBD (система распределения тормозных усилий), ESP (система динамической стабилизации автомобиля) и многие другие. Одной из наиболее современных является система распознавания дорожных знаков и дорожной разметки. Система распознавания дорожных знаков призвана предупреждать водителей о необходимости соблюдения скоростного режима. Данная система определяет дорожные знаки ограничения скорости при их проезде и напоминает водителю текущую максимальную разрешенную скорость, если он движется быстрее.

Применяемые на автомобилях системы распознавания дорожных знаков имеют типовую конструкцию, которая включает:

- видеокамеру;

- блок управления;

- экран.

Видеокамера располагается на ветровом стекле за зеркалом заднего вида.

Камера снимает пространство перед автомобилем в зоне расположения дорожных знаков (справа и сверху по ходу движения) и передает изображение в электронный блок управления. Видеокамера также используется другими системами активной безопасности - системой обнаружения пешеходов, системой помощи движению по полосе. Электронный блок управления реализует следующий алгоритм работы:

а) распознавание формы дорожного знака (круглая форма);

б) распознавание цвета знака (красный цвет на белом);

в) распознавание надписи (величина скорости);

г) распознавание информационной таблички (вид транспорта, время действия, зона действия );

д) анализ фактической скорости автомобиля;

е) сравнение скорости автомобиля с максимально допустимой скоростью;

ж) визуальное и звуковое предупреждение водителя при отклонении.

Изображение в виде знака ограничения скорости выводится на экран панели приборов (расположен внутри спидометра, на некоторых моделях - на лобовом стекле) и остается видимым, пока ограничение не закончится или будет изменено. В ряде конструкций системы распознавания дорожных знаков электронный блок взаимодействует с навигационной системой, а именно в своей работе использует данные о знаках ограничения скорости из навигационных карт. Даже если знак не будет определен видеокамерой, информация о нем будет выведена на панель приборов.

Основные этапы распознавания приведены далее:

- преобразование цветового пространства кадров видеосигнала;

- выделение контуров и удаление шумов;

- верификация объектов интереса;

- идентификация дорожного знака.

Дорожные знаки ограничения скорости имеют важные особенности такие как форма круга и красная окантовка. Поэтому первой стадией работы метода является выделение областей красного цвета на изображении. Для этого предпочтительнее использовать цветовую модель HSV, а не RGB, как у входного изображения. HSV дает возможность более точно указать оттенки красного цвета. Далее приведены формулы для перевода из палитры RGB в палитру HSV:

Важно отметить, что цветовая модель HSV наиболее близкая к человеческому восприятию цветов. После данных преобразований координаты цвета будут находиться в следующих диапазонах: 0<V<1, 0<S<1 ,0<H<360. Цвет дорожных знаков меняется в зависимости от освещения. Так пороговые значения цветового тона (Hue) для дорожных знаков с красным контуром в дневное время будут отличаться от пороговых значений цветового тона (Hue) для этих знаков в ночное время. В связи с эффектом отражения света от поверхности дорожных знаков, например, при свете автомобильных фар или уличного освещения в ночное время красный цвет на знаках может восприниматься как оранжевый. После выделения областей красного цвета необходимо выделить все возможные контура которые присутствуют на изображении. Для решения этой задачи необходимо использовать известный алгоритм детектор границ Кенни, и получить все возможные контура. Необходимо удалить мелкие контура, которые априори не могут быть кандидатами дорожных знаков.

Среди выделенных контуров необходимо выделить контура , которые будут объектами интереса. Только цветового признака для определения принадлежности объекта из области интереса к классу дорожных знаков ограничения скорости недостаточно, так как помимо дорожных знаков на изображении могут находиться другие объекты красного цвета (например, автомобили, рекламные доски, автомобильные стоп-сигналы). Второй признак, который можно выделить для всех рассматриваемых дорожных знаков, - форма эллипса очень близкого к кругу. Таким образом, необходимо выделить контура очертания которых представляют окружность. Для поиска окружностей среди выделенных контуров используется теоретически обоснованное преобразование Хафа. В итоге получена область интереса на изображении, то есть сам дорожных знак.

Заключительный этап работы систем автоматического распознавания дорожных знаков посвящен распознаванию дорожных знаков. В целом,

существующие для этого методы либо используют предварительно построенные шаблоны, либо основаны на обучении. В первом случае для каждого возможного знака создаются специальные шаблоны, которые помещаются в базу данных. После этого производится сравнение вновь поступившего на вход знака со всеми шаблонами путем вычисления какого-либо расстояния (Евклидова, Махаланобиса и т. п.). Естественно. что при этом необходимо приведение всех знаков к одному и тому же размеру. Однако такой метод обычно обладает значительными ошибками даже при небольшом изменении в цвете и освещенности объектов. Поэтому, вместо того чтобы сравнивать сами знаки, выделяют некие их характерные признаки (гистограммы, сумма проекций и интенсивностей и т. д.), что приводит к повышению надежности распознавания.

В конечном итоге система, интегрированная в систему управления автомобилем, должна распознать и идентифицировать определенные дорожные знаки в поле зрения камеры. Дорожные знаки должны соответствовать ГОСТ Р 52290-2004. В этой системе будем использовать знаки ограничения скорости, они описаны в ГОСТ Р 52290-2004.

Эта задача усложняется внешними факторами такими, как изменение дневной освещенности, изменение погодных условий, выбор аппаратуры с достаточным качеством и надежностью. Система должна позволять с высокой вероятностью распознать знаки которые установлены криво либо имеют дефекты. Необходимо учесть степень сложности распознавания знаков на большой скорости. При увеличении скорости транспортного средства нагрузку на систему возрастает, так как скорость подачи информативных кадров возрастает и время на распознавание уменьшается.

3. Эксперименты с обучением методов распознавания дорожных знаков на синтетических данных

3.1 Создание синтетической обучающей выборки

Для создания синтетических изображений знаков нами был использован алгоритм, описанный в статье [8]. Визуализация результатов работы основных шагов алгоритма приведена на рисунке 1. На вход алгоритма генерации подается пиктограмма знака и маска фона, которую легко выделить по пиктограмме. Далее к пиктограмме знака применяется набор трансформаций, состоящий из вариации интенсивности и насыщенности, поворотов вокруг трех осей, перспективных преобразований, добавления шумов и смещений.

На последнем этапе к полученному изображению знака с помощью алгоритма смешивания добавляется фон, вырезанный из реальных изображений. В результате получается выборка, состоящая из синтетических изображений знаков и масок фона. Для каждого примера из выборки известно преобразование, которому он был подвержен. Визуализация результатов работы алгоритма приведена на рисунке 2.

Рисунок 2. Алгоритм генерации синтетических данных

Рисунок 3. Пример получаемых синтетических данных

3.2 Описание предложенного алгоритма

После получения синтетической обучающей выборки мы извлекаем HOG дескрипторы из всех примеров и используем классификатор на основе поиска ближайшего соседа для присвоения входному изображению метки класса знака.

Метод на основе поиска ближайшего соседа обладает простым свойством - чем больше данных в обучающей выборке, тем лучше результаты распознавания. Наш алгоритм генерации синтетических данных содержит 16 параметров трансформаций. Если каждый параметр при генерации будет представлен хотя бы тремя значениями, то мы получим больше 50 миллионов синтетических примеров только на один класс. Чтобы решить данную проблему мы разбиваем поиск ближайшего соседа на два этапа. На первом этапа мы определяем приближенные параметры трансформации за счет поиска по выборке, сгенерированной с параметрами, варьируемыми в широком диапазоне значений с большим шагом. На втором этапе мы ищем ближайшего соседа в окрестности трансформации, определенной на первом этапе.

В случае дорожных знаков на первом этапе мы определяем приближенные параметры трансформации и маску знака. Далее мы отделяем знак от фона и удаляем смещения по краям, используя найденную маску. И производим поиск ближайшего соседа в окрестности найденной трансформации, чтобы получить окончательную метку класса. Визуализация работы алгоритма приведена на рисунке 4. Примеры четырех ближайших соседей, получаемых после первого этапа алгоритма, приведены на рисунке 4. Видно, что удается точно определить параметры трансформации, что позволяет отделить знак от фона.

Рисунок 4. Визуализация работы предложенного алгоритма распознавания: а) Поиск входного изображения среди трансформаций в широком диапазоне б) найдена приближенная трансформация и маска знака. Знак отделен от фона и выровнен в) поиск отделенного от фона знака в окрестности найденной трансформации г) присвоение класса знака

3.3 Эксперименты и результаты

Чтобы подтвердить эффективность классификатора на основе ближайшего соседа мы обучили на нашей синтетической выборке, состоящей из 100 000 изображений знаков , следующие типы классификаторов:

1) Linear Discriminant Analysis (LDA)

2) LinearSVM(LSVM)

3) Классификатор на основе Kближайших соседей (k-NN)

Рисунок 5. Примеры четырех ближайших соседей, получаемых после первого этапа предложенного алгоритма

Таблица 1. Подбор параметров дескриптора HOG

Мы провели сравнение получаемых точностей классификации на базе GTSTB [9]. Она состоит из 50000 изображений 43 классов знаков. Размеры встречаемых в коллекции знаков варьируются от 15x15 до 222x199 пикселей. Обучающая и тестовая выборка состоят из 39209 и 12630 изображений, соответственно. Мы тестировали предложенный алгоритм на тестовой части выборки и обучались на синтетических данных. Параметры дескриптора HOGбыли подобраны путем сравнения нескольких наборов параметров в связке с k-NNклассификатором. Результаты сравнения приведены в таблице 1. Для дальнейших экспериментов был использован набор параметров “HOG3”.

Все гиперпараметры классификаторов были подобраны с помощью метода скользящего контроля. Результаты классификации приведены в таблице 2.

Тренировочные наборы № 1 и № 2 содержат синтетические и реальные данные соответственно. Из сравнения результатов для наборов № 1 и № 2 видно, что в случае обучения на синтетических данных LDA иLSVM работают намного хуже, чем в случае обучения на реальных данных. Мы объясняем эту разницу тем, что распределение, лежащее в основе генератора синтетических данных, намного сложнее и линейные классификаторы, такие как LDA и LSVM, не могут разделить получаемую выборку. В то же время нелинейный метод на основе поиска ближайшего соседа (k-NN) лучше справляется со сложной выборкой. Чтобы подтвердить наши выводы мы провели простой эксперимент, создав набор № 3, содержащий синтетические данные после этапа сегментации и выравнивания предложенного нами алгоритма.

Результирующая выборка получилась проще, за счет отсутствия в генераторе синтетических данных ряда трансформаций. Видно, что ошибка классификации у LDA и LSVM упала в два раза. Лучшие на сегодняшний день методы классификации знаков на данной базе достигают точности 99.46% и основаны на объединении результатов работы нескольких глубоких нейронных сетей.

Глубокими нейронными сетями называют такие нейронные сети, у которых количество слоев с настраиваемыми во время обучения весами больше двух.

Хотя точность предложенного нами метода ниже, он лучше подходит для использования модуля распознавания в связке с модулем обнаружения, так как позволяет выровнять знак и отделить его от фона.

Типичные ошибки предложенного алгоритма приведены на рисунке 5. Они вызваны отсутствием соответствующей трансформации в алгоритме генерации синтетических данных. К таким трансформациям относятся: перекрытия, блики, сильное размытие за счет движения камеры.

Таблица 2. Сравнение различных классификаторов при обучении на реальных и на синтетических данных

Рисунок 6. Типичные ошибки предложенного алгоритма

Мы также протестировали предложенный нами метод на двух других базах знаков. На базе шведских знаков [10] на “visible” подмножестве изображений наш метод показал точность 97.47% на первой части и 99.13% на второй части. Сравнение с результатами из статьи создателей базы [11] провести невозможно, так как в статье заявлены результаты для одновременного обнаружения и распознавания знаков. На базе бельгийских знаков [12] нами достигнута точность в 95.57%. В [13] была получена точность в 97%, но распознаванию подвергались только обнаруженные, а значит самые простые, знаки.

Заключение

Предложен метод распознавания знаков дорожного движения, спроектированный для обучения на синтетически созданных данных. В методе предполагается, что для каждого обучающего примера известны преобразования, которым он был подвергнут. Описан алгоритм создания синтетической обучающей выборки. Метод распознавания работает на основе поиска ближайшего соседа в пространстве дескрипторов, полученных за счет извлечения градиентных признаков. Предложенный метод также позволяет отделить знак от фона и выровнять его границы, что в дальнейшем помогает на этапе классификации.

Список литературы

1. Dalal N., Triggs W. Histogram of oriented gradients for human detection // Proc. IEEE Comput. Soc. Conf. Comput. Vis. and Pattern Recog. 2005. P. 886-893.

2. Paclik P., Novovicova J., Duin R. Building Road-Sign Classifiers Using a Trainable Similarity Measure // IEEE Trans. Intell. Transp. Syst. 2006. Vol. 7, no. 3. P. 309-321

3. Ruta A., Porikli F., Watanabe S., Li Y. In-vehicle Camera Traffic Sign Detection and Recognition // Machine Vision and Applications. 2011. Vol. 22, no. 2. P. 359-375.

4. Zaklouta F., Stanciulescu B., Hamdoun O. Traffic sign classification using K-d trees and Random Forests // IEEE International Joint Conference on Neural Networks. 2011. P. 2151-2155

5. Maldonado-Bascon S., Lafuente-Arroyo S., Gil-Jimenez P., Gomez-Moreno H., Lopez-Ferreras F. Road-Sign Detection and Recognition Based on Support Vector // IEEE Trans. Intell. Transp. Syst. 2007. Vol. 8, № 2. P. 264-278.

6. Ciresan D., Meier U., Masci J., Schmidhuber J. A Committee of Neural Networks for Traffic Sign Classification // IEEE International Joint Conference on Neural Networks. 2011. P. 1918-1921.

7. Sermanet P., Lecun Y. Traffic Sign Recognition with Multi-Scale Convolutional Networks // The 2011 International Joint Conference on Neural Networks. IEEE Conference Publications, 2011. P. 2809-2813.

8. Моисеев Б., Чигорин А. Классификация автодорожных знаков с помощью свёрточной нейросети, обученной на синтетических данных // 22-я Международная Конференция по Компьютерной Графике и Машинному Зрению (GraphiCon'2012) : труды. (Москва, 1-5 Октября 2012 г.). Москва, МГУ, 2012. P. 284-287.

9. Stallkamp J., Schlipsing M, Salmen J., Igel C. Man vs. Computer: Benchmarking Machine Learning Algorithms for Traf?c Sign Recognition // Neural Networks. 2012. Vol. 32. P. 323-332

10. Larsson F. Traffic signs dataset. Available at

11. Larsson F., Felsberg M. Using Fourier Descriptors and Spatial Models for Traffic Sign Recognition // Image Analysis : Proceedings of the 17th Scandinavian Conference on Image Analysis, SCIA 2011 (Ystad, Sweden, May 2011). Springer Berlin Heidelberg, 2011. P. 238-249. DOI: 10.1007/978-3-642-21227-7_23 (Ser. Lecture Notes in Computer Science; vol. 6688).

12. Timofte R. KUL Belgium Traffic Sign Classification Benchmark. Available at

13. Timofte R., Zimmermann K., Gool Van L. Multi-view traffic sign detection, recognition, and 3D localization // IEEE Workshop on Applications of Computer Vision (WACV 2009). December 2009. P. 1-8.

14. Попов Е.Ю., Крыжановский Д.И. Алгоритм распознавания дорожных знаков ограничения скорости // Современные научные исследования и инновации. - Июнь 2012. - № 6

15. Суслинников А.Д. Системы современного автомобиля

16. «Цифровая обработка видеоизображений» А.А. Лукьяница, А.Г. Шишкин - М.: «Ай-Эс-Эс Пресс» , 2009.-518с.

17. ГОСТ Р 52290-2004 «Технические средства организации дорожного движения. Правила применения дорожных знаков, разметки, светофоров, дорожных ограждений и направляющих устройств».

Размещено на Allbest.ru