Классы были сильно несбалансированы и часть классов присутствовали только на некоторых картинках, поэтому картинки с присутствующим классом были равномерно распределены между всеми частями.

5) Для класса с маленькими объектами, например 10, использовался маленький вариант UNET, с входным размером 32х32 пикселя и отдельной Loss функцией с большим штрафом за False Positive, основано на Tverski index [8].

Анализ входных данных и метрики

В качестве входных данных были предоставлены два набора изображений: тренировочные (train) и тестовые (test). В тренировочном наборе 25 различных областей поверхности земли, снятых со спутника, в тестовом 429 поверхностей. Для каждой поверхности было предоставлено 20 различных изображений снятых в разных спектрах спутником World View 3 [9] (см. таблицу 1).

Таблица №1

Характеристики изображений спутника World View 3

Для тренировочных данных была также предоставлена готовая разметка по 10 классам. От участников соревнования требовалось автоматически получить разметку на тестовых данных. Список классов и их относительная площадь приведены в таблице 2.

Таблица №2

Список классов для разметки и максимальный размер полигона

Пример одной из тестовых картинок в RGB приведен на рис.1. Полигоны для этой картинки изображены на рис.2.

Рис.1. - Один из тренировочных снимков

Рис.2. - Полигональная разметка для тренировочного снимка

Для оценки решения использовалась метрика Jaccard Index, который задаётся формулой (1):

, (1)

где TP - True positive, FP - False Positive, FN - False negative. Схематично формулу можно пояснить с помощью кругов Эйлера (см. рисунок 3)

Рис.3. - Пересечение реального полигона A, с предсказанным полигоном B

Из формулы (1) видно, что Jaccard Index изменяется на промежутке от 0 до 1. При этом в задаче метрика считалась одновременно для всех картинок. Плохое предсказание на одной картинке значительно влияло на финальную метрику. Поэтому требовалось избегать ложноположительных срабатываний.

Подготовка данных для обучения

Для каждой области снятой поверхности (определяется по IMAGE_ID) было предоставлено 20 различных изображений (см. таблицу 1). Наибольшее разрешение было у панхроматического снимка, но оно немного варьировалось между изображениями. Поэтому было принято решение привести все снимки к формату 3360 на 3360. Число 3360 было выбрано из следующих соображений:

1) В качестве базовой нейронной сети была выбрана UNET, которая была модифицирована под наши задачи с входной размерностью 20х224х224, а 3360 = 224*15.

2) Число 224 часто используется как сторона квадрата для большого числа известных свёрточных нейросетей, например VGG16 [10] и ResNet. Для этих сетей есть веса, подготовленные на большом наборе данных из ImageNet [11]. Таким образом, подготовленные данные можно будет использовать для экспериментов и с этими сетями.

Все доступные изображения для одной области были преобразованы к виду 3360x3360 и склеены в одну большую 3-мерную матрицу с размерами: 20x3360x3360. Полигоны также были спроецированы на изображение-маску размером 3360x3360. Значение 1 в маске означает наличие искомого объекта по координатам данного пиксела, 0 - соответственно отсутствие.

Тренировочные данные готовились отдельно для каждого из 10 классов сегментации (см. таблицу 2). Для подготовки тренировочного набора для отдельного класса эта 3-мерная матрица и маска были разделены на 225 непересекающихся частей с размерами 20х224х224 и 224х224 соответственно.

Таблица №3

Распределение классов по изображениям. Красным отмечены ячейки, если на картинке есть хотя бы один полигон для заданного класса. Число в ячейке - процент площади изображения занятой полигонами данного класса.

Данные были распределены неравномерно, что хорошо видно на таблице номер 3. Часть классов отсутствовала на большинстве картинок (например, быстрая вода (7 класс)), а часть классов имело очень маленькую площадь полигонов относительно общей площади изображения. Поэтому тренировочные изображения готовились отдельно для каждого класса. После первого этапа, когда были добавлены все непересекающиеся изображения размером 20х224х224, в каждый класс были добавлены дополнительные изображения с ненулевой маской. Получены они были методами плавающего окна вокруг ненулевой маски. Пример отдельного тестового изображения (20 слоев показаны как отдельные изображения) для нейронной сети приведен на рис.4, и маска для него на рис.5.

Рис.4. - Тестовый пример для обучения нейронной сети размерности 20х224х224

Рис.5. - Пример маски, полученной из полигонов для класса деревьев

В процессе анализа тренировочного набора был обнаружен ряд проблем, которые затрудняли обучение.

1) Классы быстрой и медленной воды не всегда хорошо отличимы друг от друга даже визуально. По быстрой воде также было предоставлено очень мало тестовых данных. В идеале эти классы следовало объединить. Часть участников обучали эти классы в рамках единой модели и затем разделяли их эвристическими методами.

2) Классы 9 и 10 были несколько искусственно разделены на большие и малые машины, дополнительно разметка по ним оставляла желать лучшего. В класс 10 также попали посторонние объекты, такие как мусорные баки.

3) Часть изображений в разных частотных диапазонах были немного смещены друг относительно друга.

Сеть UNET требует распределение яркости пикселей близкое к нормальному, поэтому требовалось посчитать арифметическое среднее и стандартное отклонение значений пикселов. Мы использовали один набор коэффициентов для всего тензора, а не 20 отдельных нормирующих коэффициентов для каждого слоя.

Мы не производили фильтрацию пикселов с краёв гистограммы для картинок. Судя по всему это приводит к потери части важной информации.

Подготовка модели

Сеть UNET в ходе экспериментов была доработана, путём увеличения глубины, добавлением BatchNormalization и Dropout уровней. Был разработан специализированный Double Convolution слой на базе которого была переписана сеть. Указанные модификации позволили сократить оверфиттинг и улучшить сходимость модели. UNET на базе этих моделей (мы назвали эту сеть ZF_UNET_224) приведена на рис.6.

Рис.6. - Структура модифицированного Double Convolution слоя и модифицированной сети ZF_UNET_224

В качестве Loss функции использовался немного видоизменный коэффициент Жаккара (см. формулу (1)) с дополнительными слагаемыми для того что бы сделать его дифференцируемым. Код на языке Python приведён ниже.

def jacard_coef (y_true, y_pred):

y_true_f = K. flatten (y_true)

y_pred_f = K. flatten (y_pred)

intersection = K. sum (y_true_f * y_pred_f)

return (intersection + 1.0) / (K. sum (y_true_f) + K. sum (y_pred_f) - intersection + 1.0)

Типовой процесс обучения показан на рис.7, где по горизонтали число эпох обучения, по вертикали коэффициент Жаккарда. Синим на графике показан коэффициент Жаккарда для тренировочного набора, красным коэффициент Жаккарда для валидационных данных.

Рис.7. - Процесс обучения нейронной сети

Обучение модели и валидация

Основной проблемой в процессе обучений была нестабильность. В некоторых случаях обучение “заходило в тупик”, достигая локального минимума, например, начиная предсказывать в качестве сегментации всю картинку. Поэтому для нахождения оптимальных моделей использовался поиск по сетке (grid search).

В качестве узлов сетки использовались следующие параметры:

Optimizer (Adam, SGD); LR SGD: (0.05, 0.01, 0.001); LR Adam: (0.01, 0.001, 0.0001); Вращение (включено, выключено); тип модели: UNET 224x224, UNET с dropout 0.1, UNET с Batch Normalization; количество изображений на эпоху (Часть от Ѕ до 1)

Параметры выбирались на одной части из разбиения и затем использовались на оставшихся. После большого числа запусков стало понятно, что лучшие результаты получаются на оптимизаторе Adam, типе нейронной сети с BatchNormalization с включенными поворотами картинки. Настраивался только Learning Rate.

Процесс тренировки останавливался в случае если не было улучшений коэффициента Жаккарда в течении нескольких эпох (8-15). После получения отдельной модели из всего набора, она прогонялась на всех валидационных изображениях и рассчитывался общий индекс Жаккара. В качестве финальной модели выбиралась модель, имеющая максимальный общий индекс Жаккара по итогам Grid Search.

После получения моделей для всех 5 частей разбиения. Рассчитывался “полный тренировочный индекс Жаккара" на основе всех 25 доступных изображений. Для его расчёта использовалось полное пересечение всех полигонов по всем изображениям одновременно. Также по всем изображением считалась сумма площадей всех предсказанных полигонов и заданных полигонов. Полный тренировочный индекс Жаккара хорошо согласовывался с полученным результатом на общей Leaderboard таблице результатов Kaggle.

Поскольку вероятности для пикселей расположены равномерно на промежутке от 0 до 1, а нам требуются дискретные 0 и 1 для формирования полигонов, то на базе валидации искалось оптимальное значение THR по которому производить отсечку. Пример значения общего коэффициента Жаккара в зависимости от величины отсечки приведён на рис.8, где по горизонтали значение THR, а по вертикали - значение общего коэффициента Жаккара на валидационных данных.

Рис.8. - Выбор оптимального значения THR на примере классов 1-4

бработка тестовых данных

Набор тестовых данных был намного больше тренировочных и состоял из 429 изображений. Каждое тестовое изображение обрабатывалось отдельно. Перед началом обработки, изображение по аналогии с тренировочными данными приводилось к виду матрицы 20х3360х3360 и нормализовалось.

Перед началом обработки изображения создавались два массива HEATMAP и COUNT оба размера 3360х3360, изначально заполненные нулями. Из тестового изображения последовательно извлекались изображения размером 20х224х224 со сдвигом D=112 пикселей (см. рис.9). Для каждого изображения всеми моделями, подготовленными для данного класса делались предсказания разметки. Полученные вероятности прибавлялись к массиву HEATMAP по тем же координатам, из которых было получено изображение для анализа. К массиву COUNTS по тем же координатам соответственно прибавлялась единичка. По окончании расчета массив HEATMAP поэлементно делился на массив COUNTS. И попиксельно с использованием, полученного на этапе валидации значения THR приводился к 0 или 1. На базе полученного “двухцветного" 2D массива формировались финальные полигоны решения.

Рис. 9. - Подход на базе скользящего окна

Ниже предложены дополнительные методики увеличения точности предсказаний. Они вошли в наше финальное решение лишь частично из-за ограниченных доступных аппаратных ресурсов и ограниченное время соревнования. На обработку тестового набора для одного класса в среднем тратилось 8-10 часов.

1) Уменьшение шага для скользящего окна со 112 до 56 (и ниже) почти всегда приводит к улучшению метрики, но одновременно с этим увеличивает время расчета как O (N²). Например, для класса 4 на валидации счет вырос с 0.385714 до 0.403683 при уменьшении шага со 112 до 56 пикселей.

2) Точность распознавания на краях изображения в нейронной сети ниже. Поэтому были проведены эксперименты по сегментации используя только центральную часть UNET. Что дало для класса 5 на валидации:

Обычное значение: 0.507446

центральная часть 160x160 пикселей из квадрата 224x224 с шагом 80 пикселей: 0.514557

центральная часть 200x200 пикселей из квадрата 224x224 с шагом 100 пикселей: 0.512844

3) В некоторых случаях на валидации THR=0.5 не было самым оптимальным параметром. Поэтому имеет смысл использовать оптимальное значение. Например, для класса 6:

THR 0.1: 0.738943

THR 0.5: 0.757858

THR 0.9: 0.759850

На рис.10 приведен пример получения сегментации для некоторого участка изображения для класса 5. Сначала сегментация, предсказанная каждой из 5 моделей. Затем общий HEATMAP и потом различная сегментация в зависимости от значения THR.

Рис.10. - Пример сегментации для класса 5 (деревья)

Ансамбли моделей

Рис.11. - Ансамбль из трёх наборов полигонов. Чёрным контуром отмечена выбранная часть.

Постобработка

Для классов с маленькими объектами общее решение работало не очень хорошо. Основными источниками проблем были: малые размеры объектов, небольшое их количество в тренировочном наборе, плохая тренировочная разметка, частичные сдвиги слоёв изображений полученных на разных частотных полосах между собой.

Для разметки этого класса была создана отдельная модель со входом 32х32 пикселя. Были подготовлены входные данные с большим числом изменений - повороты объектов на произвольный угол, сдвиги относительно центра. Для уменьшения числа ложноположительных срабатываний использовался индекс Тверски с большим штрафом за False Positive. Формула (3):

, (2)

где X - предсказанная разметка а Y - реальная разметка.

Другие подходы к решению задачи сегментации

1) В самом начале соревнования мы пробовали подход с применением библиотеки XGBoost [12] для классификации областей 10х10. Всё изображение разбивалось на области 10х10 пикселей и модель предсказывала к какому из 10 классов принадлежит данный участок. Этот подход позволил подняться выше базового решения. Вероятно, подготовка отдельных моделей для каждого класса позволила улучшить решение еще больше, но мы ушли в сторону использования нейронной сети UNET. По окончании соревновании на форуме один из участников рапортовал, что этот метод (но на одиночных пикселях) позволил ему подняться очень высоко в общем рейтинге [13].

2) Мы использовали предобученную сеть VGG16 [14] для локализации редких классов (машины и грузовики). Сеть предсказывает наличие или отсутствие представителей указанного класса в заданной области по RGB каналам. Далее эти предсказания используются как ансамбль с предсказаниями UNET сети. Пример приведен на рис.12.

Рис.12. - Предсказания нейронной сети VGG16 по наличию автомобилей в заданной области

3) Мы также переделали предобученную сеть VGG16 для задач сегментации. Основная идея это поменять последний слой сети, что бы он предсказывал место на картинке 224х224 где данный класс есть в наличии. Для последнего слоя заменялась функция активации с softmax на sigmoid. Всего использовалось 16*16 = 256 нейронов, которые предсказывали для области 14х14 пикселей наличие или отсутствие класса. Полученный результат был хуже чем при использовании UNET.

4) В то время пока задачи сегментации выполнялись без использования нейронных сетей, было разработано большое число разнообразных индексов, которые помогали делать сегментацию изображений автоматическими методами (например, NDWI) [15]. Один из таких индексов (CCCI) отлично работает для водных поверхностей, как было показано одним из участников соревнования [12]. Часть наиболее эффективных индексов рассчитанных для изображений можно добавлять как дополнительные плоскости для обучения нейронных сетей. То есть, например, для воды можно добавить индекс CCCI как 21 плоскость наряду с остальными изображениями, полученными на разных частотах. У нас не было времени протестировать много различных индексов в момент проведения соревнования.

5) Методы Conditional random field (CRF) [16] могут быть использованы для уточнения полигонов, полученных из предсказаний нейронных сетей. Эти полигоны зачастую имеют рваные края в отличие от разметки сделанной человеком. И методы CRF могут исправить эту проблему, тем самым увеличив точность.

Экспериментальные результаты

Результаты работы алгоритма проверялись на Leaderboard (доске лидеров) системы Kaggle. Лучшие результаты для полученных моделей по классам приведены в таблице 7. На базе изображений, для которых участникам неизвестна реальная разметка система автоматически подсчитывает коэффициент Жаккара.

Таблица №5

Коэффициент Жаккара сегментации для различных классов на публичном и приватном наборе изображений

Далее приведён пример сегментации на одном из тренировочных изображений, которое использовалось для валидации моделей. На рис.13 - оригинальное изображение, построенное из 3 каналов (RGB), на рис.14 - реальная разметка, подготовленная человеком, а на рис.15 - разметка, полученная нашим набором моделей.

Рис.13. - Одно из тренировочных изображений

Нейронные сети показали свою высокую эффективность при решении задачи автоматической сегментации спутниковых изображений. Даже в условиях ограниченного времени (2 месяца) удалось подготовить модель, которая автоматически создаёт разметку местности, похожую на разметку сделанную вручную. Несомненно, при расширении тестового набора и доработке структуры нейросети можно увеличить качество предсказаний до гораздо более высокого уровня. Работа выполнена при поддержке гранта "РФФИ 17-07-00409".

Литература