Выделение паттернов движения на основе центра масс фигуры человека с использованием видеоизображений

Размещено на http://www.allbest.ru/

3

Выделение паттернов движения на основе центра масс фигуры человека с использованием видеоизображений

М.Ю. Катаев, Н.Г. Катаева, Д.Н. Буинцев, А.Б. Кураков

Оценка положения центра масс (ЦМ) фигуры является очень важной проблемой в анализе движения человека (походки). Есть различные методы, чтобы оценить особенности походки человека. Тем не менее, применение видеоизображений для анализа походки имеет много преимуществ перед другими методами благодаря своей доступности и легкости восприятии результатов. Предлагается методика выделения паттернов движения человека на основе оценки положения UM при использовании цифровых видеокамер. Хотя многие алгоритмы обработки изображений хорошо известны, их последовательность и учет специфики выделения движущегося человека позволяют получать устойчивые и точные методики обработки видеоизображений. Паттерн движения человека формируется на основе оценки параметров походки. Такая характеристика делает возможность получить подходящую основу для построения системы анализа походки человека в текущий момент времени и при сравнении в последующих измерениях.

Ключевые слова: техническое зрение, математические методы, изображение, походка человека, фигура человека, центр масс, паттерн.

Катаев Михаил Юрьевич

Д-р техн. наук, профессор каф. автоматизированных систем управления (АСУ)

Томского государственного университета систем управления и радиоэлектроники (ТУСУР)

Катаева Надежда Григорьевна

Д-р мед. наук, профессор каф. неврологии и нейрохирургии Сибирского государственного медицинского университета (СибГМУ)

Буинцев Дмитрий Николаевич

Канд. техн. наук, проректор по развитию университетского комплекса и социальной работе ТУСУРа

Кураков Андрей Борисович

Студент каф. АСУ ТУСУРа

KataevM.Yu., KataevaN.G., BuintsevD.N., KurakovA.B.

Issue of motion patterns based on the mass center of a human body using video images

Assessing the position of the center of mass (CM) of a human body picture is a very important problem in the analysis of human movement (gait). There are various methods to evaluate a person's gait. Nevertheless, the use of video images for gait analysis has many advantages over other methods, due to its accessibility and ease of perception of the results. In this article, the authors propose a technique to isolate patterns of human movement based on the assessment of the position of the CM when using digital video cameras. Although there are many well known image-processing algorithms, their sequence and ability to consider the specifics of detecting a moving person allows to obtain a stable and accurate methods to process video images. The pattern of human movement based on an assessment of gait parameters is formed. Such a characteristic enables obtaining a suitable basis to design a system for human's gait analysis at a specific time and to compare it and use it the data in subsequent measurements. Keywords: technical vision, mathematical methods, image, human gait, human body detection, center of mass, pattern.

цифровая камера видеоизображение походка человек

Ходьба человека - это чрезвычайно сложный биомеханический процесс, который затрагивает все основные части и функции человеческого организма. Уже более двух тысяч лет походка является основой наблюдений и описания для решения задач медицины, спорта и военных действий. Интерес к анализу ходьбы человека вытекает из того факта, что анализ движения дает информацию о процессах в организме человека, которые напрямую не наблюдаются. Траектория центр масс (ЦМ) фигуры является важным параметром при изучении ходьбы человека, так как связана с движением всего тела. Изменение в траектории центра массы тела может указывать на изменения состояния человека, влияющие на поддержание стабильности в походке. Поскольку траектория изменения ЦМ в процессе движения отражает движение всего тела, то анализ ее может предоставить полезные параметры для оценки ходьбы.

Большое количество исследований о человеческой ходьбе было опубликовано за последние 100 лет, где представлены разнообразные методики измерений, многочисленные математические модели анализа, а также моделирование ходьбы человека. Из-за сложности фигуры человека и большого количества возможных его состояний оценка параметров ходьбы является непростой задачей. Для количественного анализа походки человека часто используется система пассивных маркеров. Несмотря на то, что такой подход является точным и надежным, он финансово затратен, требует много времени на измерение и обработку, специально оборудованного места и наличие подготовленного специалиста. Это обстоятельство существенно ограничивает широкое применение данного подхода на практике. Увеличить использование количественного анализа походки в общедоступных местах, в том числе и в клиниках, школах, позволяет методика, основанная на видео. Кроме того, в качестве дополнительного преимущества использование видеоизображений не влияет на человека и тем самым на измеряемую функцию движения (походки). Тем более, что такой подход требует минимального приспособления помещений и внимания к одежде человека. И наконец, решения, основанные на обработке видеоизображений, являются достаточными не только для качественного, но и количественного понимания параметров походки с минимальным временем измерения, сложности понимания и стоимости.

В статье приводится описание методики, позволяющего на основе обработки видеоизображений оценивать параметры походки и формировать паттерны, которые однозначно описывают движение человека в данный момент времени. Паттерны одного и того же человека можно сравнивать между собой, тем самым выделяя особенности изменений, что может быть использовано для целей реабилитации пациентов (например, после перенесенного инсульта), спорта, оценки здоровья школьников, безопасности и многих других приложений.

Постановка задачи

Анализ походки подразумевает целенаправленное изучение ходьбы человека, направленное на количественную оценку и понимание всех элементов процесса передвижения. Основные цели таких исследований связаны с возможностью, во-первых, лечения пациентов с нарушениями походки и, во- вторых, расширить знания и понимание человеческой походки для практического использования в спорте, народном хозяйстве и других приложениях.

Походка - это циклическая активность различных составляющих организма человека, которую можно представить в виде циклической серии отдельных событий. Цикл походки часто определяется как период между первоначальным контактом одной ступни с землей и последующим контактом той же ступни. Цикл походки состоит из двух основных фаз: стояния и качания. Фаза стояния - это та часть цикла походки, когда ступня находится в контакте с землей, и, как правило, составляет примерно 55-60% от общего нормального цикла ходьбы взрослого человека. Три состояния качания ноги (пятка, лодыжка и передняя часть стопы), возникающие во время фазы стояния, служат для контроля прямого падения тела во время нормального передвижения. Фаза качания определяется как период, когда нога не соприкасается с землей и готовится к последующему соприкосновению ступни с поверхностью. Фаза колебания занимает оставшиеся 45-40% цикла походки. При различного рода заболеваниях временные и амплитудные характеристики цикла походки изменяются, что можно зафиксировать с помощью разного рода датчиков или с помощью видеоизмерений.

Для решения задачи выделения фигуры человека в потоке изображений предлагается последовательность операций, которая позволяет с достаточной точностью выделить фигуру человека на изображении. Отметим, что условия измерений (фон и освещение) оказывают серьезное влияние на точность выделения фигуры и требуют учета многих факторов и разнообразных методик. Будем считать, что условия измерений движения человека с помощью цифровой камеры являются необходимыми для оценки фигуры человека на изображении (однородный фон и устойчивое, яркое освещение). Основные программно-алгоритмические модули обработки изображений приведены в последовательности их выполнения:

1. Получение изображения.

2. Предварительная обработка (коррекция шумов,яркости).

3. Оценка фона (отделение статических от динамических пикселей из сравнения соседних изображений).

4. Бинаризация (выделение фигуры человека).

5. Сглаживание.

6. Морфологические операции (устранение дефектов случайной структуры фигуры человека).

7. Оценка центра масс (ЦМ) фигуры человека.

8. Анализ накопленных значений ЦТ (определение параметров походки, сравнение с предыдущими измерениями).

Две наиболее важные сложные задачи в оценке параметров походки человека необходимо решить при обработке изображений, это выделение фигуры человека (тела), а также и расчет центра масс этой фигуры. Эти сложности возникают из-за разнообразия возможных положений тела и формы фигуры (в основном за счет одежды). Еще одна серьезная проблема заключается в том, что некоторые части тела закрывают собой другие во время движения или в формирования позы при получении изображений. В результате автоматическое и безмаркерное выделение фигуры человека сталкивается со многими трудностями, которые необходимо учитывать в процессе обработки изображений.

До того, как выполнить видеосъемку движения человека, необходимо сформировать сцену, которая состоит из однородного фона. Для примера человек может двигаться вдоль стены при хорошем освещении, направленном сверху, чтобы тень была минимального размера. Цифровая камера должна располагаться примерно в трех-четырех метрах от сцены. Движение человека должно проходить от одного края сцены до другого и включать 4-5 шагов каждой ногой.

Далее приводится описание основных модулей этапов обработки изображений движения человека.

Оценка фона и извлечение фигуры человека на изображении

Первый шаг в каждом алгоритме выделения движения связан с извлечением фигуры объекта (будь то автомобиль, астероид или человек), которое необходимо выполнить в каждом кадре последовательности изображений (видео). Этот шаг очень важен, потому что от его качества зависит вся остальная работа по оценке параметров походки человека. Известно много методов для выполнения этого шага с использованием разнообразных алгоритмов, таких как статистические методы, разность кадров во времени и вычитание фона. Например, метод вычитания фона является самым простым и одним из самых общих методов для извлечения фигуры человека.

Этот метод подразумевает оценку фона (часто используется средняя яркость изображения) и его вычитание из текущего кадра последовательности. Для этого метода требуются идеальные условия получения видео, так как невозможно учитывать изменения в условиях освещения или теней, которые генерируются движущимися объектами. Чтобы решить эту проблему, часто вводят известную методику «серый мир», которая приводит каждый кадр последовательности к одинаковым условиям яркости относительно первого кадра. Этот метод требует много времени для расчета, но приводит к лучшей оценке фигуры человека в условиях изменения яркости и шума. Реализация метода оценки фона связана с изменением цветового пространства с RGBна IUVи использованием матрицы I для оценки фона. Построение матрицы, содержащий контур движущегося человека, связано с расчетом разностной матрицы DI(x, У, t):

DI(x, y, t) = abs(In(x, y, t+1) - In(x, y, t)),(1)

где In(x, y, t) = A(x, y) '|I(x, y, t) - <I(x, y, t)>|, I(x, y, t) - изображение в tкадре последовательности (t = 1, T), <I(x, y, t)> - среднее значение яркости на изображении или среднее значение изображения фона без присутствия человека в кадре, A(x, y) = g<I(x, y, t) > /c(x, y) - весовая матрица, g - нормирующий множитель 0 <g< 1 (подбирается в зависимости от освещенности), c(x, y) - дисперсия изменения яркости на изображении.

Затем проводится бинаризация, по правилу B(x, y, t) = P(DI, t) = {1, если DI(x,y, t) >tи 0, иначе}, (2) здесь P(DI(x, y, t), t) - функция преобразования и t - значение пороговой величины.

В матрице B(x, y, t) отображаются контур идущего человека (1 - белый цвет и 0 - черный) и различные шумы в виде групп пикселей разного размера, расположенных случайно и меняющихся от изображения к изображению. Удаление этих шумовых групп пикселей возможно при помощи различного набора фильтров.

Применение оконного фильтра размером (10^10) пикселей, основная часть мелких групп пикселей белого цвета на изображении заменяется на черный. Получившаяся матрица содержит информацию, где существование контура человека уже более вероятно, что дает возможность использовать ее как априорные знания для определения объекта в следующем кадре. Далее применяется медианный фильтр как наиболее широко используемый, когда требуется полная информация о границе (в нашем случае белое-черное). Фильтр заменяет каждое значение пикселя медианой соседних пикселей, которые вписываются в ядро в окрестности w:

B(x, y, t) = median[B(x, y, t), V(x, y)6 w],(3)

где w - размер окрестности медианного фильтра (размер ядра является положительным нечетным целым числом).

Далее применяются морфологические операции, которые представляют собой нелинейные операции обработки изображений. Морфологические операции основаны только на относительном порядке значений пикселей, а не на их числовых значениях, что делает их эффективными для бинарных изображений. Для выполнения морфологической операции бинарное изображение сворачивается со структурирующим элементом S, используя операторы множества, такие как пересечение, объединение, включение и дополнение, а пороговый уровень определяет значение выходного пикселя. Морфологические преобразования уменьшают неопределенности на бинарном изображении, делая фигуру человека замкнутой, без присутствия в ней разрывов. Преобразование изображения B(x, y, t) дается по формуле свертки

С = B(x, y, t)®S.(4)

Расширение и эрозия являются двумя основными морфологическими операциями и противоположными операциями по действию. Так, эрозия удаляет пиксели, а расширение добавляет пиксели к границе объекта на изображении. Количество пикселей, которое будет добавлено или удалено, зависит от формы и размера структурирующего элемента S. Расширение - это когда интенсивность выходного пикселя является максимальным значением всех пикселей, которое вписывается в структурирующий элемент согласно

dilate(B, S) = P(C, 1).

Эрозия - когда интенсивность выходного пикселя - это минимальное значение всех пикселей, которые соответствует форме и размеру Sструктурирующего элемента согласно

erode(B, S) = P(C, S).

Закрытие - когда является расширением с последующей эрозией в соответствии с формулой closing(B, S) = erode(dilate(B, S), S).

После того как фигура человека на бинарном изображении выделена, выполняется вычисление такой характеристики, как центр масс (ЦМ), который является точкой в центре распределения масс в пространстве. Заметим, что центр тяжести и центр масс - это два эквивалентных термина. Один из подходов нахождения ЦМ основан на вычислении моментов изображения, которые являются средневзвешенными значениями яркости пикселей изображения. Центр масс фигуры человека может быть вычислен по следующим формулам:

Pmn= IS,x^my C(x, y), poo = EEC(x, y).(5)

Учитывая (5), центр масс рассчитывается по формуле

(ex, cy) = (p10/p00), (pOl/pOOj, здесь p01 = EEyC(x, y), p10 = EExC(x, y).

Точка (ex, ey) характеризует положение ЦМ в пространстве от изображения к изображению. Анализ колебаний центра масс Анализ походки с помощью визуального наблюдения является инструментом уже много веков в медицине и спорте. Этот метод существенно субъективен, он позволяет выявлять многие отклонения в походке как в фазе стоя, так и в фазе качания путем фокусировки внимания на процесс движения. Однако быстрые фазы движения (перенос ноги), а значит и отклонения параметров походки от нормы, могут быть пропущены даже обученным наблюдателем. Кроме того, наблюдатель с трудом сможет найти изменение в степени отклонений через некоторое время. Несмотря на эти недостатки, визуальный анализ походки является полезным инструментом при рассмотрении количественных показателей, полученных при обработке видео.

Цикл походки связан с периодами времени, в течение которых та или другая нога находится в контакте с поверхностью. Все эти показатели являются некоторым шаблоном (паттерном), который показывает тип походки (норму или отклонение от нормы). Любое зафиксированное отличие является основанием для изучения этого факта рассмотрения различных возможных аспектов возникновения такого результата. Оценку временных параметров цикла походки (рис. 1) можно определить как временной интервал между двумя последовательными появлениями одного из повторяющихся событий ходьбы. На рисунке оси сознательно сделаны относительными, так как рисунок предназначен более для пояснения деталей расчета. Движение человека проходит вдоль сцены длиной Lза Nшагов в одном направлении и времени Т.

Анализ кривой колебания центра масс связан с поиском всех минимумов и максимумов Ti,определением амплитуды для каждого экстремума A_iи ширины отрезка на полувысоте амплитуды S_i.Эти величины позволяют сформировать паттерн движения человека, состоящего из 14 параметров (6)-(19), характеризующих индивидуальность походки человека.

Vs = L/(T(N)- T(1)),(6)

Fs = N/(T(N) - T(1)),(7)

Ws = Vs/Fs,(8)

DД(j') = A(i + 1)/A(i),(15)

S1(i),(16)

DS(j) = S(i + 1)/S(i),(17)

T2(m) = T(i + 2) - T(i),(18)

DT2(m) = T2(j + 1)/T2(/').(19)

ЗдесьVs - средняя скорость движения, Fs - средняя частота движения, Ws- средняя длина шага, T1 - время j-го шага, R1 - темп шага одной ногой, R2 - темп шага другой ногой, DR- изменение темпа между шагами, DT1 - изменение времени между шагами, A1 - амплитуда i-го шага, DA- изменение амплитуды между шагами, S1 - ширина наполувысоте амплитуды, DS- изменение ширины между шагами, T2 - время двойного шага, DT2 - изменение двойного шага.

При проведении серии экспериментов по вычислению паттернов движения людей с разными заболеваниями и в здоровом состоянии появляется возможность сравнения этих характеристик. Анализ результатов сравнения позволяет разработать методики реабилитации, определения предвестников заболеваний, состояние двигательной активности (для спорта) и т.д.

W1i W2i

Рис. 1. Колебание центра масс фигуры человека в процессе движения (по шкале абсцисс отложено время, а по оси ординат - величина колебания ЦМ в процессе движения)

Цикл походки характеризуется длиной шага, выраженной во временных единицах (числе кадров видео). Зная расстояние от точки съемки до сцены, можно определить длину шага (метры), время шага (секунды), скорость ходьбы (метры в секунду), частоту шагов (шагов в минуту), время поддержки одной конечности (секунды), время поддержки двух конечностей (в секундах) и другие величины. Эти параметры времени и расстояния обеспечивают некоторый паттерн индивидуальной схемы ходьбы. Несмотря на то, что ходьба является характерным видом деятельности каждого человека, существует небольшое изменение в характере ходьбы от одного человека к другому (возраст, пол, полнота, одежда, обувь и др.). Эти изменения связаны с антропологическими параметрами и типом фигуры. Любое отклонение этих параметров от нормальных значений будет влиять на тип ходьбы и, следовательно, можно рассчитать, какой расход энергии необходим для этого. Параметры быстрой и медленной походки полезны при диагностике состояния здоровья человека (изучение отклонения от нормы) и оценке эффективности лечения.

Результаты

Ранее описанные математические подходы к обработке видеоизображений были применены к записи походки нескольких человек пожилого возраста. На рис. 2 представлено бинаризованное изображение движения человека, на котором видны особенности, которые требуют устранения для точного восстановления центра масс фигуры человека.

Рис. 2. Выделение фигуры человека на изображении

Хорошо видно, что совместно с фигурой человека на бинаризованном изображении отображается тень и фигура человека является негладкой, видны значительные искажения, которые требуют устранения с помощью морфологического анализа. Рассчитывается центр масс человека, графики колебания ЦМ во время походки приведены на рис. 3.

Результаты расчета параметров (6)-(8) примерно совпадают, что хорошо видно по графикам. Среднее время шага первого человека составляет 7,0±0,5, а второго - 7,3±0,3, т.е. время шага примерно одинаково и наблюдаются лишь небольшие отклонения. Амплитуды шагов первого и второго человека также примерно одинаковы и в среднем составляют для первого человека 47,1±4,8, а для второго - 48,4±2,3. Разница в амплитудах шагов первого человека относительно второго также заметна по рисункам. Темп движения первого человека составляет для одной ноги 6,45 и второй 7,2, а для второго человека - 7,07 и 6,69. Разница времени шага одной ноги первого человека составляет 1,1 и для второй ноги 0,87, а для второго человека - 1,05 и 0,95, что говорит о том, что его движение более равномерное, чем у первого человека.

Рис. 3. Зависимости изменения центра масс двух человек в процессе движения

Составление этих параметров и других, представленных формулами (6)-(19), позволяет построить четкий «портрет» походки человека. Самое главное, такие «портреты» походки можно сравнивать между собой и выявлять тренды изменения параметров, что можно использовать при решении задач реабилитации, спорта и др.

Заключение

В данной статье представлен подход, позволяющий в полностью автоматизированной последовательности методик обработки изображений движущегося человека выделять колебания центра масс его фигуры, не используя для этого маркеров. Этот свойство подхода очень важно, потому что прикрепление маркера на человеке приводит к контролю только отдельных точек человека, а не всей его фигуры. Еще одной важной особенностью является независимость подхода от квалификации специалиста, когда требуется только понять простые принципы получения изображения относительно выбранной сцены. Другое важное значение этого подхода связано с использованием в домах престарелых, где случайное падение человека может быть очень опасно и необходим быстрый способ обнаружения этого. Полученные паттерны движения представляются набором числовых и графических примитивов, которые легко воспринимаются и анализируются.

Литература