Система выявления устойчивых групп пациентов к специализированным врачам с использованием данных медицинских учреждений

Правовые особенности работы медицинских учреждений в России. Анализ основных паттернов поведения пациентов. Идентификация устойчивых групп пациентов к специализированным врачам. Методология определения спроса на услуги специализированных врачей.

Рубрика Медицина
Вид дипломная работа
Язык русский
Дата добавления 23.09.2018
Размер файла 2,1 M

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента

система выявления устойчивых групп пациентов к специализированным врачам с использованием данных медицинских учреждений

Выпускная квалификационная работа

по направлению подготовки 38.03.05 Бизнес-информатика

образовательная программа «Бизнес-информатика»

Суханов Владислав Эрнестович

Рецензент

к.т.н., доцент Ямпольский С.М

Научный руководитель к.т.н Бекларян А.Л.

Москва 2018

СОДЕРЖАНИЕ

Введение

Глава 1. Теоретические предпосылки исследования

1.1 Правовые особенности работы медицинских учреждений в России

1.2 Бизнес-процесс оказания пациентам первичной медико-санитарной помощи

1.3 Анализ паттернов поведения пациентов

Глава 2. Инструментальные методы и средства решения поставленной проблемы

2.1 Обзор программных средств, используемых в исследовании

2.2 Методология определения спроса на услуги специализированных врачей

2.3 Описание метрики качества

2.4 Описание данных для обучения предиктивной модели

Глава 3. Применение методов машинного обучения

3.1 Предобработка данных

3.2 Идентификация устойчивых групп пациентов к специализированным врачам

3.3 Предсказание спроса на услуги врачей-специалистов

Заключение

Список использованной литературы

Приложение

Введение

Согласно плану деятельности Министерства Здравоохранения Российской Федерации, основная цель на 2016-2021 годы - обеспечение доступности медицинской помощи и повышение эффективности медицинских услуг, объемы, виды и качество которых должны соответствовать уровню заболеваемости и потребностям населения, передовым достижениям медицинской науки План деятельности Министерства здравоохранения Российской Федерации c 2016 по 2021 годы // http://www.consultant.ru. Для достижения поставленной цели министерство пошло путём инновационного развития и информатизации здравоохранения. В некоторых городах уже появились системы, которые позволили автоматизировать ключевые бизнес-процессы: создать/перенести/отменить запись ко врачу через интернет, провести приём пациента и заполнить необходимую документацию… Искусственный интеллект и машинное обучение также могут существенно повысить доступность и эффективность предоставления медицинских услуг, при этом снизив их себестоимость. В частности, в медучреждениях становится актуальной задача выделения устойчивых групп пациентов к специализированным врачам, так как это позволит планировать утилизацию ресурсов с учётом реального спроса. Этим обуславливается тема исследования: предсказать потребность в специализированных врачах и выявить устойчивые группы их пациентов. Практическая значимость работы заключается в том, что медицинские организации смогут оптимизировать расходы на утилизацию ресурсов, повысить качество и доступность предоставляемых услуг, а также проанализировать своих пациентов и применять индивидуальный подход к каждому из них.

На момент проведения исследования, проработанность проблемы оценивается как низкая: алгоритмы предсказания спроса на услуги врачей-специалистов и алгоритмы идентификации стабильных групп пациентов не используются вследствие их низкого качества. Провалы объяснялись отсутствием необходимого количества данных. Сейчас крупные медицинские организации имеют данные о пациентах за 2-3 года. Это даёт возможность выявить закономерности, повторяющиеся из года в год и существенно повысить качество моделей.

Цель данного исследования - предложить вариант оптимизации использования ресурсов медицинских учреждений через предсказание спроса на врачей-специалистов и анализ пациентов с помощью методов машинного обучения. Объект исследования - оптимизация деятельности организаций, оказывающих услуги в сфере здравоохранения. Предмет исследования - повышение эффективности использования ресурсов медицинской организации.

Задачи исследования:

· Изучить бизнес-процессы оказания пациентам первичной медико-санитарной помощи.

· Собрать данные о направлениях пациентов к специализированным врачам.

· Изучить методы машинного обучения, подходящие для данного исследования.

· Обозначить правовые и системные ограничения исследования.

· На основе анализа собранных данных предсказать спрос на врачей-специалистов.

· На основе анализа собранных данных выявить устойчивые группы пациентов к специализированным врачам.

Новизна исследования заключается в методике определения спроса: вместо точного определения специальности врача, к которому пойдёт каждый пациент, рассчитывается вероятность, с которой пациент пойдёт к тому или иному специалисту, и на ее основе делается вывод о спросе на врачей той или иной специальности. Подробнее о методике расчёта написано в главе 2.2.

Работа структурно разделена на 3 части:

1. Теоретические предпосылки исследования:

a. Правовые особенности работы медицинских учреждений в России.

b. Бизнес-процесс оказания пациентам первичной медико-санитарной помощи.

c. Характеристика паттернов поведения пациентов.

2. Инструментальные методы и средства решения поставленной проблемы

a. Обзор программных средств, используемых в исследовании.

b. Методология определения спроса на услуги специализированных врачей

c. Описание метрики качества

d. Описание данных для обучения предиктивной модели.

3. Применение методов машинного обучения для идентификации устойчивых групп пациентов и предсказания спроса на услуги врачей-специалистов

a. Предобработка данных

b. Идентификация устойчивых групп пациентов с помощью экспертных знаний и методов кластеризации

c. Сравнение алгоритмов классификации на основе машинного обучения

d. Предсказание спроса на услуги врачей-специалистов

Глава 1. Теоретические предпосылки исследования

1.1 Правовые особенности работы медицинских учреждений в России

Основа современной системы здравоохранения - это оказание первичной медико-санитарной помощи. В неё входят мероприятия по профилактике, диагностике, лечению заболеваний и состояний, медицинской реабилитации, наблюдению за течением беременности, формированию здорового образа жизни и санитарно-гигиеническому просвещению населения Федеральный закон от 21.11.2011 N 323-ФЗ (ред. от 07.03.2018) "Об основах охраны здоровья граждан в Российской Федерации", статья 33 // http://www.consultant.ru.

Первичная помощь делится на 3 вида:

1. Первичная доврачебная медико-санитарная помощь

(оказывается фельдшерами, акушерами и другими медицинскими работниками со средним медицинским образованием.)

2. Первичная врачебная медико-санитарная помощь

(оказывается врачами-терапевтами, врачами-терапевтами участковыми, врачами-педиатрами, врачами-педиатрами участковыми и врачами общей практики)

3. Первичная специализированная медико-санитарная помощь

(оказывается врачами-специалистами)

Оказание медицинской помощи врачами-специалистами регламентируется федеральными законами и нормативно-правовыми актами субъектов федерации. То есть, для каждого региона нужно детально изучать предметную область, чтобы правильно предсказывать спрос на медицинские услуги врачей специалистов. Данная статья опирается на приказ департамента здравоохранения города Москвы, согласно которому врачи-специалисты проводят приём по направлению от медицинских работников, ведущих доврачебный прием, врачей-терапевтов, педиатров, врачей общей практики, а также при самостоятельном обращении пациента Приказ Департамента здравоохранения г. Москвы от 10 сентября 2012 г. N 983 "Об утверждении методических рекомендаций п о организации оказания взрослому населению города Москвы первичной медико-санитарной помощи" // http://www.consultant.ru.

Стоит отметить, что направление к врачу -- это показатель спроса на услуги врача-специалиста. Предполагается, что экологическая обстановка, демографические и социальные характеристики, образ жизни пациента повышают или снижают риск возникновения различных заболеваний. Таким образом, используя данные пациента мы можем предсказать, услуги каких специализированных врачей окажутся наиболее востребованы в том или ином районе города.

1.2 Бизнес-процесс оказания пациентам первичной медико-санитарной помощи

Рисунок 1 BPMN 2.0 диаграмма оказания первичной медико-санитарной помощи

Цель бизнес-процесса - верно диагностировать заболевание и назначить лечение для всех обратившихся пациентов.

Участники:

1. Врач-терапевт, врач-терапевт участковый, врач-педиатр, врач-педиатр участковый, врач общей практики, фельдшер, акушер и другие медработники со средним медицинским образованием.

2. Врач-специалист.

Инициирующее событие: обращение пациента за медицинской помощью (первичное, повторное, по направлению)

Заключительные события:

1. Пациенту поставлен диагноз.

2. Пациенту назначено лечение.

Основной сценарий:

1. Врач-терапевт/Врач-педиатр/Врач общей практики осуществляет первичный осмотр пациента и диагностирует заболевание. В случае необходимости проводятся лабораторные исследования (ЛИ) и лечебно-диагностические процедуры (ЛДП).

2. Врач-терапевт/Врач-педиатр/Врач общей практики ставит диагноз и назначает лечение.

3. Если заболевание требует применения специализированной медицинской помощи по профилю заболевания, терапевт/педиатр/врач общей практики ставит предварительный диагноз и направляет пациента к врачу-специалисту.

4. Врач-специалист диагностирует состояние пациента. В случае необходимости проводятся специализированные ЛИ и ЛДП.

5. Врач-специалист ставит диагноз и назначает лечение.

1.3 Характеристика паттернов поведения пациентов

Паттерн поведения пациента - это устойчивая модель поведения пациента, сформированная под влиянием внешних или внутренних обстоятельств. К внутренним факторам относятся особенности организма пациента, склонность к тем или иным заболеваниям, физические характеристики. К внешним - погодные условия, профессия, образ жизни, питание, социально-экономическое положение.

Согласно публикации Всемирной организации здравоохранения http://www.euro.who.int/ru/media-centre/events/events/2018/05/world-no-tobacco-day-2018-tobacco-and-heart-disease в рамках акции «Всемирный день без табака 2018 год» употребление табачных изделий и воздействие вторичного табачного дыма является второй по значимости причиной развития сердечно-сосудистых заболеваний. Отсюда можно сделать вывод, что пациенты, потребляющие табак, при достижении определённого возраста будут чаще остальных обращаться к врачам-кардиологам.

Другая публикация Всемирной организации здравоохранения о гриппе http://www.who.int/ru/news-room/fact-sheets/detail/influenza-(seasonal) повествует о том, что в районах с умеренным климатом сезонные эпидемии происходят, в основном, в зимнее время года. В Центральной России основные вспышки эпидемии происходят поздней осенью и ранней зимой. Наиболее уязвимые группы населения:

1. Беременные женщины на любой стадии беременности;

2. Дети от 6 месяцев до 5 лет;

3. Пожилые люди 65 лет и старше;

4. Люди с хроническими болезнями;

5. Работники здравоохранения.

Следовательно, вышеперечисленные группы населения будут посещать врачей-оториноларингологов в ноябре-декабре.

В 2011 году Всемирная организация здравоохранения опубликовала планы действий по защите здоровья населения от воздействия аномальной жары Мэтьес Ф., Биклер Г., Марин Н. К. Планы действий по защите здоровья населения от воздействия аномальной жары. ВОЗ.. Последствия воздействия жаркой погоды на организм человека зависит от интенсивности, продолжительности и частоты. Люди, как правило, страдают от сердечно-сосудистых заболеваний, нарушений в эндокринной системе, обостряются неврологические нарушения, возникают заболевания кожного покрова. ВОЗ выделил следующие уязвимые группы населения:

1. Пожилые люди.

2. Дети и младенцы.

3. Люди с хроническими заболеваниями.

4. Лица, принимающие определённые виды лекарств.

5. Лица, более уязвимые в силу своего социально-экономического статуса (этническая принадлежность, род занятий, уровень образования).

6. Лица определённых профессий (особенно опасен тяжелый физический труд на открытом воздухе без надлежащей защиты)

Исходя из этих данных, можно сделать вывод о том, что указанные группы населения будут чаще обращаться за помощью к врачам-кардиологам, врачам-неврологам, врачам-дерматологам. При этом хронические пациенты, скорее всего, будут чаще посещать привычных им врачей.

Кроме сезонных климатических изменений стоит обратить внимание на повседневные факторы, которые оказывают негативное влияние на здоровье:

· Резкое изменение атмосферного давления приводит к обострению неврологических нарушений

· Резкое похолодание сопровождается повышенным риском заболевания гриппом или простудой.

· В середине весны пыльца цветущих растений вызывает аллергию.

Если на практике изучить процесс оказания первичной медико-санитарной помощи, то станет ясно, что некоторые люди посещают врачей только по выходным, на праздниках и каникулах или наоборот в будни. Это может быть связано с рабочим/учебным графиком.

1.4 Подведение итогов и формирование требований к данным

Изучив законодательство Российской Федерации, бизнес-процесс оказания первичной медико-санитарной помощи и документы Всемирной организации здравоохранения, а также принимая во внимание «полевой» опыт, становится ясно, по каким факторам можно выявить устойчивые группы пациентов и что влияет на спрос на специализированных врачей. Чтобы выделить все паттерны поведения, необходимо воспользоваться алгоритмами машинного обучения, входные данные должны по возможности содержать следующую информацию:

1. Информация о пациентах:

a. Социально-экономическое положение.

b. Пол.

c. Возраст.

d. Профессия.

e. Наличие хронических заболеваний.

f. Информация о принимаемых лекарствах.

g. Беременность.

2. Информация о погоде и климатических условиях:

a. Температура.

b. Отклонение текущей температуры от нормы.

c. Разница в температуре с предыдущим днём.

d. Атмосферное давление.

e. Отклонение атмосферного давления от нормы.

f. Скорость ветра.

g. Направление ветра.

3. Информация о дате посещения специалиста:

a. Месяц

b. День

c. День недели

d. Выходной (да/нет)

e. Праздник (да/нет)

f. Школьные каникулы (да/нет)

Глава 2. Инструментальные методы и средства решения поставленной проблемы

2.1 Обзор программных средств, используемых в исследовании

Выбор программных средств основан на задачах, которые необходимо выполнить в рамках исследования:

Таблица 1 Список программных средств

Задача

Программное средство

Все

Интерактивная оболочка Jupyter Notebook http://jupyter.org/

Предобработка данных

Язык программирования Python (версия 3)

Библиотека pandas http://pandas.pydata.org/

Microsoft Excel 2016

Построение алгоритмов машинного обучения

Язык программирования Python (версия 3)

Библиотека scikit-learn http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

Проверка качества алгоритма

Язык программирования Python (версия 3)

Визуализация итогов

Microsoft Excel 2016

Библиотека matplotlib https://matplotlib.org/

Microsoft Power BI

2.2 Методология определения спроса на услуги специализированных врачей

Выбирается алгоритм классификации из библиотеки scikit-learn http://scikit-learn.org/stable/index.html. На вход алгоритму подаются данные пациентов, включающие около 207 000 строк. Производится предобработка данных, направленная на снижение шума (подробнее о предобработке написано в следующем разделе). Данные случайным образом разделяются на обучающую и тестовую выборки в пропорции 0.6 и 0.4 соответственно. Затем алгоритм обучается и предсказывает для каждого пациента из тестовой выборки (82 800 человек) вероятность посещения врачей заданных специальностей. Для каждой специальности рассчитывается математическое ожидание вероятности спроса и умножается на общее количество пациентов в тестовой выборке. На выходе отображается табличка, состоящая из двух колонок: специальность и количество пациентов, которые придут к врачам данной специальности.

2.3 Описание метрики качества

Для определения качества построенной модели сравниваются таблицы реального и предсказанного спроса. Для каждой специальности указывается разница значений в процентном соотношении, затем подсчитывается среднее арифметическое ошибки:

- количество специальностей.

реальный спрос на врачей, специальности .

предсказанный спрос на врачей, специальности .

Данная формула расчёта ошибки выбрана, так как учитывает несбалансированность выборки.

2.4 Описание данных для обучения предиктивной модели

Для наиболее точного предсказания спроса на услуги врачей-специалистов необходимо использовать все данные о пациенте, которые есть в медицинской организации. Особый интерес вызывают данные об образе жизни, наследственных заболеваниях родственников, демографические и социальные характеристики, профессия, доход. Однако каждая компания, оказывающая медицинские услуги, как правило, собирает уникальный набор данных с различными характеристиками и значениями этих характеристик. Представленный в статье алгоритм является универсальным: на вход можно подать любое количество объясняющих переменных.

В рамках данного исследования представлены следующие данные пациентов:

· ИД пациента

· Специальность врача, к которому выдано направление

· Дата выдачи направления

· Дата рождения

· Группа инвалидности («1», «2», «3», ребёнок-инвалид, отсутствие инвалидности)

· Социальный статус

· Пол

Стоит обратить внимание, что в исходных данных справочник специальностей включает в себя 185 наименований, в то время как министерство здравоохранения выделяет только 119 специальностей. Кроме того, встречаются направления без указания специальности. Скорее всего, в данных встречаются направления на лечебно-диагностические процедуры. Это «шумовые» данные, они оказывают негативное влияние на качество алгоритма, поэтому было принято решение не использовать их при обучении предиктивной модели.

Характеристика «Социальный статус» остаётся пустой или принимает одно из следующих значений: дошкольник, учащийся, работающий, неработающий, пенсионер, военнослужащий, член семьи военнослужащего, без определённого места жительства.

Почти для каждого пациента заполнено поле «Группа инвалидности»: 1 группа, 2 группа, 3 группа, ребёнок-инвалид, отсутствие инвалидности. Для пациентов с пустым значением данной характеристики по умолчанию проставлено «отсутствие инвалидности».

Глава 3. Применение методов машинного обучения для предсказания спроса на услуги врачей-специалистов

3.1 Предобработка данных

Цель предобработки - модифицировать данные таким образом, чтобы из них можно было извлечь все знания и, как следствие, максимально повысить обобщающую способность алгоритма машинного обучения. С одной стороны, необходимо избавиться от шумовых данных, то есть тех, которые не несут смысловой нагрузки, но оказывают негативное влияние на качество алгоритма (это могут быть пропуски в данных, неверно заполненные поля и так далее). С другой стороны, необходимо преобразовать тип данных в числовой, произвести кодировку категориальных признаков.

В рамках данного исследования предобработка данных состоит из следующих этапов:

1. Первичная предобработка

2. Прямое кодирование категориальных переменных

3. Масштабирование вещественных признаков

4. Снижение размерности данных

5. Выделение новых признаков

Первичная предобработка

Первичная предобработка направлена на избавление от шумовых данных. Для этого в рамках данного исследования произведены следующие действия:

1. Удалены направления к врачам, где не указана специальность.

2. Удалены направления к среднему медицинскому персоналу (медсестры, фельдшеры). Медработники указанных специальностей, как правило, проводят инструментальные и лабораторные исследования, в то время как цель исследования - предсказать спрос на специализированных врачей

3. Все пациенты, у которых не указана группа инвалидности, считаются здоровыми.

4. Всем пациентам, у которых не указан социальный статус, проставлен статус «Работающий».

5. Всем пациентам, у которых не указан возраст, проставлен средний возраст.

Признаки «Дата выдачи направления», «Дата рождения» представлены в формате DateTime: из него невозможно извлечь знания. Они также требуют предобработки:

1. Вместо всей даты создания направления указаны месяц, число и день недели (тип данных integer). Год создания направления удалён, так как эта информация избыточна. Предполагается, что потребность пациентов в специализированной помощи меняется в зависимости от времени года и погодных условий. Разделение обращений по месяцам и числам позволит нам отследить эту тенденцию. Разделение по дням недели также поможет точнее спрогнозировать спрос на специализированных врачей.

2. Дата рождения пациентов заменена на возраст. Это позволит отследить линейную зависимость между возрастом и заболеваниями, если таковая имеется.

Таким образом, после первичной предобработки состав данных изменился следующим образом:

Таблица 2 Результаты первичной предобработки данных

До предобработки

После предобработки

Наименование признака

Тип данных

Наименование признака

Тип данных

ИД пациента

int

ИД Пациента

int

ИД Специальности врача, к которому выдано направление

int

ИД Специальности врача, к которому выдано направление

int

Дата выдачи направления

DateTime

Месяц выдачи направления

int

Дата рождения

DateTime

День выдачи направления

int

Группа инвалидности

int

День недели выдачи направления

int

Социальный статус

int

Возраст

int

Пол

int

Группа инвалидности

int

Социальный статус

int

Пол

int

Прямое кодирование категориальных признаков

Следующий этап предобработки данных - преобразование категориальных признаков методом прямого кодирования Mьller A. C., Guido S. Introduction to machine learning with Python: a guide for data scientists. - " O'Reilly Media, Inc.", 2018.. Идея метода заключается в том, чтобы заменить каждый категориальный признак несколькими бинарными. Каждой категории соответствует новый бинарный признак, которая принимает значение 1, если точка данных относится к данной категории, и 0, если не относится. Например, характеристика «Пол» заменяется признаками «Пол_мужской» и «Пол_женский». Если пациент мужчина, то для него признак «Пол_мужской» принимает значение 1, а признак «Пол_женщина» - 0. Таким образом разбиваются все категориальные признаки.

К категориальным признакам относятся:

· Месяц выдачи направления

· День выдачи направления

· День недели выдачи направления

· Группа инвалидности

· Социальный статус

· Пол

В результате прямого кодирования количество признаков увеличилось до 157.

Кодирование категориальных признаков применяется в основном для линейных алгоритмов классификации: если не разбить категориальный признак на несколько бинарных, то линейный алгоритм может интерпретировать его как вещественный признак. Из-за этого страдает качество алгоритма. Для алгоритмов на основе дерева принятия решений кодирование категориальных признаков оказывает минимальное влияние. Эта гипотеза будет проверена в следующей главе.

Масштабирование вещественных признаков

Некоторые алгоритмы машинного обучения чувствительны к выбросам и распределению данных. Чтобы понять, нужно ли применять масштабирование в нашем случае, исследуем распределение возраста пациентов.

Рисунок 2 Распределение возраста пациентов

Из распределения видно, что выбросы присутствуют:

1. Пациенты в возрасте от 94 до 97 лет.

2. Пациенты в возрасте от 97 до 100 лет.

3. Пациенты в возрасте от 115 до 118 лет.

Не до конца понятно, действительно ли существуют такие люди и посещают поликлиники или это ошибка в данных. Так или иначе это может повлиять на качество моделей, поэтому стоит масштабировать возраст, применив один из методов:

Первый метод масштабирования StandardScaler. Его применение гарантирует, что среднее значение для каждого передаваемого на вход признака будет равно 0, а дисперсия равна 1. В итоге все признаки будут иметь один и тот же масштаб, но минимальное и максимальное значение не ограничены.

Второй метод RobustScaler. Он масштабирует значения признаков между 1 и 3 квартилями. Данный вид шкалирования позволяет алгоритмам игнорировать точки данных, которые сильно отличаются от остальных.

Третий метод MinMaxScaler шкалирует все значения признака между заданными минимальным и максимальным значениями. По умолчанию, это 0 и 1.

Четвёртый метод Normalizer. Он масштабирует каждую точку данных таким образом, чтобы вектор признаков имел евклидову длину, равную 1.

Снижение размерности данных

Если применение масштабирования никак не влияет на количество характеристик, которые используются для обучения алгоритмов машинного обучения, то прямое кодирование категориальных признаков привело к увеличению признаков с 9 до 157.

При таком количестве характеристик алгоритмы, снижающие размерность, могут повысить качество алгоритмов.

Анализ главных компонент (PCA) преобразовывает данные и создаёт новые признаки таким образом, чтобы исключить автокорреляцию признаков. Сначала алгоритм находит вектор данных, имеющий максимальную дисперсию. Он содержит большую часть информации и поэтому вдоль этого вектора данные коррелируют друг с другом Mьller A. C., Guido S. Introduction to machine learning with Python: a guide for data scientists. - " O'Reilly Media, Inc.", 2018. сильнее всего. Найденный вектор является «компонентой 1». «Компонента 2» - это вектор, ортогональный компоненте 1 и содержащий наибольшее количество информации (иными словами, наибольшую дисперсию) в своём пространстве. Каждая последующая компонента должна быть ортогональна предыдущим и содержать наибольшее количество информации. Количество главных компонент задаётся вручную, но не может превышать количество признаков, в данном исследовании: 156. Для применения анализа главных компонент в исследовании используется готовый метод PCA библиотеки sklearn.

Факторизация неотрицательных матриц (NMF) также служит для снижения размерности: она выделяет компоненты и определяет их веса на основе входных данных. Факторизация применяется с помощью метода NMF библиотеки sklearn.

Выделение новых признаков

Биннинг

Для повышения качества работы линейных алгоритмов машинного обучения и нейронных сетей используется биннинг. Это разбиение вещественного признака на равные категории. В данном исследовании присутствует один вещественный признак - возраст. Из него выделяется 20 категорий, соответствующих отрезку в 4-5 лет каждая. Данная мера поможет линейным алгоритмам учесть тот факт, что грудные, несовершеннолетние, взрослые, пожилые пациенты нуждаются в разных специалистах.

Алгоритмов на основе дерева принятия решений самостоятельно разделяют все признаки на группы и могут выявить сложные нелинейные зависимости между признаками, поэтому биннинг для них бесполезен и может даже привести к снижению качества модели.

Применение полиномов и нелинейных преобразований

Низкое количество вещественных признаков может препятствовать идентификации сложных нелинейных зависимостей между возрастом пациентов и потребностью в специализированной медицинской помощи. Как следствие, есть риск снижения качества моделей. В связи с этим в данные добавлены признаки:

1. Логарифм от возраста пациента по основанию 2.

2. Квадрат возраста пациента

Применение экспертных знаний

Увеличивать размерность данных можно не только с помощью математических преобразований, но и посредством глубокого изучения бизнес-процесса и выделения новых признаков на основе экспертных знаний.

В главе 1 описаны результаты изучения законодательства Российской Федерации, бизнес-процесса оказания первичной медико-санитарной помощи и документов Всемирной организации здравоохранения. Полученные экспертные знания позволяют расширить медицинские данные о пациентах:

1. Информацией о погодных и климатических условиях:

a. Температура.

b. Отклонение текущей температуры от нормы.

c. Разница в температуре с предыдущим днём.

d. Атмосферное давление.

e. Отклонение атмосферного давления от нормы.

f. Скорость ветра.

g. Направление ветра.

2. Информацией о дате посещения специалиста:

a. Месяц

b. День

c. День недели

d. Выходной (да/нет)

e. Праздник (да/нет)

f. Школьные каникулы (да/нет)

Вышеперечисленные признаки позволяют выйти за рамки формальных медицинских данных и дают возможность объективно взглянуть на картину мира, выявить зависимости между всеми признаками и определить стабильные группы пациентов более точно.

3.2 Идентификация устойчивых групп пациентов к специализированным врачам

Анализ предметной области и применение экспертных знаний

Стабильные группы пациентов были отчасти идентифицированы в первой главе с помощью глубокого изучения бизнес-процесса и применения экспертных знаний. Далее будут детально рассмотрены характеристики выявленных групп.

В первую очередь, рассматриваются пациенты, которые поздней осенью и ранней зимой будут чаще других обращаться к врачам-оториноларингологам вследствие повышенного риска заболевания сезонным гриппом. Характеристики группы пациентов:

· Дата обращения: ноябрь-декабрь

· Специальность врача: оториноларинголог.

· Возраст и пол:

o Женщины: до 5 лет, от 20 до 30 лет, от 65 лет.

o Мужчины: до 5 лет, от 65 лет.

· Наличие беременности: да.

· Наличие хронических заболеваний: да.

Следующая группа пациентов состоит из людей, которые при наступлении летней жары обращаются к врачам-неврологам, врачам-кардиологам, врачам-эндокринологам. Люди, относящиеся к данной группе, страдают от обострения неврологических нарушений, сердечно-сосудистых заболеваний и хронических заболеваний.

Характеристики группы пациентов:

· Дата обращения: июнь-август

· Специальность врача:

o Невролог

o Кардиолог

o Эндокринолог

· Возраст: до 14 лет, от 65 лет.

· Наличие хронических заболеваний: да.

· Характеристики профессии:

o Тяжёлый физический труд

o Пребывание на открытом воздухе

o Отсутствие защитной одежды

Применение алгоритмов машинного обучения

Для выявления паттернов поведения пациентов используется кластеризация. Это категория методов машинного обучения без учителя: то есть заранее неизвестно, на сколько кластеров разбиваются пациенты и к кто к какому кластеру относится.

Существуют следующие методы кластеризации:

1. Кластеризация по методу k-средних.

2. Агломеративная кластеризация

3. Алгоритм DBSCAN

Вследствие отсутствия универсальной метрики качества, способной объективно оценить качество алгоритма, проверка кластеров проводится вручную. Далее рассмотрен принцип работы каждого метода и представлены результаты разбиения данных на кластеры.

В данном исследовании применяется кластеризация по методу k-средних. Данный метод принимает на вход количество кластеров, отбирает точки, которые будут представлять центры кластеров (центроиды). Затем для каждой точки данных вычисляется евклидово расстояние до центра каждого кластера. Точка относится к ближайшему центру кластера. После чего координаты центра кластера заново пересчитываются, для каждой точки снова рассчитывается евклидово расстояние до каждого кластера. Так повторяется до тех пор, пока границы кластеров и расположение центроидов не перестанут изменяться.

Перед тем, как делить пациентов на кластеры рассмотрим информацию по всем данным. Спрос на врачей-специалистов представлен на рисунке 5.

Рисунок 3 Спрос на специализированных врачей. Все пациенты

Самые востребованные специалисты:

· Средний медицинский персонал, участвующий в проведении лечебно-диагностических процедур (в т.ч. массаж, рентген, физиотерапия) (25%)

· Врач-невролог (9,51%)

· Врач ультразвуковой диагностики (7,45%)

· Врач-эндокринолог (4,64%)

· Акушер-гинеколог (4,43%)

· Врач-кардиолог (3,4%)

После краткого обзора общего спроса на специализированных врачей, исследуются группы пациентов и изучаются их особенности.

Дети и младенцы (пациенты от рождения до 5 лет)

К первой группе пациентов относятся дети и младенцы (то есть все пациенты от рождения до 5 лет). На рисунке 6 изображен в долях спрос на специализированных врачей. Доли врачей практически не меняются в зависимости от пола (появляется небольшой (<1%) спрос на уролога или гинеколога)

Рисунок 4 Спрос на специализированных врачей. Дети от рождения до 5 лет

Стоит заметить, что распределение спроса на специальности кардинально поменялось. Самые востребованные специалисты:

· Врач-невролог (24,4%)

· Врач-травматолог-ортопед (11,44%)

· Врач ультразвуковой диагностики (7,19%)

· Врач-физиотерапевт (4,9%)

· Замечено снижение спроса на специальности:

· Средний медицинский персонал, участвующий в проведении лечебно-диагностических процедур (в т.ч. массаж, рентген, физиотерапия) (15% вместо 25%)

Ряд специальностей вовсе не востребован: кардиологи, эндокринологи. Спрос на врачей ультразвуковой диагностики остался приблизительно на том же уровне.

Далее рассматривается распределение спроса по дням недели (Рисунок 7), где 1 - понедельник, 7 - воскресенье. Наиболее посещаемый промежуток - дни со среды по субботу.

Рисунок 5 Распределение посещений врачей по дням недели. Дети от рождения до 5 лет

При очень низких (менее -12?) и очень высоких (более +25?) детей практически не водят в поликлиники. Пиковый спрос наблюдается при температурах от 10 до 20 градусов. Это можно объяснить тем, что весной и поздней осенью дети вероятность заболеть гриппом, ОРВИ и простудой сильно увеличивается. На рисунке 8 представлено распределение посещений детей к специалистам в зависимости от температуры.

Наблюдается зависимость между направлением ветра и обращением детей в поликлинику: южный и северо-западный ветер удваивают количество посещений.

Рисунок 6 Распределение посещений врачей по температуре. Дети от рождения до 5 лет

Атмосферное давление также оказывает влияние на заболеваемость. Среднее значение данного показателя по Москве: 746 мм. При отметке в 750 мм ртутного столба зарегистрировано наибольшее количество обращений в поликлиники. Следом идёт отметка в 756 мм.

Рисунок 7 Распределение посещений врачей по атмосферного давления.

Дети от рождения до 5 лет.

Несовершеннолетние пациенты (от 5 до 18 лет)

Распределение спроса на специализированных врачей у несовершеннолетних пациентов также отличается от средних значений. На рисунке 10 представлены специальности, спрос к которым преодолел порог в 300 человек за год (или те, чья доля в спросе ниже 1%).

Рисунок 8 Спрос на специализированных врачей. Несовершеннолетние пациенты (от 5 до 18 лет).

Самые востребованные специальности:

· Врач-невролог (13,11%)

· Врач-травматолог-ортопед (8,5%)

· Врач-детский кардиолог (5%)

· Врач-детский эндокринолог (4,8%)

· Врач-аллерголог-иммунолог (4,4%)

· Врач-оториноларинголог (4,3%)

· Логопед (3%)

Спрос на специальность акушер-гинеколог выросла почти в 2 раза в долевом отношении по сравнению с кластером пациентов от рождения до 5 лет (1,4% вместо 0,8%).

Средний медицинский персонал, участвующий в проведении лечебно-диагностических процедур (в т.ч. массаж, рентген, физиотерапия) становится менее востребованным по сравнению с предыдущим кластером пациентов (10% вместо 15%)

Выявлены различия в пациентов по половому признаку:

1. Девочки в 2 раза чаще мальчиков обращаются к врачам-нефрологам.

2. Девочки посещают врачей-акушеров гинекологов, мальчики - врачей-детских хирургов и врачей-детских урологов-андрологов.

Несовершеннолетние пациенты посещают врачей в основном со вторника по субботу. Пиковый спрос наблюдается с четверга по субботу. Распределение спроса к специализированным врачам представлено на рисунке 11.

Рисунок 9 Распределение спроса к специализированным врачам по дням недели. Несовершеннолетние пациенты (от 5 до 18 лет)

Данные по распределению спроса к специализированным врачам в зависимости от температуры внутри кластера приближены к данным по всем пациентам в целом. При температуре от +10? до +15? зафиксировано наибольшее количество обращений. На рисунке 12 представлен график зависимости спроса от температуры.

Рисунок 10 Распределение спроса к специализированным врачам в зависимости по температуре. Несовершеннолетние пациенты от 5 до 18 лет.

Рисунок 11 Распределение спроса на специализированных врачей по атмосферному давлению. Несовершеннолетние пациенты от 5 до 18 лет.

Для несовершеннолетних пациентов от 5 до 18 лет сильнее остальных выражена зависимость спроса от значения атмосферного давления на уровне 750 мм ртутного столба. Также оказывают положительное влияние на спрос отметки в 737 мм и 756 мм.

Взрослые пациенты от 18 до 35 лет

Спрос на специализированных врачей у данной устойчивой группы пациентов сильно отличается от среднестатистического. На рисунке 14 представлены специальности, спрос к которым преодолел порог в 300 человек за год (или те, чья доля в спросе ниже 1%).

Самые востребованные специальности:

· Врач акушер-гинеколог (15%)

· Врач ультразвуковой диагностики (9,2%)

· Врач-невролог (7%)

· Врач эндокринолог (3,2%)

Средний медицинский персонал, участвующий в проведении лечебно-диагностических процедур (в т.ч. массаж, рентген, физиотерапия) составляет 20% спроса, что приближается к среднему значению.

Рисунок 12 Распределение спроса к специализированным врачам. Взрослые пациенты от 18 до 35 лет.

В данном возрасте спрос на врачей-специалистов меняется в зависимости от пола пациента. Женщины в 2 раза чаще, чем мужчины посещают врачей ультразвуковой диагностики и в 2 раза реже - врачей-неврологов. В то же время мужчины чаще нуждаются в лечебно-диагностических процедурах. На рисунке 15 представлено распределение спроса на специализированных врачей отдельно для мужчин (слева) и для женщин (справа).

Рисунок 13 Распределение спроса к специализированным врачам по полу. Взрослые пациенты от 18 до 35 лет

Распределение спроса по дням недели распределяется от вторника до субботы. Пиковый спрос приходится на пятницу и субботу.

Рисунок 14 Распределение спроса к специализированным врачам по дням недели. Взрослые пациенты от 18 до 35 лет.

Распределение спроса в зависимости от температуры приближено к средним показателям: пиковый спрос от +10? до +20?.

У взрослых пациентов снижена зависимость спроса от атмосферного давления. Пиковый спрос при значении в 750 мм ртутного столба не сильно отличается от спроса при ближайших экстремумах в точках 737 мм и 756 мм.

Рисунок 15 Распределение спроса к специализированным врачам по атмосферному давлению. Взрослые пациенты от 18 до 35 лет

Взрослые пациенты от 35 до 65 лет

Для данной устойчивой группы пациентов характерно снижение спроса на акушеров-гинекологов (5,5%) и увеличение потребности в лечебно-диагностических процедурах (33%). Также стоит обратить внимание на ранее не появлявшиеся в отчётах специальности:

· Врач-онколог (спрос вырос с 0,5 до 1,9%)

· Врач-офтальмолог (спрос вырос с 0,4 до 1,8%)

Рисунок 16 Распределение спроса на специализированных врачей. Взрослые пациенты от 35 до 65 лет

На рисунке 18 представлены специальности, спрос к которым преодолел порог в 700 человек за год (или те, чья доля в спросе ниже 1%).

Самые востребованные специальности:

· Врач-невролог (9,2%)

· Врач ультразвуковой диагностики (7,5%)

· Врач-эндокринолог (6,4%)

· Врач-акушер-гинеколог (5,5%)

· Врач-кардиолог (6,8%)

Зависимость спроса от погодных условий (температуры и атмосферного давления) и дня недели у данного кластера пациентов схожа с соответствующими показателями кластера «взрослые пациенты от 18 до 35 лет»

Пожилые пациенты (от 65 лет)

Представители данной группы пациентов на 75% составляют женщины. При этом спрос на врачей-акушеров-гинекологов (1,1%) значительно ниже среднестатистического. По сравнению с предыдущей возрастной группой выросла потребность в врачах офтальмологах (с 1,8 до 3,5%).

Рисунок 17 Распределение спроса к специализированным врачам. Пожилые пациенты (от 65 лет)

На рисунке 19 представлены специальности, спрос к которым преодолел порог в 500 человек за год (или те, чья доля в спросе ниже 1%).

Самые востребованные специальности:

· Врач-невролог (9,9%)

· Врач-эндокринолог (8,6%)

· Врач ультразвуковой диагностики (8,1%)

· Врач-кардиолог (7,2%)

Пожилые люди реагируют на повышенное давление сильнее, чем взрослые люди любого возраста. Пиковая отметка достигается при давлении в 750 мм ртутного столба. Значение спроса в этой точке в 2 раза превышает значения в локальных экстремумах (737 мм и 756 мм).

Рисунок 18 Распределение спроса к специализированным врачам по атмосферному давлению. Пожилые люди от 65 лет.

Глубокий анализ предметной области, включающий в себя изучение документов Всемирной организации здравоохранения, а также анализ данных медицинских организаций позволили выявить устойчивые группы пациентов в зависимости от:

· Времени года

· Вида заболевания

· Социального статуса

· Профессии

· Возраста

· Погодных и климатических условий

Информация об устойчивых группах позволит более точно предсказать спрос пациентов на специализированных врачей.

3.3 Предсказание спроса на услуги врачей-специалистов

Применение алгоритма DecisionTreeClassifier

Чтобы предсказать спрос на врачей-специалистов используется технология «Дерево решений». Дерево состоит из корня, ветвей, узлов и листьев. Разделение данных основывается на энтропии, рассчитанной для целевой переменной: сначала мера неопределённости считается для всех данных без разделения по признакам, потом для каждой объясняющей переменной по отдельности. Чем меньше энтропия объясняющей переменной, тем большую значимость имеет эта переменная для конечного предсказания. Разделение дерева на ветви происходит по признаку с наименьшей энтропией. Ниже этот процесс рассмотрен подробнее.

Рисунок 19 Модель алгоритма «Дерево принятия решений»

Для всех переменных по отдельности рассчитывается энтропия по формуле:

где Y - это дискретная случайная величина, принимающая значения с вероятностью на множестве примеров A.

Энтропия целевой переменной для всех данных без разделения по признакам берётся за основу, затем рассчитывается прирост информации (или снижение неопределённости) за счёт разделения дерева по той или иной объясняющей переменной.

Прирост информации:

где

- прирост информации для фактора Q на множестве примеров A.

- энтропия, рассчитанная для всех данных без разделения по признакам.

- энтропия, рассчитанная для данных, разделённых по признаку Q.

Далее дерево разделяется на ветви по той переменной Q, которая даёт наибольший прирост информации. Деление дерева происходит до тех пор, пока оно не достигнет заданной глубины (количества разделений) или наибольшей информативности. Также можно вручную задать максимальную глубину дерева: в данном исследование 9.

Ошибка построенного алгоритма - 22,9%. На столько различается предсказанный и реальный спрос на специализированных врачей.

Применение алгоритма AdaBoostClassifier

Другой алгоритм, который используется для предсказания спроса на врачей-специалистов - адаптивный бустинг. Это ансамблевый алгоритм машинного обучения, который объединяет множество поданных на вход алгоритмов.

Обучение классификатора AdaBoost происходит в несколько итераций. На первой итерации берётся часть данных из тренировочного набора и проверяется, насколько точен каждый поданный на вход алгоритм. Лучшему алгоритму присваивается вес в зависимости от его точности, затем он включается в ансамбль. Вес примеров, которые были неверно классифицированы, увеличивается. На второй и последующих итерациях, AdaBoostClassifier повторно выявляет лучший алгоритм и меняет веса неверно классифицированных примеров.

В данном исследовании на вход подана 1000 алгоритмов вида DecisionTreeClassifier. Максимальная глубина не ограничивается вручную, разделение данных происходит по энтропии. Параметры алгоритма:

Таблица 3 Параметры алгоритма AdaBoostClassifier

Название параметра

Значение

Описание

base_estimator

DecisionTreeClassifier(criterion='entropy', max_depth=9)

Описание алгоритмов, участвующих в ансамбле

n_estimators

1000

Количество алгоритмов в ансамбле

learning_rate

0.01

Число от 0 до 1. Значение, на которое меняется вес алгоритма при каждой последующей итерации

random_state

50

Случайное состояние. Фиксирует предсказание классификатора при заданных параметрах.

Ошибка построенного алгоритма - 33,1%. Следовательно, данный алгоритм не такой эффективный, как DecisionTreeClassifier.

Применение алгоритма BaggingClassifier

Бэггинг - это тоже ансамблевый алгоритм машинного обучения, который принимает на вход несколько классификаторов одного или разного вида и запускает их параллельно друг другу. Среди полученных результатов проводится голосование.

В данном исследовании BaggingClassifier использует 600 алгоритмов DecisionTreeClassifier, которые обучаются на случайно выбранных подмножествах из обучающей выборки. Подмножества различаются количеством строк в обучающей выборке и набором характеристик, по которым делается классификация. Каждое подмножество включает в себя не более 180 строк и не более 1 признака. Параметры алгоритма:

Таблица 4 Параметры алгоритма BaggingClassifier

Название параметра

Значение

Описание

base_estimator

DecisionTreeClassifier(criterion='entropy', max_depth=9)

Описание алгоритмов, участвующих в ансамбле

n_estimators

600

Количество алгоритмов в ансамбле

max_samples

180

Максимальное количество строк в обучающей выборке алгоритма

max_features

1

Максимальное количество характеристик, по которым производится классификация алгоритма

random_state

50

Случайное состояние. Фиксирует предсказание классификатора при заданных параметрах.

Ошибка построенного алгоритма - 27%. Качество чуть ниже, чем у классификатора DecisionTreeClassifier. Данный алгоритм не подходит для решения данной задачи.

Применение алгоритма LogisticRegression

Это самый распространённый алгоритм машинного обучения, который предсказывает вероятность отнесения объекта к тому или иному классу. В данном исследовании он был запущен с параметрами по умолчанию.

Ошибка построенного алгоритма - 28,5%. Это выше, чем ошибка алгоритма Дерево принятия решений.

Применение алгоритма KNeighborsClassifier

Для каждого класса выбирается эталонный объект. Затем считается расстояние от каждого объекта выборки до эталонного. Формулу расчёта расстояния можно задать самостоятельно:

· Евклидово расстояние

· Манхэттенское расстояние,

· косинусная мера,

· критерий корреляции Пирсона

· корреляция Спирмена.

В данном исследовании лучший результат получается при максимальном числе ближайших соседей, равному 16. Формула расчёта расстояния подбирается алгоритмом автоматически в зависимости от данных обучающей выборки. Параметры алгоритма:

Таблица 5 Параметры алгоритма KNeighborsClassifier

Название параметра

Значение

Описание

n_neighbors

16

Максимальное количество ближайших соседей

weights

uniform

Вес каждого соседа при определении класса. Uniform - веса каждого соседа равны, независимо от расстояния.

algorithm

auto

Алгоритм определения расстояния между классами

Ошибка построенного алгоритма - 32,53%. Результат хуже, чем у лидера. Данный алгоритм не подходит для решения поставленной задачи.

Сравнение алгоритмов и выбор лучшего

Алгоритм, показавший лучший результат, - дерево принятия решений. На вход алгоритму подаются данные о погодных и климатических условиях, данные о пациентах (медицинские, социально-демографические). Дерево принятия решений предсказывает спрос на специализированных врачей с точностью в 77,1%. Остальные алгоритмы показали более низкие результаты. В связи с этим принято решение не использовать их для решения поставленных задач.

Заключение

В ходе исследования были изучены правовые особенности оказания первичной медико-санитарной помощи, спроектирован бизнес-процесс, изучены отчёты Всемирной организации здравоохранения, собраны данные о направлениях пациентов к специализированным врачам, собраны данные о погодных и климатических условиях за последние 3 года.

В результате исследования удалось достичь следующих результатов:

1. Выявлены устойчивые группы пациентов к специализированным врачам. Изучены и представлены характеристики каждой группы.

2. Предложен алгоритм, который с точностью в 77,1% предсказывает спрос на специализированных врачей в зависимости от даты, погодных условий и социально-демографических характеристик пациентов.

Исследование можно считать успешным: поставленная цель достигнута, паттерны поведения пациентов идентифицированы. Чтобы улучшить качество алгоритма, необходимо собирать больше данных о пациентах: род деятельности, медицинские данные, данные о родословной, место жительства и так далее.

Список использованной литературы

1. План деятельности Министерства здравоохранения Российской Федерации c 2016 по 2021 годы // http://www.consultant.ru

2. Федеральный закон от 21.11.2011 № 323-ФЗ (ред. от 07.03.2018) "Об основах охраны здоровья граждан в Российской Федерации", статья 33 // http://www.consultant.ru

3. Приказ Департамента здравоохранения г. Москвы от 10 сентября 2012 г. № 983 "Об утверждении методических рекомендаций п о организации оказания взрослому населению города Москвы первичной медико-санитарной помощи" // http://www.consultant.ru

4. Техническая документация библиотеки pandas [Электронный ресурс]: документация содержит описание кода методов первичной обработки данных в python - Электрон. дан. - Режим доступа: http://pandas.pydata.org/ - Загл. с экрана.

5. Техническая документация библиотеки sklearn [Электронный ресурс]: документация содержит описание кода методов машинного обучения - Электрон. дан. - Режим доступа: http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html - Загл. с экрана.

6. Коренюк Е. С., Иванченко В. В., Алексеева О. Г. Особенности течения гриппа у детей в эпидсезоне 2016-2017 гг //Здоровье ребенка. - 2017. - Т. 12. - №. 6.

7. Тарасова Г. Д. и др. Вирусные заболевания ЛОР-органов //Folia Otorhinolaryngologiae et Pathologiae Respiratoriae. - 2017. - Т. 23. - №. 1. - С. 25-33.

8. Жидкова О. Медицинская статистика: конспект лекций. - Litres, 2017.

9. Харьков Е. И., Давыдов Е. Л. Особенности качества жизни и психологические характеристики больных пожилого возраста с заболеваниями сердечно-сосудистой системы и пути коррекции последних //Российский кардиологический журнал. - 2017. - №. 3. - С. 53-57.

10. Семибратова М. А. Методологии описания бизнес-процессов в современных условиях ведения бизнеса //Наука сегодня: история и современность [Текст]: материалы. - 2017. - С. 74.

11. Путькина Л. В. Основные CASE-средства для проектирования бизнес-процессов предприятия //Nauka-Rastudent. ru. - 2017. - №. 3-3. - С. 5-5.

12. Щербаков С. М. и др. Имитационное моделирование в задачх управления медицинской организацией амбулаторного типа//Социальные аспекты здоровья населения. - 2017. - Т. 56. - №. 4.

...

Подобные документы

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.