Медицинское образование в период пандемии COVID-19: анализ и обобщение опыта

Размещено на http://www.allbest.ru/

ФГБОУ ВО «Амурская государственный медицинская академия» Министерства Здравоохранения Российской Федерации

Медицинское образование в период пандемии COVID-19: анализ и обобщение опыта

Иванчук Ольга Викторовна

Плащевая Елена Викторовна

Астрахань, Россия

Аннотация

Опыт российского медицинского образования имеет богатейшую историю и сегодняшняя система подготовки медицинских кадров зиждется на этих традициях. Традиционно студентами-медиками изучаются такие дисциплины как «Эпидемиология», «Инфекционные болезни», значимость которых многократно возросла в связи мутацией уже хорошо известных и появлением новых инфекционных заболеваний, обостряющих эпидемиологическую в РФ и в мире, в целом. Пандемия COVID-19 заставила изменить не только методики обучения студентов медицинских вузов академическим и клиническим дисциплинам, но и их содержание в экстренном режиме.

Получая первые результаты профессорско-преподавательский состав вузов России, дальнего и ближнего зарубежья, делятся выводами на страницах научных журналов, круглых столах, конференциях и симпозиумах, проходящих все больше в он-лайн режиме. Авторы данного исследования, в целях поиска наиболее эффективных подходов подготовки будущих врачей к решению профессиональных задач в условиях отсутствия возможности отработать практические навыки у постели больного, обобщили имеющийся опыт коллег из различных медицинских вузов, медицинских учебных центров и колледжей. Оригинальность данного исследования заключается в применении нетрадиционного для педагогических исследований методов (рекомендациями для систематических обзоров и метаанализов PRISMA) и инструментов ПО ROBINS-1 и он-лайн приложением Rayyan QCRI), которые позволили получить две группы результатов: данные относительно методов оценки эффективности собственных разработок авторами -- составителями рабочих программ дисциплин, образовательных программ курсов повышения квалификации и т. п. и степени их предвзятости; данные о наиболее эффективных методах обучения, формах организации занятий и формах контроля, описанные в разработках исследователей.

Ключевые слова: оценка уровня предвзятости; обучение студентов медицинских вузов; клинические дисциплины

Abstract

Ivanchuk Olga Viktorovna

«Astrakhan State Medical University» Ministry of Health of Russia, Astrakhan, Russia

Plashchevaya Elena Viktorovna

«Amur State Medical Academy» Ministry of Health of Russia, Blagoveshchensk, Russia

Medical education in the

COVID-19 pandemic: analysis and lessons learned

Experience of Russian medical education have the richest history, modern educational system for medical cadre based on these tradition. Medical students traditionally study subject such as “Epidemiology” and “Infectious diseases”, whose importance has increased many times due to the mutation for majority of diseases that aggravate epidemiological situation in the Russian Federation and in the whole world.

The COVID-19 pandemic has changed not only the methods of education for medical students in universities by academic and clinical subjects, but also their content in emergency mode. Receiving the first results of professors and lecturers of higher educational establishments in Russia, far and near abroad, share the findings on the pages of scientific journals, round tables, conferences and symposiums, which pass increasingly online. The originality of this study lies in the use of non-traditional methods for pedagogical research (recommendations for systematic reviews and meta-analyses of PRISMA) and tools for ROBINS-1 and the online application Rayyan QCRI), which allowed us to obtain two groups of results. Data on methods for evaluating the effectiveness of proprietary development by authors of work programmes of disciplines, educational programmes of refresher courses, etc. and their degree of bias; data on best teaching methods, Forms of organization and control described in the research papers.

Keywords: assessing the level of bias; study of medical students in universities; clinical disciplines

За последнее десятилетия инфекционные заболевания претерпели ряд координальных изменений, связанных с проявлениями эпидемиологических и клинических признаков, под воздействием социально-экономических, политических, экологических и демографических факторов. «Обостряющаяся опасность инфекционных болезней связана не только с «реставрацией» хорошо известных, но уже порядком забытых заболеваний, но и с появлением новых, прежде не известных человечеству» [1, с. 19]. Поэтому значимость изучения студентами медицинских вузов таких дисциплин как «Эпидемиология», «Инфекционные болезни», являющихся фундаментальными медицинскими науками о причинах возникновения и особенностях распространения болезней в обществе, о глобализации и эволюции эпидемиологического процесса, о разработке и внедрение новых технологий эпидемиологического надзора и контроля, является в настоящее время все более очевидной.

Несомненно, данные дисциплины входят в учебные планы направлений подготовки медицинских кадров и студенты, прошедшие обучения по вопросам эпидемиологии и инфекционных болезней, обладают знаниями и практическими навыками для решения традиционных профессиональных задач, не связанных с более широкими сценариями клинических случаев. Однако сегодняшняя эпидемиологическая ситуация, связанная с пандемией коронавируса (COVID-19), в мире в целом и в Российской Федерации, в частности, диктует скорейшее изменение содержания рабочих программ дисциплин «Эпидемиология», «Инфекционные болезни» для подготовки студентов к практической деятельности в качестве волонтеров при оказании помощи больным в период пандемии. Привлечение студентов- медиков обусловлено дефицитом медицинского персонала во всем мире, тогда как «в некоторых отношениях студенты, прошедшие целенаправленную подготовку по вопросам COVID-19 при изучении дисциплин «Эпидемиология» и «Инфекционные болезни», могут лучше подходить для оказания помощи как в клинической, так и в неклинической, чем перераспределение врачей со сверхспециализированными навыками и знаниями» Локтионова М., Штурма Я. «Это война»: миру не хватает 6 миллионов медсестер / М. Локтионова, Я. Штурма // Газета.™ дата обращения: 29.03.2021); Соколов А. Готово ли российское здравоохранение к борьбе с коронавирусом / А. Соколов // Ведомости.. Именно поэтому в кратчайшие сроки учебные программы дисциплин, в том числе и «Эпидемиология» и «Инфекционные болезни», были не только переработаны с учетом запроса эпидемиологической ситуации, но разработаны и внедрены новые образовательные программы как в российских медицинских вузах [2-4], так и в вузах СШАTraining future physicians about weapons of mass destruction: report of the expert panel on bioterrorism education for medical students. Association of American Medical Colleges. -- 2013. NW, Washington, DC 20037-1134. [5; 6], Германии Government of the Federal Republic of Germany. Nouvelle of German medical licensure act. fed law. -- Berlin, GER -- 2002. -- Gaz I; Part 1. -- Paragraph 2. и Италии [7]. Анализ такого рода образовательных программ показал, что в мировой практике существуют кратковременные, иногда однодневные, и долговременные образовательные программы по вопросам COVID-19. Основная идея таких образовательных программ, внесение изменений в имеющиеся рабочие программы дисциплин заключается в подготовке студентов медицинских вузов работе в ковидных госпиталях, выполняя обязанности младшего медицинского персонала или помощника врача. Несомненно, статьи, доклады, результаты обсуждения круглых столов, симпозиумов и форумов могут служить своеобразным вектором (примером, образцом) для разработки подобных. Каждая из таких образовательных программ основывается на знаниях и профессиональном опыте разработчиков и претендует на звание «самой эффективной», «самой действенной». В этой связи, возникает ряд вопросов: как же оценить эффективность разработанных рабочих программ дисциплин или образовательных программ курсов? Как осуществить объективный отбор программ как наиболее эффективных для последующего использования в качестве теоретической основы? Цель нашего исследования: (1) оценка разработанных образовательных программ и курсов на предмет предвзятости оценки и выбор наиболее эффективных; (2) разработка рабочей программы дисциплин «Эпидемиология», «Инфекционные болезни» с учетом современных требований с последующей реализацией.

Методы и материалы

Для достижения цели исследования необходимо было организовать систематический обзор научно-исследовательских работ, посвященных описанию образовательных программ по данным дисциплинам и по вопросам диагностики, профилактики, санитарнопротивоэпидемических мероприятий COVID-19, результатам обучения, оценки знаний, умений и навыков. При этом под систематическим обзором мы понимаем «обзор четко сформулированного вопроса, в котором используются систематические и явные методы для выявления, отбора и критической оценки соответствующих исследований, а также для сбора и анализа данных из исследований, включенных в обзор» [8]. С выбором данной позиции мы воспользовались рекомендациями PRISMA (Предпочтительные элементы отчетности для систематических обзоров и метаанализов), сформулированными группой авторов Д. Мохер, А. Либерати, Дж. Тецлафф, Д.Г. Альтман для систематических обзоров [9]. Согласно данным рекомендациям систематические обзоры должны: (1) осуществляется по протоколу подобно Кокрановским обзорам; (2) иметь отчетность на каждом этапе исследования; (3) оцениваться «на уровне результата», т. е. включать оценку надежности и достоверности данных для каждого важного результата путем определения методов, используемых для их оценки в каждом отдельном исследовании [10]; (4) учитывать (оценивать) степень предвзятости, предубеждений.

Мы провели поиск публикаций в различных научных международных (Embase, Medline и Cochrane Central) и российских (РИНЦ) базах данных, а также диссертационных работ, находящихся в области исследования, в период с 2000 года по 31 декабря 2019 года (даты первой регистрации Covid-19) и с января 2020 по настоящее время для сравнительного анализа Данные периоды выделены нами в связи с тем, что момента распространения новой коронавирусной инфекции в медицинских вузах, как отмечалась ранее, разрабатывались и внедрялись образовательные программы по вопросам Covid-19 в рамках дисциплин «Эпидемиология» и «Инфекционные болезни».

Поиск проводился с использованием следующих заголовков: «Коронавирус», «Covid- 19», «вирус SARS», «новая коронавирусная инфекция», «пандемия», «противоэпидемиологические мероприятия», «инфекционные заболевания», «эпидемиологическая ситуация», «передача инфекционных заболеваний», «эпидемии», «массовое заражение», «студенты-медики», «медицинские школы», «обучение студентов медицинских вузов условиях пандемии».

Среди множества результатов поиска были отобраны только те работы, которые содержали: (1) подробный отчет об организации обучения; (2) описание используемых объективных методов оценки эффективности обучения; (3) оценку знаний, умений и навыков будущих врачей до и после обучения. Для исключения работ одних и тех же авторов, описание клинических случаев, тезисы конференций, краткие отчеты, процедуры диагностики и лечения инфекционных заболевания, в том числе и Covid-19 и т. п. мы воспользовались он-лайн приложением Rayyan QCRI, позволяющее осуществлять слепой просмотр аннотаций по заданным заранее параметрам для систематических обзоров. Таким образом было отобрано 78 исследований, из которых только 47 соответствовали критериям включения: 38,2 % работы российских ученых (преподавателей медицинских вузов, методистов, врачей), 44,7 % -- ученых США, 17 % -- ученых таких стран как Германия, Великобритания, Италии.

При анализе мы обобщали данные о положительных эффектах, оказываемых новыми методиками обучения студентов-медиков, количественные и качественные показатели, для оценки которых мы воспользовались методикой оценки Д. Кирпатрика [11; 12], позволяющей оценить: (1) удовлетворенность обучением (содержанием курса, методами и методиками обучения) (I уровень); (2) полученные при обучении знания и умения (II уровень); (3) способность применять знания и умения при решении профессиональных задач (III уровень); (4) способность применять знания и умения практической деятельности (IV уровень).

Полученные результаты

Данные, полученные в результате исследования, можно разделить на две группы в соответствии с целями исследования. Первую группу результатов составляют данные относительно данные относительно методов оценки эффективности собственных разработок авторами -- составителями рабочих программ дисциплин, образовательных программ курсов повышения квалификации и т. п. и степени их предвзятости. Вторая группа результатов -- это данные о наиболее эффективных методах обучения, формах организации занятий и формах контроля, описанные в разработках исследователей.

Первая группа результатов.

Установлено, что для оценки эффективности различных образовательных программ и курсов авторами исследований использовались различные методы: 38,9 % использовало субъективные оценки знаний, умений и навыков по эпидемиологии и инфекционным болезням, 26,2 % применяли методы математической статистики. Кроме того, большинство работ содержали оценки данных параметров до начала обучения (68,2 %) и только 5 работ было описано оценивали знаний, умения и навыки студентов-медиков в ходе всего процесса обучение, сразу и через год после реализации курса. профессиональный навык педагогический

Так, например, на базе больницы Техасского медицинского колледжа A&M в 2005 году был разработан курс в рамках дисциплины «Эпидемиология», направленный на изучения биотерроризма [13] студентов 3 курса, авторами отмечается уровень готовности к решению профессиональных задач в начале обучения 18,6 %, после обучения 67,8 %. В Медицинском центре Еврейского университета Хадасса с 2017 года внедрен курс по принятию управленческих решений по время эпидемий и пандемий [14], по оценке авторов до обучения знания студентов могут быть оценены на уровне 23,7 %, после прохождения курса -- 78,3 %. Сотрудниками Гарвардского медицинского колледжа Дж.К. Карни, Л.М. Шиллинга, С.Ш. Франк и др. [14] в качестве результатов получили следующие данные: 69 % согласились или полностью согласились с тем, что они лучше понимают общественное здравоохранение, 82 % согласны или полностью согласны с тем, что они лучше понимают успешную готовность к пандемии или чрезвычайной ситуации, а 70 % правильно ответили на вопросы о готовности к пандемии / чрезвычайным ситуациям после курса; 100 % согласны или полностью согласны с тем, что врачи лучше всего подготовлены, если они составят письменный план и проведут упражнения по подготовке после курса. Обобщая данные, можно констатировать тот факт, что теоретические знания оценивались в 58 исследованиях (78,3 %), в 35 исследованиях (60,9 %) оценивались умения, в 59 работах -- отношение студентов к пройденному курсу и 64 исследованиях (43,5 %) оценивались практические навыки. Отсутствуют работы, в которых бы оценивалась клиническая эффективность (IV уровень).

Большинство исследователей, в основном зарубежных, одним из важнейших показателей считают удовлетворенность студентов содержанием курса и/или методикой обучения, полученными знаниями, то есть согласно методу Д. Кирпатрика оценка I уровень. Обобщение полученных результатов позволило сформулировать следующие выводы:

Удовлетворенность слушателей оценивалась в 29 исследованиях (37,2 %) с помощью самостоятельно разработанных опросников, как правило, в работах российских авторов, и шкалы Р. Лайкерта в работах зарубежных авторов. Усредненные данные удовлетворенности обучаемых курсами представлены на рисунке 1, который наглядно демонстрирует, что положительную оценку высказали большинство российских студентов-медиков, тогда как только чуть больше трети (34 %) зарубежных студентов отозвались о курсе положительно.

Рисунок 1. Усредненные показатели уровня удовлетворенности обучением (составлено автором)

Второй уровень -- полученные при обучении знания (II уровень). Необходимо отметить, что большая часть исследований (89,7 %), посвященных оценке эффективности разработанного и внедренного образовательного курса по вопросам инфекционных болезней и эпидемиологии, на содержала описание инструментов, результатов и методов оценивания знаний студентов- медиков в области данных дисциплин. Для этого как зарубежные коллеги, так и российские использовали различные виды тестов, ситуационные задачи и собеседование по темам.

Способность применять знания и умения (III уровень) проверялись при включении будущих врачей в решение профессиональных задач в стационарах инфекционных отделений, у пастели больного в до пандемийный период и в симуляционных центрах, в тренажерах виртуальной реальности, моделирующих эпидемии, пандемии и стихийных бедствий в период карантийных мер.

Влияние обучения на формирование навыков (IV уровень) ни в одном исследовании не изучалось. Студенты-медики, как правило, имеют малый практический опыт, поэтому оценить адекватно влияние любого учебного курса на формирование навыков невозможно.

Для оценки риска предвзятости мы воспользовались руководством по систематическим обзорам [15]. Риск систематической ошибки был от низкого до критического. На рисунке 2 представлены примеры полученных результатов при анализе конкретных работ исследователей, описывающих внедрение и оценку разработанных образовательных программ, курсов и т. п., на рисунке 3 обобщенные результаты оценки риска возникновения систематической ошибки при нерандомизированных исследованиях, полученные с помощью ПО ROBINS-1.

Рисунок 2. Результаты оценки риска систематической ошибки при нерандомизированных исследованиях, полученных ROBINS-1 (составлено автором)

Анализ полученных результатов позволил констатировать наличие серьезной систематической ошибки, обусловленной отсутствием предварительной оценки знаний, умений и навыков обучаемых, реализацию образовательных программ, курсов в виде факультативов по выбору (по желанию), применение исследовательского аппарата для получения количественных данных, не позволяющих оценить заданные параметры, а также отклонение от образовательных целей. Таким образом, можно говорить о достаточно высоком уровне предвзятости полученных результатов. Эта предвзятость неизбежно ослабляет силу сделанных выводов, но, учитывая, что все исследования продемонстрировали положительную пользу, все же можно сделать вывод о том, что студенты, проходящие курсы подготовки к стихийным бедствиям, принесут пользу.

Вторая группа результатов.

2.1. В большинстве образовательных программ и курсов, описываемых в работах исследователей, использовались традиционные формы организации образовательного процесса, а именно лекции с применением мультимедийными презентациями (68,3 %), лекции с применением интерактивных средств и симуляционных комплексов (27,5 %) и проблемные лекции (4,2 %), решение ситуационных задач (18,9 %), обучение у постели больного (25,7 %), обучение в симуляционных центрах (55,4 %). Из симуляторов четыре курса (5,1 %) включали симуляцию массовых жертв эпидемий, вызванных распространением инфекционных заболеваний. Для активизации работы обучаемых на занятиях использовались ролевые игры и имитационные упражнения (Кейс Вестерн Резерв, Гарвардский медицинский колледж, Колорадо и Вермонт, США, 2011 г. и др.), интерактивных упражнений и наблюдений за развитием эпидемий и принятии управленческих решений Всемирной организацией здравоохранения и руководствами различных стран (Калифорнийский университет, США, 2010; Школа медицины Гавайского университета, США, 2008 г.; Медицинский факультет Университета Кейс Вестерн Резерв, США, 2016 г. и др.), упражнения в виртуальной реальности (Исследовательский институт телемедицины, Гавайский университет, США, 2008 г. и др.).

2.2. Установлено, авторы работ отмечали при обсуждении полученных результатов, что, не смотря на повышения уровня знаний, умений и навыков обучаемых, отмечается их неуверенности при выполнении практических действий, при решении профессиональных задач у пастели больного, а также значительные трудности при решении задач, имитирующих пандемии, эпидемии, результаты биотерроризма и т. п. Мы согласны с авторами исследования в мнении о том, что лишь включение будущих врачей в реальную профессиональную ситуацию позволит сформировать у них уверенную готовность к решению профессиональных задач, поэтому какие бы интерактивные, симуляционные средства не были использованы, невозможно добиться высоких результатов в формировании практических навыков.

Обсуждение

Применение выше описанного подхода, нетрадиционного для педагогических и методических исследований, позволило получить достаточно интересные, на наш взгляд, результаты. Во-первых, в большинстве (67,5 %) работ российских исследователей (разработчиков курсов, преподавателей и т. п.) отмечается достаточно низкий уровень предвзятости полученных результатов. Очевидно, это объясняется системностью в представлении полученных результатов, следованию цели исследования от постановки проблемы до формулирования окончательных выводов, а также применение в качестве теоретических основ богатейший опыт педагогики и методики высшей школы.

Во-вторых, полученные результаты показали, что включение в новый разработанные рабочие программы дисциплин «Эпидемиология» и «Инфекционные болезни» вопросы возникновения и особенностях распространения новой коронавирусной инфекции в период пандемии в мировом сообществе, о разработке и внедрении новых технологий эпидемиологического надзора и контроля действительно улучшает объективные знания по данным дисциплинам, а также способствуют формированию устойчивых практических навыков.

В-третьих, профессорско-преподавательский состав учебных заведений активно включился в переработку старых рабочих программ по дисциплинам «Эпидемиология» и «Инфекционные болезни» и не только, а также в разработку новых образовательных программ для студентов-медиков, будущих медицинских работников среднего звена и действующих врачей. Большинство курсов длились всего один день, что указывает на то, что короткие курсы все еще могут быть эффективными. Как показал обзор подобных курсов, разработанных зарубежными коллегами, занятия проводились параллельно с уже загруженной учебной программой медицинских вузов, что препятствовало достичь продольной интеграции в обучение в медицинских вузах. Однако, нельзя не согласиться с Дж. Эшкрофтом, М.Х.В. Бирном, П.А. Бреннан, что в условиях «пандемии COVID-19 это можно преодолеть путем сотрудничества и координации при условии организации обучения многих студентов- медиков в дистанционном/он-лайн формате» [15].

В-четвертых, новое содержание дисциплин «Эпидемиология» и «Инфекционные болезни», рассмотренные нами в исследованиях авторов, были положительно оценены студентами-медиками (78,3 %) и повысило их желание и готовность работать в системе здравоохранения в качестве волонтеров. Однако, нами отмечен был следующий факт, что при разработке новых рабочих программ дисциплин, образовательных программ авторы (37,9 %) используют компетенции, назовем их «допандемийные». На наш взгляд, крайне необходимо пересмотреть набор компетенций, формируемых в рамках реализуемых программ, «студентам- медикам может потребоваться совсем другой набор компетенций. Неудивительно, что некоторые студенты-медики последнего курса не чувствуют себя готовыми начать работу в качестве недавно получившего квалификацию врача из-за опасений, что они недостаточно хорошо подготовлены к клинической практике или чувствуют себя недостаточно подготовленными к COVID-19» [15].

Пятое, систематический обзор, позволил выявить наиболее эффективные методы обучения, которые целесообразно включать в процесс подготовки студентов-медиков таким дисциплинам как «Эпидемиология» и «Инфекционные болезни», а также образовательным курсам COVID-19. Так, структура дисциплин «Эпидемиология» и «Инфекционные болезни» должна включать в себя не только традиционные модули и формы занятий, проводимые с учетом требований социального дистанцирования или в дистанционном формате. Включение модуля по COVID-19, предполагает, по мнению авторов работ, предполагает включение занятий, направленных на формирование практических действий, например, по установке аппарата легочной вентиляции легких. Имитируемый элемент может состоять из пациента с COVID-19, которому требуется сердечно-легочная реанимация. В сценариях с ограниченными ресурсами это можно сделать с помощью компьютерных обучающих программ или видеоуроков.

Вывод

Пандемия COVID-19 вызвала беспрецедентные перебои в оказании медицинских услуг в мирное время. Студенты-медики могут сыграть решающую роль в ответных мерах здравоохранения при условии их подготовленности к практической деятельности. Поэтому обучение студентов таким дисциплинам как «Эпидемиология» и «Инфекционные болезни» с включением модулей, касающихся COVID-19, а также организация дополнительных обучающих курсов и образовательных программ, позволят улучшить знания и сформировать практические навыки при решении профессиональных задач.

Литература

1. Брико Н.Н. Основные постулаты современной парадигмы эпидемиологии / Н.Н. Брико // Медицинский альманах. -- № 4(49), -- С. 17-22.

2. Мелехина Е.В. «Клинические особенности течения COVID-19 у детей различных возрастных групп. Обзор литературы к началу апреля 2020 года». // Е.В. Мелехина, А.В. Горелов, А.Д. Музыка // «Вопросы практической педиатрии». -- 2020. -- № 15(2). -- С. 7-20.

3. Судаков Д.В. О некоторых аспектах дистанционного обучения студентов медицинского вуза в период неблагоприятной эпидемиологической обстановки, вызванной новой коронавирусной инфекцией / Д.В. Судаков, О.В. Судаков, Н.В. Якушева [и др.] doi: 10.31483/r-96409 // Современные вызовы образования и психология формирования личности: монография / гл. ред. Ж.В. Мурзина -- Чебоксары: ИД «Среда», 2020. -- С. 200-211.

4. Ashcroft J., Byrne M.H.V., Brennan P.A. et al. Preparing medical students for a pandemic: a systematic review of student disaster training programmes / J. Ashcroft, M.H.V. Byrne, P.A. Brennan, et al. // Postgraduate Medical Journal. -- 2021. -- № 97. -- pp. 368-379.

5. James E.L., Graham M.L., Snow P.C. and Ward B.M. Teaching research and epidemiology to undergraduate students in the health sciences / E.L. James, M.L. Graham, P.C. Snow and B.M. Ward // Australian and New Zealand Journal of Public Health. -- 2006. -- № 30. -- рр. 575--578.

6. Ingrassia P.L., Ragazzoni L., Tengattini M. et al. Nationwide program of education for undergraduates in the field of disaster medicine: development of a core curriculum centered on blended learning and simulation tools / P.L. Ingrassia, L. Ragazzoni, M. Tengattini et al. // Prehosp Disaster Med. -- 2014. -- no. 29, pp. 508-515.

7. Kim J.W., Myung S.J., Yoon H.B., Moon S.H., Ryu H., Yim J-J. How medical education survives and evolves during COVID-19: Our experience and future direction / J.W. Kim, S.J. Myung, H.B. Yoon, S.H. Moon, H. Ryu, J-J. Yim // PLoS ONE. -- № 15(12). -- рр. 1--12.

8. Moher D., Liberati A, Tetzlaff J, Altman D.G. The PRISMA Group Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement / D. Moher, А. Liberati, J. Tetzlaff, D.G. Altman

9. Page M.J., Moher D., Bossuyt P.M., Boutron I., Hoffmann T.C., Mulrow C.D., Shamseer L., Tetzlaff J.M., Akl E.A., Brennan S.E., Chou R., Glanville J., Grimshaw J.M., Hrobjartsson A., Lalu M.M., Li T., Loder E.W., Mayo-Wilson E., McDonald S., McGuinness L.A., Stewart L.A., Thomas J., Tricco A.C., Welch V.A., Whiting P., McKenzie J.E. PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ -- 2021 -- р. 160.

10. Guyatt G.H., Oxman A.D., Kunz R., Falck-Ytter Y., Vist G.E., Liberati A., Schunemann H.J. Going from evidence to recommendations / G.H. Guyatt, A.D. Oxman, R. Kunz, Y. Falck-Ytter, G.E. Vist, A. Liberati, H.J. Schunemann // BMJ. -- 2008 -- no.10. -- pp. 1049-1051.

11. Киркпатрик Д.Л., Киркпатрик Д.Д. Четыре ступеньки к успешному тренингу: практическое руководство по оценке эффективности обучения / Д.Л. Киркпатрик, Д.Д. Киркпатрик. -- Москва. -- 2008 г. -- С. 50-51.

12. Голубь А.А. Актуальность модели Д. Киркпатрика как инструмента оценки эффективности обучения персонала / А.А. Голубь // Символ науки. -- 2019. -- № 5. -- С. 90-93.

13. Ривкинд А.И., Фарож M., Минц Ю. Борьба с террором: новая парадигма в обучении студентов травмам / А.И. Ривкинд, М. Фарож, Ю. Минц // Неотложная хирургия и травма. -- 2015. -- № 78. -- С. 415-421.

14. Карни Дж.К., Шиллинг Л.М., Франк С.Н. Планирование и включение готовности к общественному здравоохранению в медицинский учебный план / Дж.К. Карни, Л.М. Шиллинг, С.Н. Франк. //Американский журнал превентивной медицины. -- 2011. -- № 41. -- С. 193-199.

15. Хиггинс Дж.П.Т., Томас Дж., Чендлер Дж., Кампстон М., Ли Т., Пейдж М.Дж.,

16. Уэлч В.А. Кокрановское руководство по систематическим обзорам вмешательств, версия 6.1 / Дж.П.Т. Хиггинс, Дж. Томас, Дж. Чендлер, М. Кампстон, Т. Ли, М.Дж. Пейдж, В.А. Уэлч. -- 2020.

Размещено на Allbest.ru