Размещено на http://allbest.ru

Введение

медицина вмешательство испытание

В настоящее время мировое медицинское сообщество рассматривает доказательную медицину не только как набор методов, помогающих врачу в принятии клинических решений или прогнозировании исходов. Во многих развитых странах принципы научной обоснованности являются основой для принятия управленческих и экономических решений в здравоохранении. Такие авторитетные организации как Управление по надзору за качеством пищевых продуктов и медикаментов (Food and Drug Administration, FDA, США) [50], Национальный институт здоровья и клинического совершенствования Великобритании (National Institute for Health and Care Excellence, NICE) [53], Институт качества и эффективности в здравоохранении в Германии (Institute for Quality and Efficiency in Health Care, IQWIG) [51] в своих решениях относительно разрешения оборота лекарств, в оценке технологий здравоохранения, в том числе вопросов финансирования (предоставления) их основываются на принципах доказательной медицины и требуют подтверждения эффективности рассматриваемых вмешательств строгими научными методами. Аналогичные институты организуются и в других развитых странах

Специалисты уже много лет говорят о необходимости создания подобных структур в России, а также о важности развития доказательной медицины для всей системы здравоохранения. Еще в 2005 году на Международном совещании на базе ММА им. И.М. Сеченова его участники сочли необходимым «просить Министерство здравоохранения и социального развития РФ рассмотреть вопрос о возможности создания структуры по оценке медицинских технологий». Также отмечалось, что, используя принципы доказательной медицины, можно более рационально расходовать ресурсы общественного здравоохранения, то есть создавать более эффективную систему здравоохранения по сравнению с существующей.

Подходы к медицинской практике и общественному здоровью, основанные на научных доказательствах (доказательная практика) не имеют рациональной альтернативы. Тем не менее, они имеют свои слабые места. Эти слабости не означают ущербности по сравнению с другими подходами. Они лишь означают, что наличными средствами надежность решений, обосновываемых научными данными, может быть относительно низкой.

Для некоторых, основных случаев обоснования решений, уже найдены достаточно эффективные методы работы. Так, например, для случая отсутствия больших доброкачественных испытаний эффективности и безопасности вмешательств была разработана методика мета-анализа. Результат каждого отдельного исследования может отличаться от истинного результата вмешательства в силу случайных или систематических ошибок при проведении исследования. Объединяя в мета-анализ результаты нескольких независимых исследований, мы снижаем влияние случайных ошибок, а в некоторых случаях и систематических смещений.

Согласно современным представлениям о доказательной медицине мета-анализ нескольких исследований считается медицинским утверждением, обладающим наибольшей доказательной силой по сравнению с отдельными исследованиями или экспертными мнениями. Но в силу ряда причин проведение мета-анализа также имеет свои ограничения. Во-первых, разные исследования одного и того же вмешательства могут опираться на разные конечные точки, поэтому их результаты будут несопоставимы между собой. Во-вторых, не для всех вмешательств можно найти даже два исследования, которые бы можно было бы включить в один мета-анализ. Такая проблема остро стоит для редких вмешательств, например, лечения орфанных заболеваний, когда количество потенциальных участников исследований невелико в силу небольшого количества пациентов. Кроме того это актуально и для новых препаратов и вмешательств, с которыми еще не провели достаточного для мета-анализа количества исследований. В-третьих, присутствующее в медицинской периодике публикационное смещение может сказаться на результатах мета-анализа и привести к их отклонению от истинного значения эффекта вмешательства.

Публикационное смещение, кроме влияния на результаты мета-анализов, также само по себе является одним из изъянов методов, применяемых в доказательной медицине для научного обоснования принятия решений. Также как несовершенство методов, используемых доказательной медициной, можно рассматривать проблемы, связанные с недостаточной фиксацией и преуменьшением побочных явлений в исследованиях. При современных подходах к проведению исследований, анализу их результату и алгоритмах принятия решений (учитывая бенефициаров этих решений) проявляется тенденция к рекомендации лишних вмешательств, в которых у пациента не было необходимости. Подсчет размера побочных эффектов от совершения необоснованных вмешательств по сравнению с невмешательством затруднен. Публикационное смещение традиционно учитывается при составлении систематических обзоров и мета-анализа с помощью воронкообразного графика, который позволяет с некоторой долей субъективности, вынести суждение о наличии или отсутствии публикационного смещения по данной проблеме, а также, иногда о степени его выраженности.

Существует сложность и в самих вмешательствах. Если вмешательство является чем-то более сложным, чем прием пациентом таблетки, то провести вмешательство можно по-разному. Замечено, что разные исследователи, используя одни и те же термины для описания вмешательств в публикациях, на самом деле могут производить с пациентом достаточно отличающиеся друг от друга действия. Сравнение результатов двух таких различных исследований может быть некорректным.

В данной работе также рассматривается еще одно возможное слабое место в применении принципов доказательной медицины. При проведении серийных исследований одного вмешательства (например, нового лекарственного препарата) возможна ситуация, когда «положительный» результат исследования, то есть статистически значимые различия между контрольной и экспериментальной группами будет являться не истинным значением эффекта, оказываемого данным препаратом, а следствием ошибки первого рода. Чем больше исследований проведено, тем больше вероятность, что хотя бы одно из них будет результатом этой ошибки. Как описывалось выше, в случаях проведения нескольких сходных исследований одного и того же вмешательства, в последствии с ними можно произвести мета-анализ, который сможет продемонстрировать отсутствие статистически значимых различий по суммарному результату нескольких исследований. Но, если исследования одного и того же препарата проводить при разных заболеваниях или состояниях, или на разных популяциях, не поддающихся сравнению, или использовать для измерения эффекта вмешательства разные конечные точки, проведение мета-анализа исследований окажется невозможным. В таком случае исследование, которое изначально являлось результатом ошибки первого рода, может стать доказательной основой для подтверждения несуществующей в реальности эффективности вмешательства.

При принятии организационных и экономических решений в области здравоохранения, опираясь на строгие научные методы, необходимо понимать и учитывать их возможные слабые стороны. Поэтому изучение возможных несовершенств, которые могут возникнуть при принятии решений, основанных на строгих научных методах, применяемых в доказательной медицине, на уровне систем здравоохранения является важной составляющей организации здравоохранения. Организационные и экономические решения, принятые под влиянием смещенных результатов исследований, могут приводить к нерациональному расходованию средств. Ограниченные средства системы здравоохранения могут быть выделены на предоставление неэффективного медицинского вмешательства, нередко дорогостоящего, в ущерб эффективным и необходимым медицинским вмешательствам. На основе публикационного смещения и ложноположительных результатов клинических испытаний число медицинских вмешательств, которые будут рассматриваться как вмешательства с доказанной эффективностью, может постоянно расти, даже если не будет обнаруживаться ни одного нового действительно эффективного вмешательства.

Целью данного исследования является анализ возможных смещений при оценке эффективности медицинских вмешательств, выявляемых в серийных исследованиях, а также предложение путей решения для важнейших проблем, выявленных в ходе анализа.

Работа над данным исследованием предполагает решение следующих задач:

1. Изучить обнаруженные несовершенства в применении научно обоснованных методов для оценки эффективности медицинских вмешательств, обсуждаемых в публикациях;

2. Сформулировать алгоритмы для вычисления вероятности ложноположительного результата для серийных исследований, не поддающихся объединению для проведения мета-анализа;

3. Провести анализ существующих серийных исследований на предмет вероятности, что показанный в исследованиях положительный результат является ложноположительным.

4. Сформулировать рекомендации по учету возможных смещений при оценке эффективности медицинских вмешательств в серийных исследованиях для более обоснованного принятия решений о рациональном расходовании средств бюджета здравоохранения.

Объектом данного исследования являются рандомизированные контролируемые испытания новых препаратов, проводимые сериями в различных областях медицинского применения.

Предметом данного исследования являются заложенные в серийных испытаниях величины допустимых ошибок первого и второго рода, результаты отдельных испытаний в серии, вероятность получения ложноположительного результата, говорящего об эффективности исследуемого вмешательства, при проведении серийных испытаний.

Теоретико-методологической основой данного исследования послужили труды по доказательной медицине, эпидемиологии, статистическому анализу в медицине таких ученых как Роберт и Сюзанна Флетчеры и Эдвард Вагнер, В. Власов, С. Гланц, О. Реброва, а также публикации Дж. Иоаннидиса о имеющихся несовершенствах в применении научно обоснованных методов оценки эффективности медицинских вмешательств.

В качестве эмпирической базы исследования выбраны регистры клинических испытаний, публикации о результатах зарегистрированных в регистрах испытаний или же данные о том, что такие результаты не были опубликованы, данные о регистрации новых лекарственных препаратов.

В качестве гипотезы данного исследования взято предположение, что при проведении рандомизированных клинических испытаний новых препаратов в разных областях медицины, результаты которых не могут быть подвергнуты мета-анализу, данные об эффективности препарата в одной из областей применения могут быть результатом статистической ошибки первого рода. Подобные данные, представленные независимо от других исследований в серии, не показавших эффективности, могут послужить сильным доказательством для дальнейшего применения препарата в данной области. А также могут стать основой для принятия ошибочных экономических и организационных решений об оплате подобного лечения и о предпочтительном выборе данного лечения по сравнению с лечением другим препаратом или отсутствием лечения.

Научной новизной исследования является расчет вероятности ложноположительного результата исследования в серии исследований, основанный на заложенных уровнях ошибок первого и второго рода, числе исследований данного препарата, проведенных на данный момент, количестве исследований, показавших эффективность препарата, вне зависимости от медицинской сферы проведения отдельных испытаний препарата. В данной работе были проанализированы 70 исследований, зарегистрированных в регистрах клинических испытаний, проводившихся в связи с изучением пяти препаратов, одобренных FDA. Вычислены вероятности ложноположительных результатов среди исследований, показавших статистически значимые различия.

Практическая значимость работы состоит в формулировании предложений и рекомендаций по учету существующих слабых мест в доказательствах эффективности медицинских вмешательств. Правильный учет и анализ слабых и сильных сторон доказательств критически важен для принятия решений в области организации здравоохранения о закупках и предоставлении лекарственных препаратов, решений об оснащении учреждений здравоохранения теми или иными видами оборудования, принятия решений о включении исследований как профилактических или скрининговых. Именно от таких решений зависит эффективность и рациональность расходования средств здравоохранения. А поскольку ресурсы, в том числе денежные, имеющиеся в распоряжении системы здравоохранения, всегда ограничены, возможность правильно оценить силу доказательств и избежать трат на лечение, доказательство эффективности которого являются следствием ложноположительного результата, имеет важное организационное и экономическое значение для здравоохранения.

Глава 1. Несовершенства в применении научно обоснованных методов в доказательной медицине

1.1 Публикационное смещение

За несколько десятилетий существования доказательной медицины как самостоятельного направления науки был выявлен ряд несовершенств, которые имеют научно обоснованные методы, применяемые в доказательной медицине для оценки эффективности вмешательств, и для некоторых из них были предложены решения.

Публикационное смещение является одним из важных явлений, оказывающих негативное влияние на правильность научных выводов. Это явление наблюдается не только в области доказательной медицины, но и в некоторых других экспериментальных науках. Проблема публикационного смещения состоит в том, что не все исследования, которые проводятся в области медицины и здравоохранения, в итоге оказываются опубликованными и доступными для дальнейшего анализа другими исследователями. Вероятность того, что некое исследование окажется неопубликованным или недоступным для других исследователей, не является случайной, а зависит от природы исследования и его результатов [42]. Поскольку основным источником информации для медицинского сообщества являются именно публикации исследований, важно иметь возможность оценить наличие и степень публикационного смещения при сборе информации. Уменьшение публикационного смещения оказывается в интересах всего медицинского сообщества.

Публикационное смещение может возникать в следствие разных причин. Принято выделять несколько типов публикационного смещения [42].

1. Смещение на этапе публикации. Будут опубликованы результаты исследования или не будут, может зависеть от результатов этого исследования.

2. Смещение во времени публикации. Время, за которое исследование будет полностью завершено, описано и опубликовано, может зависеть от результатов исследования.

3. Смещение в результате множественных публикаций. От результатов исследования может зависеть, будет ли оно опубликовано однократно или многократно.

4. Смещение из-за места размещения публикации. В зависимости от результатов исследования оно может попадать в журналы и базы данных с разной степенью доступности и цитируемости.

5. Смещение в результате цитирования. Уровень цитирования исследования зависит от результатов исследования.

6. Языковое смещение. Публикация исследования на определенных языках может зависеть от результатов, показанных в исследовании.

7. Смещение в сообщении исходов. Избирательное сообщение одних исходов и умалчивание о других исходах может зависеть от результатов, полученных по тем и другим исходам в исследовании.

Причина появления публикационных смещений разных типов состоит в том, что «положительный» результат исследования, то есть данные, доказывающие, что исследуемое вмешательство оказывает какой-то статистически значимый эффект, рассматривается исследователями, редакторами, издателями и читателями научной литературы как более значимый по сравнению с «отрицательным» результатом. В связи с этим исследования, показывающие статистически значимый «положительный» результат имеют больше шансов быть опубликованными по сравнению с исследованиями, показывающими, что эффекта вмешательства не обнаружено. Также исследования, доказывающие эффективность вмешательства, публикуются быстрее, у них больше вероятность быть опубликованными на английском языке и в более авторитетном журнале. Кроме того исследования с «положительным» результатом чаще публикуются повторно по сравнению с исследованиями об отсутствии значимого эффекта. А поскольку доказанное наличие статистически значимого результата кажется исследователям более весомым, чем отсутствие статистически значимого результата, то и цитируют такие исследования чаще [42].

Публикационное смещение может иметь большое значение для систематических обзоров и мета-анализов. Создание систематических обзоров с мета-анализами призвано обобщить результаты всех исследований, проведенных в какой-то сфере (это может быть отдельное вмешательство или несколько вмешательств при каком-то состоянии). Подобное обобщение результатов многих исследований с применением статистических методов позволяет нивелировать случайные и некоторые систематические ошибки, присутствующие в отдельных исследованиях, и с помощью вычислений приблизиться к истинному результату о размере эффекта вмешательства. Но при наличии публикационного смещения может сложиться ситуация, когда исследователю, проводящему мета-анализ, будут доступны исследования, показывающие наличие эффекта, и не доступны исследования, показывающие отсутствие эффекта. Результат такого мета-анализа будет сдвинут в сторону большего размера эффекта, что приведет к ошибочным выводам.

Из-за возможного искажения общей картины в результате публикационного смещения, а также в силу того, что любое исследование на людях несет в себе определенный риск и возможный вред для участников, вопрос публикации результатов исследования имеет этический аспект.

Научное медицинское сообщество сходится в том, что должны публиковаться результаты всех клинических испытаний. Однако на практике исследователи не всегда выполняют свои обязательства по публикации исследований, не всегда публикуют результаты в полном объеме, поэтому возникает необходимость в механизмах, которые бы противодействовали бы публикационному смещение или давали бы возможность оценить наличие такого смещения и степень его выраженность.

В качестве одного из способов для оценки публикационного смещения используется создание воронкообразного графика. Воронкообразный график представляет собой простую точечную диаграмму по одной из осей которой отложен размер эффекта, показанный в отдельных исследованиях, а по другой оси указан размер исследования или его точность. Обычно эффект откладывается по горизонтальной оси, а мера величины исследования по вертикальной оси. Поскольку точность исследования (в качестве ее меры может быть взята дисперсия или стандартная ошибка) должна повышаться по мере увеличения размера исследования, то можно отмерять размер исследования его точностью. Кроме того по мере увеличения размера исследования, оценка имеющегося эффекта от исследуемого вмешательства должна становиться точнее. А оценка эффекта в более мелких исследованиях должна быть разбросана шире друг относительно друга. Таким образом в нижней части диаграммы находятся точки, обозначающие небольшие исследования, достаточно далеко разбросанные. В верхней части диаграммы отмечены более крупные исследования, чьи точки лежат более кучно. Итоговый график похож на перевернутую воронку [36; 42].

В случае имеющегося публикационного смещения, причиной которого являются обнаруженные результаты исследования, часть точек, которые должны были бы быть на диаграмме, будут отсутствовать. И весь график приобретет асимметричный вид. Обычно асимметричность графика возникает за счет отсутствия части малых по размеру (или точности) исследований.

Хотя этот метод и позволил обнаружить значительные смещения и выявить несовершенства в проведенных мета-анализах, сам он также имеет ряд ограничений. Публикационное смещение разных типов (в том числе смещение из-за времени и места публикации) является только одной из возможных причин асимметричности воронкообразного графика. Кроме него причиной асимметричности могут быть ошибки в дизайне исследований, что чаще встречается в небольших исследованиях, ошибки анализа результата или даже подлог результатов. В некоторых случаях асимметрия является результатом различия в популяциях, исследованных в малых и в больших исследованиях. Небольшие по размеру исследования могли проводиться на пациентах с более тяжелой формой заболевания, в которых ожидаемо размер эффекта будет больше, чем среди пациентов с менее выраженными проявлениями болезни. Для некоторых статистических показателей, например отношения рисков, ожидаема некоторая асимметрия, поскольку их параметры соотносятся со стандартной ошибкой. Также асимметрия может быть результатом случайности, особенно, если количество исследований, включенных в мета-анализ невелико, поэтому проверку воронкообразным графиком имеет смысл проводить, только если в анализ включено не менее десяти разных исследований [36; 42].

Вторым важным ограничением применения оценки по воронкообразному графику является то, что решение о том, является ли график асимметричным или симметричным достаточно субъективно. Только в случаях сильно выраженного смещения можно твердо говорить о асимметричности. Чтобы снизить влияние субъективного суждения специалиста, используются дополнительные методы оценки асимметричности графика, например, линейная регрессия [15].

Другим способом избежать публикационного смещения и повысить ответственность исследователей по своевременной публикации результатов проведенных клинических испытаний является регистрация исследований в регистрах клинических испытаний. На данный момент существуют национальные и международные регистры клинических испытаний. Крупнейшим регистром является, являющийся службой Национальных институтов здоровья США [41], позволяющий регистрацию из любой точки мира, а также допускающий ретроспективную регистрацию исследований [1]. Существует регистр Европейского Союза www.clinicaltrialsregister.eu и международный регистр Всемирной организации здравоохранения http://apps.who.int/trialsearch/ [45; 52]. В России существуют реестры выданных разрешений на клинические испытания медицинских изделий и клинические исследования лекарственных препаратов, которые для некоторых целей могут быть использованы аналогично зарубежным регистрам клинических испытаний [2; 3].

Первые законодательные требования о регистрации клинических испытаний в общедоступной базе данных были приняты Конгрессом США в 1997 году [49]. Международный комитет редакторов медицинских журналов (ICMJE) в 2005 году рекомендовал принимать к публикации только те отчеты о клинических испытаниях, которые были зарегистрированы в открытых регистрах клинических испытаний до или во время включения первого пациента в исследование. Такие же требования остались и в современной версии Рекомендаций о проведении, сообщении, редактировании и публикации научных работ в медицинских журналах [57]. В 2006 году Всемирная организация здравоохранения заявила о необходимости регистрировать все проводимые клинические испытания. А в 2008 году в Хельсинскую декларацию было включено требование: «Любое клиническое испытание должно быть зарегистрировано в базе данных, доступной для просмотра населением, перед набором первого субъекта» [4].

Проспективная регистрация клинических испытаний должна привести к тому, что информацию о том, что то или иное испытание было проведено, было невозможно утаить вне зависимости от полученных результатов исследования. Теоретически, это должно уменьшить публикационное смещение. Однако, на практике оказывается, что даже при проведении регистрации с публикацией могут возникать трудности. Во-первых, регистрация клинического испытания не избавляет от смещения публикации во времени. Даже если в итоге все результаты клинических испытаний будут опубликованы, можно предположить, что испытания, в которых были получены статистически значимые отличия, будут опубликованы раньше, чем клинические испытания, не показавшие статистически значимого результата. Во-вторых, это не избавит от языкового смещения и смещения места публикации. Вероятно, что на английском языке и в более авторитетных журналах будет больше опубликовано испытаний, показавших «положительный» результат. В-третьих, даже если все медицинские журналы будут публиковать только своевременно зарегистрированные клинические испытания, это не значит, что часть зарегистрированных испытаний не окажется неопубликованной вовсе. Исследования показывают, что только 10% от всех клинических испытаний, зарегистрированных на ClinicalTrials.gov на декабрь 2012 года, и 15% от зарегистрированных и завершенных клинических испытаний имеют опубликованные результаты [31].

Такой объем неопубликованных результатов клинических исследований вызывает беспокойство и озабоченность у специалистов. В связи с этим в январе 2013 года была запущена кампания AllTrials, целью которой является регистрация, публикация и доступность всех результатов всех проводимых клинических испытаний [1].

Значительное публикационное смещение наблюдается среди исследований, темой которых являются методы лечения в области психиатрии. Так в 2008 году был проанализирован отчет FDA об испытаниях антидепрессантов и соответствующие публикации исследований. Было выявлено, что из исследований, в которых приняло участие более 12000 пациентов, опубликованными оказались лишь 37 исследований из 38, которые FDA сочло показывающими положительный результат. А из тех 36 исследований, которые были расценены FDA как исследования с отрицательным или спорным результатом, 22 не были опубликованы вовсе. 11 из 14 опубликованных исследований предоставляли информацию о тех исходах, которые показали положительный результат. Если судить по публикациям, то 94% исследований имели положительный результат. Если судить по сообщению FDA, то эффективность лечения показал только 51% испытаний. Благодаря этому публикационному смещению оцениваемый эффект от лечения увеличился на 32% [24].

Значительное смещение во времени публикаций было обнаружено в исследованиях терапии ВИЧ. Было обнаружено, что как минимум 13 испытаний 6 антивирусных препаратов оставались не опубликованными не менее трех лет с момента окончания испытания. Эти исследования включали в себя не менее 3779 пациентов. По крайней мере 9 из этих 13 испытаний получили отрицательный предварительный или итоговый результат. Два больших исследования изопринозина, показавшие отрицательный результат, остались не опубликованными, тогда как результаты испытания, показавшего положительный результат, было опубликовано в авторитетном журнале с высоким импакт-фактором [24].

Для организации и экономики здравоохранения публикационное смещение имеет важные отрицательные последствия. Под влиянием публикационного смещения все исследуемые в клинических испытаниях медицинские вмешательства оказываются более эффективными, чем они есть на самом деле. То есть осмысленность и эффективность денежных трат на предоставление новых лечебных, профилактических и диагностических вмешательств оказывается стабильно завышенной по сравнению с реальным положением дел. Аналогично новое оборудование, которое обычно является и более дорогим, чем существующее, благодаря публикационному смещению может быть подано как более эффективное, дающее более точную диагностику или больший лечебный эффект. Таким образом публикационное смещение может приводить к неверно принятым решениям о трате дополнительных денежных ресурсов системы здравоохранения на неэффективные вмешательства.

Как видно из приведенных примеров публикационного смещения, эта проблема затрагивает самые разные области здравоохранения. Решение о предоставлении или не предоставлении пациентам новых препаратов для лечения депрессии или ВИЧ, а также других частых заболеваний, может иметь значительные экономические последствия. Во-первых, новые препараты почти всегда оказываются дороже старых, поэтому решение предоставить новый препарат, который кажется более эффективным, будет стоить системе здравоохранения больших расходов. Во-вторых, если новый препарат окажется менее эффективным, чем использовавшийся прежде, то большее число пациентов окажется невылеченными и, соответственно, не смотря на увеличение расходов, бремя болезни для общества также возрастет.

Оценка публикационного смещения должна производится всегда, когда речь идет об оценке эффективности препарата и связанных с этим решениях будь то регистрация препарата для доступа на рынок, решение о предоставлении препарата за счет средств общественного здравоохранения, решение о включении препарата в перечни и стандарты лечения. Правильная оценка публикационного смещения значительно повышает рациональность и эффективность расходования средств здравоохранения.

1.2 Фиксация побочных эффектов вмешательств

Методы проведения клинических испытаний, которые потом используются доказательной медициной, имеют ограниченную силу в обнаружении побочных эффектов, в том числе неблагоприятных. Поскольку большинство побочных эффектов достаточно редко встречаются, то они могут быть не обнаружены даже в достаточно больших рандомизированных клинических испытаниях. Из-за этого препарат может доказать свою эффективность в лечении, быть зарегистрированными и поступить в продажу, и только в последствии обнаружится важный побочный эффект, который может даже послужить причиной для запрета использования препарата. Иногда, вовремя не обнаруженный побочный эффект нового препарата является поводом для дискредитации научных методов, послуживших доказательной базой для принятия решения о регистрации препарата, как небезопасных.

Из-за редкости проявления побочных эффектов основным способом их изучения и выявления являются исследования типа сравнения с контролем. Они менее надежны чем контролируемые испытания или когортные исследования, но позволяют выявить более редкие нежелательные явления. Для хорошей работы по выявлению побочных эффектов требуется отлаженная система по регистрации всех осложнений. Но создание подобных регистров затруднено, поскольку сами врачи не всегда в них заинтересованы: немалая часть осложнений являются ятрогенными, и в интересах врача оказывается их сокрытие, а не регистрация. Нередко врач не может сам оценить, явилось ли осложнение следствием побочного действия лекарственного средства, на которое врач не мог повлиять, или следствием некачественной работы врача. В российской системе здравоохранение обвинение врача во всех проявившихся у пациента осложнениях является заметной проблемой, мешающей качественной регистрации побочных явлений от применяемых лекарственных средств. Возможным способом разрешения этой конфликтной для врачей ситуации может служить создание системы анонимной регистрации осложнений у пациентов, не предполагающей наказания для сообщившего.

1.3 Лишние вмешательства

Последние годы проблема лишних вмешательств в медицине стала оказывать значительное влияние на здравоохранение в целом. Современные исследователи предполагают, что в настоящее время немалое количество пациентов подвергается лишним диагностическим исследованиям и медицинским вмешательствам, которых можно было бы избежать. Эти вмешательства могут быть достаточно инвазивными и опасными, приносить пациенту вред, в некоторых случаях лишнее лечение может даже приводить к смерти пациента. Проблема лишних вмешательств и избыточной диагностики идет в ногу с развитием диагностического оборудования. Более точные и чувствительные приборы позволяют идентифицировать еще более мелкие изменения в организме человека, еще более ранние стадии заболеваний. Но не всегда оказывается возможным поставить точный критерий для отличия патологического состояния от нормального. Кроме того, оказывается, что не всегда начало лечения заболевания на более ранней стадии дает пациенту какие-то значимые преимущества, но может подвергать его дополнительным рискам.

Особенно остро проблема ненужного лечения стоит в области онкологии. С одной стороны это связано с опасностью онкологических заболеваний и, соответственно, стремлению выявить их как можно раньше и лечить радикально, не применяя выжидательной тактики. С другой стороны такой сдвиг диагностики связан, по крайней мере, частично с рентными установками онкологов. Большая часть применяемых в лечении онкологических заболеваний методов: хирургия, химиотерапия, облучение - сами по себе являются достаточно вредными или опасными [16] и высокодоходными для провайдеров. Перед современной доказательной медициной стоит задача, с одной стороны, повысить чувствительность применяемых диагностических тестов, но одновременно, увеличить их специфичность. С проблемой гипердиагностики и лишнего лечения напрямую связан выбор тестов, применяемых для скрининга на различные заболевания. Сейчас происходит пересмотр целесообразности многих скрининговых исследований, в том числе таких распространенных как маммография [14].

1.4 Унификация вмешательств

Корректно проведенные исследования позволяют на основании попавшей в исследование выборки сделать корректные вывод о всей популяции. А на основании принадлежности конкретного пациента к данной популяции, врач выбирает наиболее подходящее лечение. Поэтому при практическом применении принципов доказательной медицины остро стоит вопрос об обобщаемости полученных в исследованиях результатов. Врач может основываться в лечении пациента на результатах того или иного исследования в зависимости от того, насколько его пациент ближе к одной или другой исследованной выборке. При этом нередко из виду упускается само исследованное вмешательство. Если вмешательство заключается в простом приеме готового таблетированного препарата в указанной дозировке, с этим обычно не возникает трудностей. Но если исследуется какое-то более сложное вмешательство, некая операция, процедура, облучение, сложное введение препарата, диагностическое мероприятие, то одного указания названия оказывается недостаточно. Под одним и тем же названием процедуры или операции разные врачи - проводившие исследование и читающие его результаты - могут понимать значительно отличающиеся друг от друга действия. Методы проведения даже достаточно распространенных процедур могут отличаться от одной страны к другой, и даже в разных больницах одного государства. Описания состояния пациентов или результатов диагностики тоже могут быть достаточно субъективными. Исследования показывают, что даже в авторитетных рецензируемых журналах менее половины опубликованных испытаний содержат достаточно подробное и понятное описание проведенных вмешательств, которое позволяет корректно их воспроизвести другому врачу [30].

Недостаточно подробные описания вмешательств могут иметь несколько последствий. На основании опубликованного исследования врач может неверно воспроизводить описанное вмешательство и тем самым предоставлять пациенту не оптимальную в его случае медицинскую помощь. В разных исследованиях под одним названием могут проводиться разные вмешательства, а последующее объединение их в систематических обзор или мета-анализ может привести к некорректным выводам. Подробное описание исследуемых вмешательство должно стать предметом внимания редакторов журналов, рецензентов и читателей. Возможным решением проблемы предоставления достаточно подробных описаний может статьи использование мультимедийных возможностей, например, размещение на сайтах журналов видеозаписей или схем проведения вмешательства.

Проблема недостаточной фиксации побочных эффектов исследуемых медицинских вмешательств, а также проблема неоправданных лишних вмешательств имеют выраженные негативные экономические последствия для системы здравоохранения. Заниженный уровень побочных эффектов от вмешательств приводит к недооценке их потенциальной опасности и неправильной оценке затрат и выгод. Остаются недооцененными экономические затраты на лечение побочных эффектов, на компенсацию потери трудоспособности, инвалидности, смертности. Нередко, истинный размер побочных эффектов превышает пользу от прямого действия исследуемого вмешательства, но эти последствия выясняются с опозданием.

Тенденция роста доли лишних вмешательств также остро актуальна для экономики здравоохранения. Постоянное развитие медицины само по себе ведет к увеличению расходов на здравоохранение, а лишние вмешательства делают растущие расходы все менее и менее эффективными. Кроме того рост доли лишних вмешательств приводит к увеличению побочных эффектов от этих вмешательств и финансовых затрат на их лечение, которых можно было бы избежать. Учитывая, что финансовые ресурсы здравоохранения всегда ограничены, трата денег на лишние вмешательства является большой нагрузкой на всю систему здравоохранения.

При принятии организационных и экономических решений в сфере здравоохранения следует учитывать, что доказательства эффективности вмешательства будут преувеличивать полезность вмешательства и преуменьшать побочные эффекты. Для корректировки оценки следует снижать расчетную эффективность и результативность рассматриваемого вмешательства и повышать потенциальную опасность и потенциальные расходы на лечение последствий побочных эффектов нового медицинского вмешательства.

1.5 Вероятность ложноположительного результата испытания

Доказательная медицина отличается от традиционной клинической практики тем, что предполагает рассматривать пациента в контексте различных больших популяций, к которым он может принадлежать, и давать рекомендации и прогнозы на основе оценки вероятностей событий. Доказательная медицина широко применяет экспериментальный подход, чтобы делать заключения, основываясь на строгих научных данных. Как и в других экспериментальных науках корректная интерпретация экспериментов и наблюдений основывается на статистической обработке результатов.

Поскольку клинические испытания проводятся не на всей популяции пациентов, а на выборке, то для корректного обобщения результатов выборки на всю популяцию также всегда используются статистические методы.

Одним из основных экспериментальных методов доказательной медицины являются рандомизированные контролируемые испытания. Объектом данного исследования также являются рандомизированные контролируемые испытания, проведенные сериями для исследования новых препаратов. Общая схема проведения рандомизированных контролируемых испытаний может быть изложена кратко. Сначала определяется популяция пациентов, для которой должна быть проверена эффективность изучаемого вмешательства, например, приема нового препарата. Из этой популяции набирается некоторая выборка. Затем случайным образом выборка распределяется на группы, во многих случаях формируется только две группы, но их может быть и больше. Одной группе применяется исследуемое вмешательство, другая группа составляет контроль, и ей проводят лечение с помощью плацебо или с помощью другого лекарства, с которым желают сравнить исследуемый препарат. В конце испытания исследователи сравнивают результаты в группах по исходам, определенным как важные в начале исследования. Результат может оцениваться по наступлению каких-то событий, например, смерти, рецидива заболевания, инсульта, инфаркта, выздоровления, инвалидизации и других. В других исследованиях результат оценивается в степени изменении какого-то параметра, выражающего количественно, например, уровня артериального давления, уровня вирусной нагрузки, дозы принимаемого препарата и других показателей.

Сравнение результатов - важный этап клинического испытания, поскольку именно на основании сравнения будет сделан итоговый вывод, эффективен ли препарат по сравнению с плацебо (или эффективнее он другого препарата, если сравнение проводилось не с плацебо, а с другим видом лечения) или же препарат не показал никакой эффективности. Гипотезу о том, что препарат эффективнее плацебо, невозможно доказать подтверждающим эту гипотезу экспериментом. Поэтому доказательство строится от обратного. Сначала формулируется нулевая гипотеза, которая обычно противоположна исследовательской гипотезе. То есть в случае рандомизированных клинических испытаний нулевая гипотеза предполагает равенство сравниваемых групп. Если в результате проведенного исследования можно отклонить нулевую гипотезу, то принимается альтернативная гипотеза. В нашем случае это гипотеза состоит в том, что группы между собой различаются, и это различие не случайно, а отражает истинное различие между совокупностями пациентов, получавших испытываемое лечение или контрольное (активное или плацебо). Нулевую гипотезу проверяют с помощью статистических критериев.

Статистические критерии не дают точного ответа о истинности или ошибочности нулевой гипотезы. По результатам применения статистического критерия можно говорить о некоторой вероятности, что тот или иной вывод верен. Сочетания истинности и ложности нулевой гипотезы и вероятности ее принятия или не принятия можно изобразить в виде четырехпольной таблицы.

Таблица 1. Варианты сочетаний результатов проверки нулевой гипотезы и истинным сравнением групп.

		Наличие различий в действительности
		Различия есть (нулевая гипотеза неверна)	Различий нет (нулевая гипотеза верна)
Результат применения статистического критерия	Различие выявлено (нулевая гипотеза отклоняется)	Истинно-положительный результат (1-в)	Ложно-положительный результат б (ошибка I рода)
	Различий не выявлено (нулевая гипотеза принимается)	Ложно-отрицательный результат в (ошибка II рода)	Истинно-отрицательный результат (1-б)

Ошибкой первого рода (ошибка типа I, б-ошибка) называют ситуацию, когда нулевая гипотеза отклоняется ошибочно, то есть в исследовании обнаруживаются различия, которых на самом деле нет. Ошибкой второго рода (ошибкой типа II, в-ошибкой) называют обратную ситуацию, когда нулевая гипотеза ошибочно принимается как верная, то есть утверждается отсутствие различий, хотя на самом деле они существуют.

Ошибка первого рода также выражается как уровень статистической значимости p. Уровень допустимых в исследовании б и в ошибок устанавливается исследователем произвольно, в зависимости от природы исследуемого вмешательства и целей исследования. Традиционно пороговый уровень статистической значимости в медицинских исследованиях устанавливается 0,05. Уровень 0,01 считается высоко значимым. Для в-ошибки традиционный уровень составляет 0,2.

Традиция сравнивать уровень значимости с 0,05 и 0,01 отчасти связана с докомпьютерными вычислениями, когда сравнить значение критерия с табличными значениями было проще, чем рассчитать его точное значение. Сейчас, когда все статистические вычисления производятся доступными компьютерными средствами, нет необходимости указывать уровень статистической значимости как неравенство относительно пороговых величин, а корректно указывать его точное значение.

Кроме того существует два подхода к оценке уровня статистической значимости. В соответствии с подходом Фишера уровень статистической значимости отражает вероятность правильности или не правильности нулевой гипотезы, и исследователю следует оценивать точное значение p и делать выводы о том, насколько достоверно доказательство того, что нулевую гипотезу следует отклонить. Например, если значение p лежит в пределах от 0,1 до 0,9, то сомнений в верности нулевой гипотезы не должно быть. А если p<0,02, - это сильный показатель, что нулевая гипотеза не верна. В противоположность подходу Фишера, Нейман и Пирсон утверждали, что нельзя субъективно оценивать уровень полученного p как аргумент «за» или «против» нулевой гипотезы. Учитывая возможность ошибок первого и второго рода, они утверждали, что тесты, основывающиеся на теории вероятности, не могут быть доказательством опровержения гипотезы, а должны направлять исследователя в принятии решений. То есть согласно подходу Неймана и Пирсона следует принимать или отвергать нулевую гипотезу в соответствии с выбранным уровнем значимости, а не пытаться оценить значение p по силе его доказательства в пользу нулевой гипотезы в конкретном исследовании [35].

Для корректного использования подхода Неймана-Пирсона следует достаточно точно формулировать альтернативную гипотезу: например, недостаточно просто предположить, что вмешательство эффективно, а следует также предположить и размер эффекта. Однако исследователи практически никогда не поступают так. Широкое распространение получила только та часть подхода Неймана-Пирсона, которая говорит о принятии или отвержении нулевой гипотезы по пороговому значению p=0,05 [35].

К ложноположительным результатам может приводить не только сама вероятность ошибки первого рода, но и то значение, которое вкладывается в понятие уровня статистической значимости. Многие исследователи понимают p как вероятность справедливости нулевой гипотезы. Но вероятность справедливости нулевой гипотезы зависит не только от уровня p, но и от самих проверяемых гипотез, какова среди них доля действительно ложных нулевых гипотез [18]. Можно проиллюстрировать это утверждение простым расчетом. Предположим, что из тестируемых нами нулевых гипотез только 10% действительно ложны. А чувствительность критерия (1-в) предположим равной 50%, что часто встречается из-за небольшого размера исследований. Предположим, что мы проверим 1000 таких гипотез с критическим значением p<0,05. 100 из них будут действительно истинными, то есть нулевая гипотеза будет неверна. Но из-за ошибки второго рода равной 50% мы отвергнем только 50 из этих нулевых гипотез. Но кроме того, из оставшихся 900 исследований, для которых нулевая гипотеза верна, мы отвергнем 45 из-за ошибки первого рода, равной 5%. То есть из 95 исследований, результат которых мы сочли значимым, 45 исследований (47,4%) являются ложноположительными [35].

То же самое можно выразить с помощью формулы Байеса.

P(A) - вероятность получить положительный результат исследования, то есть доказательство эффективности вмешательства;

P(H₊) - вероятность того, что проверяемая гипотеза истинна (то есть доля истинных гипотез среди проверяемых)

P(H_-) - аналогично доля ложных гипотез среди проверяемых

P(A|H₊) - чувствительность критерия, статистическая мощность, (1_в)

P(A|H_-) - вероятность ошибки первого рода, б

Формулу Байеса можно записать следующим образом:



Подставив числа из нашего гипотетического примера, мы получим тот же результат.

Можно рассчитать, какова будет вероятность, что обнаруженный положительный результат исследования окажется ложноположительным, для часто применяемых параметров б и в. Результаты приведены в таблице 2.

Таблица 2. Доля ложноположительных результатов из статистически значимых. Значения в таблице приводятся по исследованию [35].

Чувствительность, статистическая мощность (1-в)	Процент значимых результатов являющихся ложноположительными
	P=0,05	P=0,01	P=0,001
80% проверяемых гипотез верно (нулевые гипотезы ложны)
20	5,9	1,2	0,10
50	2,4	0,5	0,05
80	1,5	0,3	0,03
50% проверяемых гипотез верно (нулевые гипотезы ложны)
20	20,0	4,8	0,50
50	9,1	2,0	0,20
80	5,9	1,2	0,10
10% проверяемых гипотез верно (нулевые гипотезы ложны)
20	69,2	31,0	4,30
50	47,4	15,3	1,80
80	36,0	10,1	1,10
1% проверяемых гипотез верно (нулевые гипотезы ложны)
20	96,1	83,2	33,10
50	90,8	66,4	16,50
80	86,1	55,3	11,00

Из таблицы видно, что уровень ложноположительных результатов недооценивается исследователями и в большинстве случаев оказывается значительно выше 5%, которые предполагаются при постановке критического уровня p=0,05.

Оценка доли истинно положительных и ложноположительных результатов клинических испытаний, показавших статистически значимый результат, говорящий в пользу эффективности исследуемого лечения, имеет больше значение для принятия решений в здравоохранении. Поскольку положительные результаты клинических испытаний являются основным доказательством эффективности новых препаратов, необходимым для регистрации и допуска на рынок, важно адекватно оценивать силу этих доказательств. Регулирующие органы основываются на уровне p, показанном в исследовании эффективности и рассматривают его как вероятность ложноположительного результата. На самом деле такая вероятность значительно выше. Во многих случаях, особенно, когда доказательством эффективности являются небольшие исследования с малым количеством участников, вероятность ложноположительного результата может даже превышать вероятность истинно положительного результата. Организаторы здравоохранения, рассматривающие подобные доказательства, должны иметь механизм для оценки этих доказательств, и в случае их слабой доказательной силы требовать от производителя более мощных исследований, результат которых с меньшей вероятностью мог бы быть ложноположительным.

Допуск на рынок новых препаратов по ложноположительному результату клинических испытаний может привести к значительным добавочным бессмысленным тратам со стороны пациентов, а также возникновению побочных эффектов в результате применения неэффективного препарата. Кроме того, допуск препарата на рынок часто является ступенью к решению о предоставлении этого препарата пациентам за счет средств общественного здравоохранения. Если такое решение основано на ложноположительном результате, то ограниченные средства здравоохранения будут потрачены впустую. Особенно актуальна эта проблема для орфанных болезней, где испытания новых препаратов проходят на небольшом количестве участников, а стоимость препаратов бывает крайне высокой. Правильная оценка уровня доказательности представленных результатов клинических испытаний является залогом рационального расходования средств.

Целью экспериментальной части данной работы является оценка того, насколько высока вероятность, что полученные в серийных исследованиях положительные результаты могут быть ложноположительными. Для этого предлагается применить записанную выше формулу Байеса к сериям исследований, проведенных перед регистрацией новых лекарственных препаратов. В качестве уровня ошибки первого рода предлагается брать наибольшее значение p, принятого в исследовании в качестве доказательства ложности нулевой гипотезы. Если по каким-то причинам невозможно узнать точное значение полученных p, то рассчитывать, исходя из p=0,05. В качестве уровня ошибки второго рода брать значение 0,2, или, если в исследовании оценивался допустимый уровень в, использовать его. В качестве доли истинных гипотез, среди проверяемых, брать отношение исследований, показавших положительный результат, ко всем исследованиям, проверявшим эффективность данного препарата.

Глава 2. Насколько часто положительный результат оценки эффективности вмешательства оказывается ложным

...