Критика методологии проверки нулевой гипотезы: ограничения и возможные пути выхода. Часть II

Размещено на http://www.allbest.ru

Критика методологии проверки нулевой гипотезы: ограничения и возможные пути выхода. Часть II

Корнеев А.А., Рассказова Е.И.,

Кричевец А.Н., Койфман А.Я.

Московский государственный

университет имени М.В. Ломоносова,

Москва, Россия

Статья продолжает тему предыдущей публикации авторов в февральском номере Психологических исследований за текущий год (Vol. 9, No 45), в которой была проведена критика общераспространенной в настоящее время процедуры статистического оценивания нулевой гипотезы (Null Hypothesis Statistical Testing). Во второй части статьи мы аргументируем необходимость решения проблемы на уровне социальной организации науки и описываем некоторые позитивные тенденции этого уровня в современном научном сообществе. Это (1) возможность и желательность публикации всех результатов, независимо от того, оказались ли они статистически значимы или нет; (2) возможность и желательность предварительной регистрации планируемого исследования; (3) представление результатов в удобной для метаанализа форме; (4) акцент на выводы, подтвержденные метаанализом, а не единичными экспериментами.

Ключевые слова: проверка нулевой гипотезы, статистическое оценивание, метаанализ статистический тестирование нулевой метаанализ

В первой части статьи мы обозначили некоторые сложности, возникающие при использовании доминирующего в настоящее время метода статистического вывода на основании тестирования нулевой гипотезы (null-hypothesis significance testing, NHTS). Также в ней были кратко рассмотрены наиболее популярные альтернативы или дополнения, призванные решить эти проблемы. Теперь мы переходим к обсуждению еще одного важного способа преодоления описанных сложностей - метаанализа, который позволяет обобщить результаты многочисленных исследований.

Метаанализ

В качестве одного из способов преодоления недостатков статистического вывода на основании проверки нулевой гипотезы многие авторы называют метод метаанализа [Schmidt, 1992; Arnqvist, Wooster, 1995; Rosenthal, DiMatteo, 2001; Nakagawa, Hauber, 2011; Cumming, 2014; и др.].

В рамках этого подхода делается попытка перехода от дихотомического мышления в духе NHST к интегративному, в котором единичное исследование рассматривается не как описание истинных результатов, а как один из элементов в цепи выдвижения гипотез, их сопоставления с эмпирическими результатами и критического обсуждения. Метааналитическое исследование можно рассматривать как более систематическую альтернативу обычным[1] тематическим обзорам. Идея метаанализа состоит в том, чтобы по возможности рассматривать множество тематически близких исследований как варианты одного исследования и проводить статистический анализ результатов всей совокупности.

Первым метааналитическим исследованием принято считать работу [Smith, Glass, 1977], в которой был проведен анализ 375 исследований, оценивающих эффективность психотерапии. Авторы в рамках своей работы проанализировали накопленные данные и пришли к выводу об эффективности психотерапии в целом. Сравнение величин эффекта в статьях, посвященных различным типам психотерапии, показало, что они не сильно различаются. Эта статья служит историческим ориентиром для целого потока обсуждений, она цитируется более чем в 2000 статей. Мы адресуем читателя к статье на русском языке, посвященной метаанализу [Корнилов, Корнилова, 2010][2], в которой рассматриваются основные связанные с метаанализом вопросы, и переходим к вопросу, который в ней практически не затронут, - это вопрос о законности и, тем более, точности таких работ.

Предельно благоприятный для метаанализа случай - это проделанные по одному плану исследования, индивидуальные данные которых доступны одному исследователю, метааналитику. Понятно, что в этом случае достаточно просто соединить выборки и провести обработку.

Однако современные обычаи ведения научной деятельности в психологии делают доступными не «сырые» данные всех исследований, а результаты обработки, притом не всех, а тех, которые, по мнению рецензентов, заслуживают публикации. Ясно, что такая селекция может существенно исказить результаты метаанализа. В предельно неблагоприятном случае опубликованными могут оказаться работы, в которых статистическая проверка дала ошибку первого рода. Например, из 100 исследований, в которых тестировалась практически истинная нулевая гипотеза, метаанализу окажутся тогда доступны пять статей (0,05 от числа исследований), которые и были опубликованы как подтверждающие некоторую альтернативу.

Мы обращаем внимание читателя, что в этом случае нет никакой разницы, будут ли результаты представлены в терминах NHST или в терминах доверительных интервалов. Их ложность не будет видна ни в каком представлении.

В большинстве, если не во всех реальных случаях, мы имеем дело с каким-то промежуточным положением доступных материалов, когда реально имеющий место эффект подвергается искажению в силу указанного отбора[3] (хотя мы не исключаем возможности того, что некоторые модные темы исследований при анализе окажутся в полной мере жертвами ошибок первого рода).

Метааналитическое сообщество выработало некоторые в разной степени интересные способы работы с описанным эффектом публикационного сдвига или публикационной ошибки (publication bias).

Эти методы направлены на то, чтобы скорректировать последствия публикационного сдвига исходя из наличных данных. Так, в работе [Rosenthal, 1991] предлагается следующий вариант. Исходя из имеющихся данных о результатах отобранных для анализа работ рассчитывается теоретическое количество работ с нулевым результатом, необходимое для того, чтобы сделать общий итоговый результат незначимым. В случае, если такое количество работ невелико, то есть когда добавление небольшого количества незначимых эффектов сделает общий результат незначимым, автор говорит о неустойчивом результате (original estimate of p is clearly not robust). Если же требуется очень много исследований с незначимым результатом, то результату можно, в общем, доверять[4].

Другое очень интересное средство коррекции связано с так называемым воронкообразным распределением (funnel distribution) [Nakagawa, Hauber, 2011]. При заданной величине эффекта исследования на малых выборках имеют меньше шансов получить значимый результат, чем исследования на больших выборках, - для этого требуется, чтобы была получена более высокая оценка величины эффекта. Надо отметить, что дисперсия оценки величины эффекта для малых выборок становится тем больше, чем меньше выборка. Если результаты массива исследований с выборками разного размера изобразить на диаграмме, то получится картина, похожая на приведенную на диаграмме 1а, взятой из их статьи, где каждая точка задана объемом выборки и оценкой величины эффекта, полученной с ее помощью. Если же рассмотреть только значимые (в смысле NHST) результаты, то получится картина, изображенная на диаграмме 1b. Метаисследователю доступна вторая, но по ней можно попробовать восстановить первую - с помощью чисто математических средств, различные варианты предлагаются в работе [Thornton, Lee, 2000]. На рис. 1 видно, что полная воронкообразная диаграмма дает вдвое меньшую оценку величины эффекта, чем диаграмма с опубликованными работами.

Рис. 1. Примеры воронкообразного рассеяния.

Примечания. Гиперболоподобные линии показывают границу значимости результата при данном объеме выборки, прямая линия вне оси задает оценку величины эффекта, полученную по изображенной на диаграмме выборке, - 0,1 по полной выборке (a) и 0,2 по «сдвинутой» (b) (цит. по [Nakagawa, Hauber, 2011]).

Авторы представленной диаграммы пишут в комментарии к ней, что обычно исследования с незначимыми результатами и маленькими выборками имеют меньше шансов быть опубликованными. Не вполне ясно, как следует интерпретировать союз «и» в их предложении, однако надо заметить, что в русскоязычном пространстве шансов опубликовать незначимый результат практически нет. По-видимому, это означает, что в методах восстановления полной «воронки» по ее фрагменту, содержащему опубликованные работы, надо еще принимать во внимание национальные или отраслевые обычаи принятия к публикации незначимых результатов.

Все это говорит о том, что решение проблемы публикационного сдвига и, шире, проблемы NHST находится, скорее, в социально-организационной плоскости, чем в теоретической. К подвижкам в этом направлении мы и переходим.

Шаги по реорганизации исследовательской деятельности

Как мы уже писали, существо дела в значительной степени определено социальной организацией науки. В настоящее время процедуры, базирующиеся на методологии науки первой половины прошлого века, вступают в противоречие с существенно иным, массовым, характером научной деятельности. Обе исходных формы статистического оценивания - Фишера и Неймана-Пирсона - ориентировались на представление об эксперименте как о решающем инструменте индуктивного вывода, причем подразумевался единичный эксперимент, что особенно рельефно выразилось, например, в методологии К.Поппера[5]. В наше время в интересующей нас области о решающем эксперименте речь даже не заходит. Это значит, что вблизи сакральной границы p = 0,05 нет никакой нужды принимать одну и отвергать другую гипотезу - автор должен скромно информировать сообщество о полученном результате, в надежде на то, что этот результат, возможно, заинтересует сообщество, а массовое повторение процедуры доведет ситуацию до возможности практически уверенного решения в пользу той или иной гипотезы.

Заметим дополнительно, что массовое повторение увеличивает не только статистическую надежность вывода, но и доверие к тому, что исследования, в основном, выполнены добросовестно[6]. Из сказанного вытекает необходимость дополнения массового характера исследований массовыми же процедурами публикации результатов.

В настоящее время уже существуют системы, в которых возможна публикация работ с негативными (незначимыми) результатами с последующим их обсуждением. К таким системам относится научная сеть ResearchGate (http://www.researchgate.net/), журнал Plos One (http://www.plosone.org/), система FigShare (http://figshare.com/) и др. Также можно отметить журнал F1000Research (http://f1000research.com/) с системой «post-publication peer-review», в рамках которой можно выложить любую статью (с минимальной фильтрацией на входе), после чего она оценивается сообществом и рецензентами и в случае положительных оценок приобретает статус официальной публикации. Благодаря этому, с одной стороны, у исследователей появляется возможность публиковать «негативные» результаты, а с другой - использовать их для метаанализа. Кроме того, появляются специальные журналы, предназначенные для публикации негативных результатов. В основном они относятся к области медицины и биологии, например: Journal of Pharmaceutical Negative Results (http://www.pnrjournal.com/), Journal of Negative Results in Biomedicine (http://www.jnrbm.com/about), New Negatives in Plant Science (http://www.journals.elsevier.com/new-negatives-in-plant-science/), в области психологии таких журналов, по всей видимости, нет.

В научном сообществе активно обсуждаются варианты предварительной регистрации планируемых исследований в общедоступных системах. Эти обсуждения в большей части носят неформальный характер и происходят в блогах, посвященных научным проблемам (http://andrewgelman.com/2014/01/23/discussion-preregistration-research-studies/, http://www.cogsci.nl/blog/miscellaneous/215-the-pros-and-cons-of-pre-registration-in-fundamental-research, http://blog.oup.com/2014/09/pro-con-research-preregistration/). Параллельно с этими обсуждениями отдельные научные журналы внедряют такую практику. Например, журнал Cortex предложил новый формат публикаций, названный «Registered Report» (см. обсуждение http://neurochambers.blogspot.co.uk/2012/10/changing-culture-of-scientific.html). С аналогичной инициативой выступило Американское психологическое общество (современное название - Association for Psychological Science, см. http://www.psychologicalscience.org/index.php/replication). Такой подход кажется достаточно разумным. Он, с одной стороны, может повысить общую культуру исследований, так как такая предварительная регистрация требует достаточно четкой формулировки целей, задач, гипотез исследований, развивает, если так можно выразиться, конфирматорный подход, вместо во многом преобладающего эксплораторного. Одновременно у исследователей, заинтересованных в той или иной области науки, появляется возможность получить более полную картину того, что происходит, какие исследования ведутся, какие гипотезы какими методами и насколько успешно проверяются и т.д. Возможно, разумно будет выделять вид метаанализа, опирающегося только на предварительно зарегистрированные работы.

Вернемся к вопросу о форме представления результатов единичного исследования, но теперь уже в связи с возможным включением их в метаанализ. Для однотипных исследований в простых случаях сравнений средних три показателя (среднее, стандартное отклонение, объем выборки) достаточны для вычисления всего, что нужно для метаанализа, но добавить величину эффекта, стандартную ошибку и доверительный интервал будет полезным в интересах массовой науки. Еще проще ситуация интеграции рассчитанных в однотипной ситуации корреляций - достаточно корреляции и объема выборки. Но ситуация резко усложнится, если принять во внимание, что метаанализ может быть не только конфирматорным, то есть ставящим цель найти статистические оценки для данного феномена в данных условиях, используя ряд исследований. Метаанализ может ставить (и часто ставит) и эксплораторные задачи, и это его употребление является вполне законным. Тогда, например, введение фактора, идентифицирующего исследование, может превратить метаанализ в использующий на один фактор больше дисперсионный анализ[7]. В качестве конфирматорного метаанализа он будет выступать для общего для исследований фактора, в качестве эксплораторного (и дополнительно, контролирующего корректность первого) - для фактора, идентифицирующего или характеризующего исследования. В случае сравнения средних ничего сверх перечисленного от исходных отчетов не потребуется, а в случае корреляций потребуется включить в отчет еще и средние значения и дисперсии по каждой переменной - тогда возможна будет эксплораторно-контролирующая функция метаанализа.

Некоторые из участников дискуссии справедливо отмечают, что отказ от NHST бросает тень на исследования с очень сложным экспериментальным планом, поскольку их полное повторение маловероятно, а в качестве единичных они подвержены критике с позиций метааналитического мышления. Проблема появляется уже на уровне многофакторного дисперсионного анализа. По нашему мнению, отчеты об исследованиях в этом случае должны содержать все групповые средние и внутригрупповые дисперсии. Это позволит сопоставлять общие части таких исследований. Понятно, что при этом как-то должны решаться вопросы права. Еще лучше для возможности метаанализа было бы во всех случаях предоставлять сырые данные, но такое представление может нарушать права испытуемых.

Выводы

Как показывает данный обзор, основная критика NHST объясняется не столько недостатками статистических процедур, сколько тем, как эта методология используется исследователями. Суть совершенно адекватных претензий, которые предъявляются NHST, состоит в понимании отвержения нулевой гипотезы как свидетельства ее ложности, а неотвержения - как свидетельства ее истинности, причем ложности и истинности в окончательном виде, что косвенно подтверждается критериями приемлемости результата для публикации в журнале. Статьи, в которых результаты связаны с отвержением нуль-гипотезы, встречаются в четыре раза чаще, чем те, в которых нуль-гипотеза не отвергнута, причем эта тенденция усиливается на протяжении последних двух десятков лет [Fanelli, 2012]. Мы уверены, что отдельно в российских журналах это соотношение еще больше. Таким образом, в сознании исследователей постоянно подкрепляется связь между статистической значимостью результата и его публикуемостью, а последняя коннотативно подменяется истинностью. В результате, с одной стороны, опубликованный результат становится устойчивым к критике, поскольку его статистическое опровержение не выглядит публикуемым и потому не вызывает большого энтузиазма у исследователей. С другой стороны, каждое новое вступающее в дело поколение получает все более «плоскую» перспективу понимания статистики со все большим акцентом на операциональную сторону проверки гипотез с помощью статистических пакетов. Простые для понимания учебники (среди них есть даже учебники-комиксы (см., например, [Takahashi et al., 2008]) усугубляют проблему.

Ключевой проблемой, возникающей при этом, с нашей точки зрения, является «дихотомическое мышление» [Hoekstra et al., 2006]: NHST провоцирует исследователя оценивать гипотезы как истинные и ложные - стремление, на которое работает комплекс связанных и взаимно усиливающихся социальных факторов, действие которых умножается на нежелание новых рекрутов науки проделывать сколько-нибудь глубокую теоретическую работу. Переоценка важности перехода значимости через границу 0,05, в настоящий момент подкрепляемая системой оценивания работ с позиций NHST и системой массового преподавания, упрощающей проблему индукции до фиксации положения рассчитанной статистики по ту или иную сторону критической границы, безусловно, заслуживает самого радикального преодоления. Отметим, что в феврале текущего года к дискуссии подключилась Американская статистическая ассоциация. В изданном бюллетене [Wasserstein, Lazar, 2016] она решительно высказывается против современной практики оценивания результатов и их публикации (в полном согласии с высказанной здесь точкой зрения буквально по всем поднятым вопросам).

Интегративное, или метааналитическое, мышление, которое должно вытеснить дихотомическое, никогда не выводит из поля зрения исследователя вероятностный аспект получаемых результатов, а метаанализ (не только в прямом смысле статистических процедур, но и в широком смысле рассмотрения результатов по той или иной проблеме в контексте всех проведенных исследований) должен рассматриваться как последний и важнейший уровень анализа.

Приведенные нами аргументы ставят вопрос о необходимости реформы (в первую очередь, социальной и организационной) в психологии. Сюда относятся максимальное распространение предварительной регистрации планов исследований и публикации отчетов о проведенных исследованиях независимо от значимости их результатов. В качестве первых шагов можно рекомендовать требование обязательно вводить в отчеты величину эффекта, доверительные интервалы, рекомендовать использовать байесовскую статистику и т.п. Не следует переоценивать возможную эффективность таких первых шагов - альтернативы также не свободны от возможностей ошибочной интерпретации. Они лишь могут выполнять важную функцию привлечения внимания исследователей к вероятностной природе их выводов, намекая на сомнительность дихотомичных выводов об истинности и ложности проверяемых гипотез.

Такая реформа существенно затронет глубокую проблему: что считать заслуживающим внимание результатом? Что достойно публикации в серьезных и важных журналах в качестве достижений, а что должно быть опубликовано как техническое условие корректной дальнейшей работы? Мы полагаем, что эту проблему сообщество должно решать параллельно предлагаемым реформам.

Литература

1. Корнилов С.А., Корнилова Т.В. Метааналитические исследования в психологии. Психологический журнал, 2010, 31(5), 5-17.

2. Arnqvist G., Wooster D. Meta-analysis: synthesizing research findings in ecology and evolution. Trends in Ecology and Evolution, 1995, 10(6), 236-240.

3. Borenstein M., Hedges L.V., Higgins J.P.T., Rothstein H.R. Introduction to meta-analysis. Chichester, UK: Wiley, 2009.

4. Carver R. The case against statistical significance testing. Harvard Educational Review, 1978, 48(3), 378-399.

5. Cohen J. The earth is round (p < .05): Rejoinder. American Psychologist, 1994, 50(12), 997-1003.

6. Cumming G. The new statistics why and how. Psychological science, 2013, No. 25, 7-29.

7. Dutta S., Pullig C. A commentary on reporting effect size and confidence intervals: Response to Palmer and Strelan (2014). Journal of Business Research, 2015, 68(5), 1082-1085.

8. Fanelli D. Negative results are disappearing from most disciplines and countries. Scientometrics, 2011, 90(3), 891-904.

9. Mшller A.P., Jennions M.D. Testing and adjusting for publication bias. Trends in Ecology and Evolution, 2001, 16(10), 580-586.

10. Nakagawa S., Hauber M.E. Great challenges with few subjects: statistical strategies for neuroscientists. Neuroscience and Biobehavioral Reviews, 2011, 35(3), 462-473.

11. Open Science Collaboration et al. Estimating the reproducibility of psychological science. Science, 2015, 349(6251), aac4716.

12. Rosenthal R., DiMatteo M. Meta-analysis. In: J. Wixted (Ed.), Steven's Handbook of Experimental Psychology, Methodology. New York, NY: Wiley, 2002. Vol. 4, pp. 391-428.

13. Rothstein H., Sutton A., Borenstein M. Publication Bias in Meta-Analysis. Chichester, England: John Wiley and Sons Ltd, 2002. pp. 1-7.

14. Smith M.L. Publication bias and meta-analysis. Evaluation in Education, 1980, Vol. 4, 22-24.

15. Smith M.L., Glass G.V. Meta-analysis of psychotherapy outcome studies. American Psychologist, 1977, 32(9), 752.

16. Takahashi S. et al. The manga guide to statistics. San Francisco: No Starch Press, 2008.

17. Thornton A., Lee P. Publication bias in meta-analysis: its causes and consequences. Journal of clinical epidemiology, 2000, 53(2), 207-216.

18. Wasserstein R.L., Lazar N.A. The ASA's statement on p-values: context, process, and purpose. The American Statistician, 2016. (in press) DOI:10.1080/00031305.2016.1154108

19. Webb T.L., Sheeran P. Does changing behavioral intentions engender behavior change? A meta-analysis of the experimental evidence. Psychological Bulletin, 2006, 132(2), 249-268.

Примечания

[1] Теперь обычные тематические обзоры называются нарративными, в противоположность метааналитическим.

[2] Эта важная статья (как и статьи Сивухи и Козяк) прошла практически не замеченной, что свидетельствует, вероятно, о чрезмерной приверженности русскоязычного сообщества традиции NHST, поскольку в англоязычном сегменте число ссылок на аналогичные работы исчисляется сотнями.

[3] Этот отбор в равной степени искажает картину ситуации и в случае нарративных обзоров. Метааналитические обзоры могут иногда быть более опасными, поскольку представляют ложные выводы как бы объективно подтвержденными.

[4] В целом эта проблема достаточно хорошо осознается исследователями, первые замечания на эту тему делали родоначальники метааналитического подхода (см., например, [Smith, 1980]). Компактный обзор существующих поправок с обсуждением их недостатков и преимуществ можно найти в работе [Thoronton, Lee, 2000]. В работах, посвященных этой проблематике, рассматриваются различные виды «ошибок» - «редакторская ошибка», «ошибка рецензента» [Mшller, Jennions, 2001], «ошибка языка», «ошибка доступности», «ошибка цены» и другие. В 2006 году была выпущена книга, целиком посвященная данной проблематике, - «Publication bias in meta-analysis: Prevention, assessment and adjustments» [Rothstein et al., 2006].

[5] Однако уже очень скоро И.Лакатос и П.Фейрабенд показали, что в реальной науке процедуры принятия решений организованы гораздо сложнее.

[6] На самом деле, увы, есть основания сомневаться в добросовестности этой массовой деятельности. В наделавшей немало шума публикации коллектива авторов в двести с лишним участников, повторивших 100 экспериментов из опубликованных в трех ведущих мировых журналах по психологии в последние годы [Open Science Collaboration, 2015], представлена диаграмма рассеяния, наводящая на такие сомнения, хотя авторы не акцентируют на этом внимание (см. рис. 2).

Рис. 2. Диаграмма рассеяния из статьи [Open Science Collaboration, 2015].

Каждая точка на диаграмме представляет один эксперимент. По оси абсцисс откладывается значимость, полученная в исходной публикации, по оси ординат - значимость результата при репликации эксперимента. Отсутствие какой бы то ни было заметной на глаз корреляции означает, что значимость исходного результата и значимость реплицированного никак не связаны.

Полное отсутствие корреляции между значимостями при полной же добросовестности авторов исследований возможно только в случае, если величина эффекта всюду равна нулю, а значимость результатов - не более чем следствие публикационного сдвига. На диаграмме отражена еще дополнительная информация о величине статистической мощности повторения эксперимента, что позволяет сделать дополнительные оценки. Мы предполагаем проделать эту работу и опубликовать результаты в ближайшее время.

[7] Например, метаанализ 47 исследований влияния намерения изменить свое поведение, связанное со здоровьем, на последующие изменения в поведении [Webb, Sheeran, 2006] показал, что эффект зависел от волевого контроля (чем более были уверены респонденты в своих силах изменить поведение, тем сильнее был эффект), от привычки (чем слабее была привычка, тем сильнее эффект), а также от особенностей проведения исследования: в частности, эффект был сильнее при меньшем временном интервале между оценкой намерения и оценкой поведения.

Размещено на Allbest.ru