Розрахунок обсягу вибірки як наріжний камінь планування наукового дослідження

Размещено на http://www.allbest.ru/

Розрахунок обсягу вибірки як наріжний камінь планування наукового дослідження

Валерій Олефір, Харківський національний університет імені В.Н. Каразіна; Валерій Боснюк, Національний університет цивільного захисту України

Оскільки результати наукових досліджень екстраполюються на генеральну сукупність, то під час планування роботи одним з головних питань є формування репрезентативної, оптимальної за обсягом вибірки. Мала вибірка провокує ненадійні результати та зменшує шанс виявлення очікуваної величини ефекту, водночас занадто велика вимагає залучення додаткових ресурсів та сприяє виявленню статистично значущих результатів, практична цінність яких досить низька. Тобто обґрунтування розміру вибірки є критичним аспектом дизайну дослідження. Необхідно залучити таку кількість осіб, щоб бути впевненим, якщо практично важливий ефект існує, то він із високим ступенем імовірності буде виявлений статистичним аналізом. Такий підхід у межах методології доказової психології дозволяє науковцям приймати статистичні рішення у дослідженнях більш раціонально та обґрунтовано.

Відповідь на питання про необхідний обсяг вибірки залежить від трьох основних факторів, які повинні враховуватися під час планування дослідження: 1) величини ймовірності помилки першого роду, на основі якої приймається рішення про прийняття/відхилення нульової гіпотези; 2) статистичної потужності дослідження як ступеня впевненості в одержанні значущого результату, якщо він справді існує; 3) величини очікуваного розміру ефекту.

У статті доказується, що загальноприйнятою практикою науковців має стати проведення апріорного аналізу статистичної потужності для визначення необхідного розміру вибірки в дослідженні. Для реалізації цієї необхідності пропонується скористатися безплатним програмним забезпеченням, таким як пакет G*Power або програмно-статистичне середовище із відкритим кодом R. Наводяться деякі приклади застосування їх у практичних ситуаціях.

Як підсумок формулюється висновок, що під час планування психологічного дослідження, незважаючи на методологічні, практичні та етичні причини, науковці регулярно нехтують таким важливим аспектом методології доказової психології, як розрахунок необхідного обсягу вибірки. У разі відсутності такого розрахунку результати дослідження слід інтерпретувати з обережністю.

Ключові слова: обсяг вибірки, статистична потужність, розмір ефекту, помилка першого роду, помилка другого роду, доказова психологія.

Calculation of the sample size as the cornerstone of planning scientific research

Valerii Olefir, V N. Karazin Kharkiv National University; Valerii Bosniuk, National University of Civil Defence of Ukraine

Due to the fact that the scientific research results are extrapolated to the general population one of the main issues when planning work is the formation of a representative optimal sample size. A small sample provokes unreliable results and reduces the chance of detecting the expected effect value but at the same time it is too large because a small sample requires additional resources and helps to identify statistically significant results the practical value of which is quite low. So, justifying the sample size is a critical aspect of the design research. It is necessary in research to attract such a large number of people to be sure that if a practically important effect exists, it is highly likely to be detected by statistical analysis. This approach within the framework of the methodology of evidence-based psychology allows scientists to make statistical decisions in research more rationally and reasonably.

The answer to the question about the required sample size depends on three main factors that should be taken into account when planning the study: 1) the probability error of the first kind on the basis of which the decision is made to accept/reject the null hypothesis; 2) the statistical power of the study as a degree of confidence in obtaining a significant result, if it really exists; 3) the quantity of the expected effect size.

The article proves that it is a common practice of scientists to conduct a priori analysis of statistical power to determine the required sample size in the study. To implement this need it is suggested to use free software data analysis, such as the G*Power package or the open source R statistical software environment. Some examples of their application in practical situations are given.

Eventually, the result of the analysis showed that during the planning of a psychological study, despite methodological, practical and ethical reasons, scientists regularly neglect such an important aspect of the methodology of evidence-based psychology as calculating the required sample size. In the absence of this calculation, the results of the study should be interpreted with caution.

Key words: sample size, statistical power, effect size, error of the first kind, error of the second kind, evidence-based psychology.

Постановка проблеми

Доказова цінність дослідження і його внесок у кумулятивний науковий прогрес залежить від обґрунтованого дизайну та чіткої статистичної звітності. Для отримання науково обґрунтованих висновків на підставі результатів проведеного дослідження необхідно враховувати невизначеність багатьох характеристик.

Одним із недооцінених факторів коректної інтерпретації результатів аналізу даних є забезпечення дослідження оптимальною за обсягом вибіркою, під якою розуміється необхідна й достатня кількість досліджуваних, за якої ймовірність прийняття правильного рішення є максимальною. Вибірки не повинні бути занадто великими або малими, оскільки вони можуть знизити рівень довіри до отриманих висновків та подальшого використання на практиці. Надмірно мала кількість досліджуваних зменшує шанс виявлення очікуваної величини ефекту та не дозволяє екстраполювати результати на широку генеральну сукупність, тоді як занадто велика вибірка сприятиме виявленню статистично значущих відмінностей, практична цінність яких досить низька. Тобто обґрунтування розміру вибірки є критичним аспектом дизайну дослідження. Проте на практиці у вітчизняних психологічних дослідженнях здебільшого його ігнорують, що також проявляється у відсутності звітності про попередній аналіз статистичної потужності та дискусії про величину можливого розміру ефекту.

Оцінка розміру вибірки на основі заданої потужності та спостережуваного ефекту - не формальна процедура, а наріжний камінь планування успішного дослідження. Вона необхідна для впевненості, що виявлений ефект не є результатом випадковості.

Аналіз останніх публікацій та досліджень

Натепер соціальні науки перебувають у кризі відтворюваності результатів. Вона розпочалася з медицини [7], але більше всього проявилась у психології. Криза остаточно стала очевидною, коли у 2015 році 220 учених перевірили 100 досліджень, опублікованих у провідних психологічних журналах, у 97 з яких автори заявляли про статистично значущі результати (р < 0,05). Під час відтворення досліджень подібних результатів удалося отримати лише в 36 роботах. У середньому після реплікацій розмір ефекту був удвічі меншим порівняно з оригінальними результатами [11]. Головний редактор авторитетного журналу “The Lancet” Річард Хортон констатував: «Принаймні половина наукової літератури не відповідає дійсності. У результаті досліджень із малими обсягами вибірки, мізерними розмірами ефектів, некоректним аналізом та нав'язливою ідеєю слідувати модним тенденціям сумнівної цінності наука здійснила поворот у сторону невігластва» [6, с. 1380].

В основі систематичних помилок публікацій у психологічній науці лежать прийняті неправильні рішення в оцінці помилок першого (хибнопозитивні результати) та другого (хибнонегативні результати) роду. Для їх мінімізації найбільш прийнятним інструментом є ретельне планування дослідження із суворим дотриманням затвердженого плану та грамотне використання методів статистичного аналізу.

З метою зменшення кількості помилок першого типу та подолання кризи відтворюваності результатів досліджень 72 науковці у спільній статті-маніфесті запропонували змінити у наукових роботах поріг рівня статистичної значущості з 0,05 до 0,005. Перехід до а = 0,005, залишаючи водночас 80% статистичної потужності, вимагатиме збільшення обсягу вибірки приблизно на 70%. На думку авторів, незважаючи на необхідність залучення більшої кількості досліджуваних, у майбутньому такий підхід дозволить зекономити значні ресурси через зменшення досліджень на хибних засадах, підвищення ефективності значно перевищить втрати [2].

В іншій статті-препринті, яку підписали 87 авторів, стверджується, що це нерозумно, і замість впровадження а = 0,005 ми повинні обґрунтувати експериментальний план та всі аналітичні рішення, у тому числі порогове значення «р», статистичну потужність і обсяг вибірки, які застосовуються для визначення реального розміру ефекту [9].

Деякі редактори наукових журналів у своїх збірниках праць взагалі заборонили публікації результатів використання процедури перевірки значущості нульової гіпотези. У редакційній статті “Basic and Applied Social Psychology” вказується, що значення «р» стало опорою для вчених, які працюють зі слабкими даними. Вони пишуть, що рівень p < 0,05 дуже легко обійти та іноді є виправданням для досліджень низької якості. На заміну редактори вимагали чітку описову статистику із зазначенням виявлених розмірів ефекту. Було звернено увагу, що психологи здебільшого формують недостатні за обсягом вибірки. Збільшення кількості досліджуваних дозволить зробити описову статистику більш стійкою до випадкових результатів [13].

Дискусія щодо порогових значень «р» та їхнього використання, наявність систематичних помилок у публікаціях та криза відтворюваності результатів - усе це актуалізує питання доказової цінності наукових досліджень.

Проблема полягає в готовності багатьма дослідниками формулювати впевнені узагальнюючі висновки з недбало описаних даних, отриманих у погано спланованих дослідженнях [10]. Кожен дослідник у своїй галузі зобов'язаний дотримуватися вимог до організації дослідження та аналізу даних. Для покращення сучасної дослідницької практики та уникнення помилок першого та другого роду важливо ретельно планувати своє дослідження з обґрунтовуванням обсягу вибірки досліджуваних.

Мета дослідження - систематизація проблеми визначення оптимально необхідного обсягу вибірки під час планування психологічних досліджень.

Виклад основного матеріалу

Для більшості психологічних досліджень визначення необхідного обсягу вибірки - досить проблематичне питання, адекватне обґрунтування якого відображене далеко не в кожному з них. Здебільшого дослідники орієнтуються на умовні рекомендації або на свої можливості зібрати первинні дані. Таке неправильне та халатне ставлення до вирішення цього питання може нівелювати результати будь-якого дослідження, піддати сумнівам коректність інтерпретації числових результатів статистичних методів. Насправді, кожен науковець на етапі планування дослідження повинен поставити собі питання такого типу: «Я зможу вивчити Х осіб. Чи є сенс проводити таке дослідження?» або «Наскільки велику вибірку мені необхідно сформувати, щоби виявити очікувану величину ефекту?» На ці сформульовані питання можна відповісти за допомогою аналізу статистичної потужності - набору методів для планування дослідження, які дозволяють оптимізувати використання наявних ресурсів.

Не всі розуміють, що питання розміру вибірки - справа не однієї формули, а досить складна тема, яка потребує аналізу популяції, на яку будуть поширюватися результати, детального усвідомлення дослідницьких гіпотез та завдань, розуміння дизайну дослідження, типів вимірювальних шкал, у яких представлені дані, направленість гіпотез, відношення між вибірками, чутливість статистичних критеріїв, визначення найменшої величини практично цінного розміру ефекту, передбачення вибування осіб у тривалих проспективних дослідженнях тощо.

Формування малої вибірки в дослідженні збільшує ймовірність прийняття помилкової гіпотези, результат часто буває недооціненим. А це означає, що люди були марно піддані опитуванню та/або експериментальному впливові. Крім того, фінансові та часові ресурси також були витрачені даремно, оскільки в кінцевому рахунку дослідження не покращило практику психологічної допомоги.

З іншого боку, не завжди коректна поширена думка, що великі вибірки ідеально підходять для досліджень та статистичного аналізу. Формування значної вибірки досліджуваних пов'язане з різними труднощами. Не етично залучати до експерименту більше осіб, ніж це необхідно, тому що вони піддаються впливові, результат якого зарання невідомий. Використання великої кількості досліджуваних також вимагає додаткових фінансових, організаційних та людських затрат, ніж це необхідно для вирішення поставлених завдань у дослідженні. Крім того, підвищується ймовірність виявлення статистично значущих результатів, які мають низьку практичну цінність.

Для вирішення цієї дилеми є компромісне і єдино правильне рішення - ретельне планування психологічного дослідження з розрахунком необхідного обсягу вибірки. Це є обов'язковою умовою якісного дослідження в межах методології доказової психології та гарантує, якщо практично важливий ефект існує, то він із високим ступенем ймовірності буде виявлений статистичним аналізом. Такий підхід дозволяє приймати рішення більш раціонально та обґрунтовано. Він також корисний для критичної оцінки нової інформації, отриманої під час читання наукової літератури.

Відповідь на питання про необхідний обсяг вибірки залежить від трьох основних факторів [3], які повинен враховувати науковець під час планування дослідження:

1) величини ймовірності помилки першого роду, на основі якої приймається рішення про прийняття/відхилення нульової гіпотези;

2) статистичної потужності дослідження як ступеня впевненості в одержанні значущого результату, якщо він справді існує;

3) величини очікуваного розміру ефекту.

Максимально прийнятна ймовірність помилки першого роду позначається а, чим нижчий її рівень, тим більший обсяг вибірки необхідно залучити в дослідженні. Цей рівень визначає сам експериментатор до початку збору даних як статистичну межу готовності помилитися під час прийняття рішення. Це ймовірність хибно-позитивного результату, тобто відхилення нульової гіпотези, коли в генеральній сукупності вона істинна. Якщо p-значення менше а-рівня, то нульова гіпотеза вважається відхиленою як малоймовірна для отриманих результатів. У психології найчастіше ймовірність помилки першого роду встановлюється на рівні 0,05, хоча це лише данина традиції, кожен фахівець може вибрати свій рівень значущості залежно від предмета дослідження. Заповітне значення 0,05 свідчить, що отриманий результат може виявитися випадковим у 1 випадку з 20. А це не так і мало, тобто вплив ймовірності на результат дослідження часто буває недооцінений, особливо в дослідженнях із залученням багатьох діагностичних параметрів.

Необхідно зазначити, що низька величина помилки першого роду не завжди корисна, позаяк збільшується ймовірність помилки другого роду (в) ^_ ймовірність хибно-негативного результату, тобто прийняття рішення не відхиляти нульову гіпотезу, хоча в дійсності вона помилкова. У дослідженнях розмір цієї помилки не зазначається відкрито, але про неї слід обов'язково пам'ятати, формулюючи висновок, особливо працюючи з вибірками малого розміру. На практиці рекомендується, щоби цей параметр не перевищував значення в 0,2.

Помилка другого роду зворотно пов'язана зі статистичною потужністю дослідження, розраховується як 1-fi. Статистична потужність - здатність виявити статистично значущий ефект, якщо він справді існує. Іншими словами, ймовірність відхилення нульової гіпотези, коли вона помилкова. Зазвичай дослідниками вона визначається в діапазоні 80-90% (0,8-0,9). Проте якщо вивчаються рідкісні явища та дуже складно сформувати необхідний обсяг вибірки, то потужність можна знизити до 70%, щоби мати можливість все-таки провести дослідження. Чим вища статистична потужність, тим більшу кількість осіб необхідно набрати в кожну групу, причому це збільшення не пропорційне, а експоненційне, тобто кожне наступне зростання потужності в 1% вимагає все більшу кількість досліджуваних.

Перед початком дослідження критично важливо знати статистичну потужність. Є сенс розпочинати наукову роботу тільки у ситуації з високою ймовірністю виявлення значущого ефекту. Безвідповідально витрачати ресурси за інших умов, тому що ми ризикуємо проводити зарання приречені на невдачу дослідження. Наприклад, якщо у разі потужності у 40% не виявлено статистично значущих відмінностей, то це не означає, що ми підтвердили нульову гіпотезу, насправді ми отримали невизначений результат. Такий результат може бути пояснений як недостатньою кількістю досліджуваних, так і справді відсутньою різницею. У наведеному прикладі ймовірність не помітити ефект становить 60%. Ми не виявили ефект, але не можемо стверджувати, що його немає. Отже, перш ніж формулювати висновок про відсутність відмінностей, дослідник повинен з'ясувати чи достатньою була потужність для її виявлення.

Необхідно дуже уважно оцінити баланс між помилками першого та другого роду, приймаючи рішення про рівень довіри до отриманих результатів та їхнє подальше використання на практиці (табл. 1). Зазвичай для більшості досліджень оптимальним поєднанням вважається 5% a-рівень та 80% статистичної потужності. Проте, як уже зазначалося вище, баланс між ризиком прийняття неправильного рішення і дійсністю проведення дослідження визначається фахівцем індивідуально в кожному випадку, тільки йому відомо, наскільки важливі ті чи інші висновки та які можливості формування вибірки необхідного обсягу.

Таблиця 1. Статистичні рішення для оцінки гіпотез