Система моделей и методов проверки однородности двух независимых выборок

Размещено на http://www.allbest.ru/

1

Научный журнал КубГАУ, №157(03), 2020 год

Московский государственный технический университет им. Н.Э. Баумана,

СИСТЕМА МОДЕЛЕЙ И МЕТОДОВ ПРОВЕРКИ ОДНОРОДНОСТИ ДВУХ НЕЗАВИСИМЫХ ВЫБОРОК

Орлов Александр Иванович

д.э.н., д.т.н., к.ф.-м.н., профессор

Аннотация

Новая парадигма математических методов исследования позволяет дать системный анализ различных постановок задач анализа статистических данных и методов их решения, основанных на принятой исследователем той или иной вероятностно-статистической модели порождения данных. Методы проверки однородности двух независимых выборок - классическая область математической статистики. За более чем 111 лет с момента публикации основополагающей статьи Стьюдента разработаны критерии проверки статистической гипотезы однородности в различных постановках, изучены их свойства. Однако актуальна потребность в упорядочении совокупности найденных научных результатов. Необходим анализ всего многообразия постановок задач проверки статистических гипотез однородности двух независимых выборок, а также соответствующих статистических критериев. Такому анализу посвящена настоящая статья. Дана сводка основных результатов, касающихся методов проверки однородности двух независимых выборок, и проведено их сравнительное изучение, позволяющие системно анализировать многообразие таких методов с целью выбора наиболее адекватного для обработки конкретных данных. На основе базовой вероятностно-статистической модели сформулированы основные постановки задачи проверки однородности двух независимых выборок. Дан сравнительный анализ критериев Стьюдента и Крамера - Уэлча, предназначенных для проверки однородности математических ожиданий, обоснована рекомендация по широкому применению критерия Крамера - Уэлча. Из непараметрические методов проверки однородности рассмотрены критерии Вилкоксона, Смирнова, Лемана - Розенблатта. Разобраны два мифа о критерии Вилкоксона. На основе анализа публикаций основоположников показана некорректность термина "критерий Колмогорова - Смирнова". Для проверки абсолютной однородности, т.е. совпадения функций распределения выборок, рекомендовано использовать критерий Лемана - Розенблатта. Обсуждаются актуальные проблемы разработки и применения непараметрических критериев, в том числе различие номинальных и реальных уровней значимости, затрудняющее сравнение критериев по мощности, и необходимость учета совпадений выборочных значений (с точки зрения классической теории математической статистики вероятность совпадений равна 0)

Ключевые слова: ПРИКЛАДНАЯ СТАТИСТИКА, ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ, НЕЗАВИСИМЫЕ ВЫБОРКИ, ОДНОРОДНОСТЬ ХАРАКТЕРИСТИК, АБСОЛЮТНАЯ ОДНОРОДНОСТЬ, КРИТЕРИЙ КРАМЕРА - УЭЛЧА, КРИТЕРИЙ СМИРНОВА, КРИТЕРИЙ ТИПА ОМЕГА-КВАДРАТ, КРИТЕРИЙ ВИЛКОКСОНА

Annotation

однородность статистический вероятностный модель

The new paradigm of mathematical research methods allows us to give a systematic analysis of various statements of statistical analysis problems and methods for solving them, based on a probabilistic-statistical model of generating data accepted by the researcher. Methods for testing the homogeneity of two independent samples - a classic area of mathematical statistics. For more than 110 years since the publication of the fundamental Student's article, various criteria have been developed for testing the statistical hypothesis of homogeneity in various statements, and their properties have been studied. However, the need for streamlining the totality of the scientific results found is urgent. It is necessary to analyze the whole variety of problem statements for testing the statistical hypotheses of the homogeneity of two independent samples, as well as the corresponding statistical criteria. This analysis is devoted to this article. It contains a summary of the main results concerning the methods for testing the homogeneity of two independent samples, and a comparative study of them, allowing the system to analyze the diversity of such methods in order to select the most appropriate for processing specific data. Based on the basic probabilistic-statistical model, the main statements of the problem of testing the homogeneity of two independent samples are formulated. A comparative analysis of the Student and Cramer - Welch criteria, designed to test the homogeneity of mathematical expectations, is given, a recommendation on the widespread use of the Cramer - Welch criterion is substantiated. From nonparametric methods for testing homogeneity, the criteria of Wilcoxon, Smirnov, Lehmann - Rosenblatt are considered. Dismantled two myths about the Wilcoxon criteria. Based on the analysis of the publications of the founders, the incorrectness of the term "Kolmogorov - Smirnov criterion" is shown. To verify absolute homogeneity, i.e. coincidence of the distribution functions of samples, it is recommended to use the Lehmann - Rosenblatt criterion. The current problems of the development and application of nonparametric criteria are discussed, including the difference between nominal and real significance levels, making it difficult to compare power of criteria, and the need to take into account coincidences of sample values (from the point of view of the classical theory of mathematical statistics, the probability of coincidences is 0)

Keywords: APPLIED STATISTICS, TESTING OF STATISTICAL HYPOTHESES, INDEPENDENT SAMPLES, HOMOGENEITY OF CHARACTERISTICS, ABSOLUTE HOMOGENEITY, CRAMER - WELCH TEST, SMIRNOV TEST, OMEGA SQUARE TYPE TEST, WILCOXON TEST

1. Введение

Проверка однородности двух независимых выборок - классическая область математической статистики. Основополагающей является статья Стьюдента 1908 г. [1]. За более чем 111 лет получены многочисленные результаты различными авторами, в том числе нами. Однако чувствуется потребность в упорядочении совокупности найденных научных результатов. Необходим анализ всего многообразия постановок задач проверки статистических гипотез однородности двух независимых выборок, а также соответствующих критериев. Такому анализу посвящена настоящая статья.

2. Базовая вероятностно-статистическая модель

В математико-статистических терминах постановка задачи такова: имеются две выборки x₁, x₂,...,x_m и y₁, y₂,...,y_n, требуется проверить их однородность. Выборка моделируется как совокупность независимых одинаково распределенных числовых случайных величин. Термин "однородность" уточняется ниже.

Противоположным к "однородности" понятием является "различие" (или "наличие эффекта"). Можно переформулировать задачу: требуется проверить, есть ли различие между выборками. Если различия нет, то для дальнейшего изучения с целью практического применения выводов две рассматриваемые выборки часто объединяют в одну.

Например, в маркетинге важно выделить сегменты потребительского рынка. Если установлена однородность двух выборок мнений потребителей, то возможно объединение сегментов, из которых эти выборки взяты, в один. В дальнейшем это позволит осуществлять по отношению к ним одинаковую маркетинговую политику (проводить одни и те же рекламные мероприятия и т.п.). Если же установлено различие, то поведение потребителей в двух сегментах различно, объединять эти сегменты нельзя, и могут понадобиться различные маркетинговые стратегии, своя для каждого из этих сегментов.

Для обоснованного выбора и применения организационно-экономических (эконометрических, статистических) методов необходимо прежде всего построить и обосновать вероятностную модель порождения данных. При проверке однородности двух выборок общепринята модель, в которой x₁, x₂,..., x_m рассматриваются как результаты m независимых наблюдений некоторой случайной величины Х с функцией распределения F(x), неизвестной статистику, а y₁, y₂,..., y_n - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой, поэтому выборки и называют независимыми.

Возможность применения модели в конкретной реальной ситуации требует обоснования. Независимость и одинаковая распределенность результатов наблюдений (измерений, испытаний, анализов, опытов, обследований) могут быть установлены или исходя из методики проведения конкретных наблюдений, или путем проверки статистических гипотез независимости и одинаковой распределенности с помощью соответствующих критериев проверки статистических гипотез [2].

3. Основные постановки задачи проверки однородности двух независимых выборок

Наивысшая степень однородности (абсолютная однородность) достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза

H_0: F(x)=G(x) при всех х.

Отсутствие абсолютной однородности означает, что верна альтернативная гипотеза, согласно которой

H_1: F(x₀)G(x₀)

хотя бы при одном значении аргумента x₀. Если гипотеза H₀ принята, то выборки можно объединить в одну, если нет - то нельзя.

В некоторых случаях целесообразно проверять не совпадение функций распределения, а лишь совпадение некоторых характеристик случайных величин Х и Y - математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. (т.е. проверять однородность тех или иных характеристик). Например, однородность математических ожиданий означает, что справедлива гипотеза

H'_0: M(X)=M(Y),

где M(Х) и M(Y) - математические ожидания случайных величин Х и Y, результаты наблюдений над которыми составляют первую и вторую выборки соответственно. Доказательство различия между выборками в рассматриваемом случае - это доказательство справедливости альтернативной гипотезы

H'_1: M(X) M(Y).

Если гипотеза H₀ верна, то и гипотеза H'₀ верна, но из справедливости H'_0, вообще говоря, не следует справедливость H₀. Математические ожидания могут совпадать для различающихся между собой функций распределения. В частности, если в результате обработки выборочных данных принята гипотеза H'₀, то отсюда не следует, что две выборки можно объединить в одну.

Однако в ряде ситуаций целесообразна проверка именно гипотезы H'_0. Например, пусть функция спроса на определенный товар или услугу оценивается путем опроса потребителей (первая выборка) или с помощью данных о продажах (вторая выборка). Тогда маркетологу важно проверить гипотезу об отсутствии систематических расхождений результатов этих двух методов, т.е. гипотезу о равенстве математических ожиданий.

Другой пример - из производственного менеджмента. Пусть изучается эффективность управления бригадами рабочих на предприятии с помощью двух организационных схем, результаты наблюдения - объем производства продукции или услуг на одного члена бригады (производительность), а показатель эффективности организационной схемы - средний (по предприятию) объем производства на одного рабочего. Тогда для сравнения эффективности организационных схем достаточно проверить гипотезу H'_0.Если она принята, то нет оснований заявлять о том, что организационные схемы различаются по эффективности.

Иногда нужно проверить однородность дисперсий. Например, различаются ли два способа измерения по величине случайной ошибки - т.е. по дисперсии случайных погрешностей. Или, например, однородность коэффициентов вариации [3].

4. Проверка однородности характеристик

Наиболее часто рассматривают проверку однородности математических ожиданий.

Традиционный метод проверки однородности (двухвыборочный критерий Стьюдента). Для дальнейшего критического разбора опишем традиционный статистический метод проверки однородности [1]. Он широко использовался в течение всего ХХ в. Хотя к настоящему времени этот метод устарел (см. ниже), но по традиции продолжает встречаться в учебной литературе, и потому и применяться для анализа конкретных данных.

При использовании традиционного метода проверки однородности вычисляют выборочные средние арифметические в каждой выборке

,

затем выборочные дисперсии

,

и статистику Стьюдента t, на основе которой принимают решение,

. (1)

По заданному уровню значимости и числу степеней свободы (m + n - 2) из таблиц распределения Стьюдента (см., например, [2]) находят критическое значение t_кр. Если |t|>t_кр, то гипотезу однородности (отсутствия различия) отклоняют, если же |t|<t_кр, то принимают. (При односторонних альтернативных гипотезах вместо условия |t|>t_кр проверяют, что t>t_кр; эту постановку рассматривать не будем, так как в ней нет принципиальных отличий от обсуждаемой здесь.)

В литературе зачастую описывается только приведенный выше алгоритм. Этого недостаточно для квалифицированного анализа статистических данных. Рассмотрим условия применимости традиционного метода проверки однородности, основанного на использовании статистики t Стьюдента, а также обсудим современные методы проверки однородности двух выборок.

Классические условия применимости критерия Стьюдента. Согласно математико-статистической теории должны быть выполнены два классических условия применимости критерия Стьюдента, основанного на использовании статистики t, заданной формулой (1):

а) результаты наблюдений имеют нормальные распределения:

F(x)=N(x; m₁, ₁²), G(x)=N(x; m₂, ₂²)

с математическими ожиданиями m₁ и m₂ и дисперсиями ₁² и ₂² в первой и во второй выборках соответственно;

б) дисперсии результатов наблюдений в первой и второй выборках совпадают:

D(X)=₁²=D(Y)=₂².

Если условия а) и б) выполнены, то нормальные распределения F(x) и G(x) отличаются только математическими ожиданиями, а поэтому обе гипотезы H₀ и H'₀ (см. раздел 3 выше) сводятся к гипотезе

H"₀: m₁ = m₂,

а обе альтернативные гипотезы H₁ и H'₁ сводятся к гипотезе

H"₁: m₁ m₂.

Если условия а) и б) выполнены, то статистика t при справедливости H"₀ имеет распределение Стьюдента с (т + п - 2) степенями свободы. Только в этом случае описанный выше традиционный метод обоснован безупречно. Если хотя бы одно из условий а) и б) не выполнено, то нет никаких оснований считать, что статистика t имеет распределение Стьюдента, поэтому применение традиционного метода, строго говоря, не обосновано. Обсудим возможность проверки этих условий и последствия их нарушений.

Имеют ли результаты наблюдений нормальное распределение? Как подробно показано в литературе (см., например, сводку [4]), априори нет оснований предполагать нормальность распределения результатов экономических, технико-экономических, технических, медицинских и иных наблюдений. Следовательно, нормальность надо проверять (или использовать непараметрические методы анализа данных). Разработано много статистических критериев для проверки нормальности распределения результатов наблюдений [2]. Однако проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистики t Стьюдента, так и с использованием непараметрических критериев, рассматриваемых ниже).

Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. В [5] показано, что для того, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве технических, экономических, медицинских и иных исследований число наблюдений существенно меньше.

Есть и еще одна общая причина отклонений от нормальности: любой результат наблюдения записывается конечным (обычно 2 - 5) количеством цифр, а с математической точки зрения вероятность такого события равна 0. Точнее, для случайной величины с непрерывной плотностью распределения вероятность попадания в счетное множество рациональных чисел равна 0. Следовательно, при статистической обработке данных в организационно-экономических исследованиях распределение результатов наблюдений практически всегда более или менее отличается от нормального распределения.

Последствия нарушения условия нормальности. Если условие а) не выполнено, то распределение статистики t не является распределением Стьюдента. Однако можно показать, используя Центральную предельную теорему теории вероятностей и теоремы о наследовании сходимости [5, гл.4], что при справедливости гипотезы H'₀ и условия б) распределение статистики t при росте объемов выборок приближается к стандартному нормальному распределению Ф(х) = N(x; 0, 1). К этому же распределению приближается распределение Стьюдента при возрастании числа степеней свободы. Другими словами, несмотря на нарушение условия нормальности критерий Стьюдента можно использовать (при определенных условиях!) для проверки гипотезы H'₀ при больших объемах выборок. При этом вместо таблиц распределения Стьюдента достаточно пользоваться таблицами стандартного нормального распределения Ф(х). Это утверждение справедливо для любых функций распределения F(x) и G(x) таких, что M(X) = M(Y), D(X) = D(Y) и выполнены некоторые условия, обычно считающиеся справедливыми в реальных задачах [6, 7]. Если же M(X) M(Y), то нетрудно вычислить, что при больших объемах выборок

P(t<x)Ф(x-a_mn), (2)

где

. (3)

Формулы (2) - (3) позволяют приближенно вычислять мощность t-критерия (точность возрастает при увеличении объемов выборок т и п).

О проверке условия равенства дисперсий. Иногда условие б) вытекает из методики получения результатов наблюдений, например, когда с помощью одного и того же прибора или методики m раз измеряют характеристику первого объекта и п раз - второго, а параметры распределения погрешностей измерения при этом не меняются. Однако ясно, что в постановках большинства исследовательских и практических задач нет основании априори предполагать равенство дисперсий.

Целесообразно ли проверять равенство дисперсий статистическими методами, например, как это иногда предлагают, с помощью F-критерия Фишера? Этот критерий основан на нормальности распределений результатов наблюдений. А от нормальности неизбежны отклонения (см. выше). Причем хорошо известно, что в отличие от t-критерия распределение F-критерия Фишера сильно меняется при малых отклонениях от нормальности [8]. Кроме того, F-критерий отвергает гипотезу D(X) = D(Y) лишь при большом различии выборочных дисперсий. Так, для данных [2] о двух группах результатов химических анализов отношение выборочных дисперсий равно 1,95, т.е. существенно отличается от 1. Тем не менее, гипотеза о равенстве теоретических дисперсий принимается при применении F-критерия на 1%-м уровне значимости. Следовательно, при проверке однородности применение F-критерия для предварительной проверки равенства дисперсий с целью обоснования возможности использования критерия Стьюдента нецелесообразно.

Итак, в большинстве технических, экономических, медицинских и иных задач условие б) нельзя считать выполненным, а проверять его перед проверкой однородности нецелесообразно.

Последствия нарушения условия равенства дисперсий. Если объемы выборок т и п велики, то можно показать, что распределение статистики t описывается с помощью только математических ожиданий M(Х) и M(Y), дисперсий D(X), D(Y) и отношения объемов выборок, а именно:

P(t<x)Ф(b_mnx-a_mn), (4)

где a_mn определено формулой (3),

.(5)

Если b_mn 1, то распределение статистики t отличается от распределения, заданного формулой (2), полученной в предположении равенства дисперсий. Когда b_mn=1? В двух случаях - при m = n и при D(X) = D(Y). Таким образом, при больших и равных объемах выборок требовать выполнения условия б) нет необходимости. Кроме того, ясно, что если объемы выборок мало различаются, то b_mn близко к 1. Так, для данных [2] о двух группах результатов химических анализов имеем b*_mn = 0,987, где b*_mn - оценка b_mn, полученная заменой в формуле (5) теоретических дисперсий на их выборочные оценки.

Область применимости традиционного метода проверки однородности с помощью критерия Стьюдента. Подведем итоги рассмотрения t-критерия. Он позволяет проверять гипотезу H'₀ о равенстве математических ожиданий, но не гипотезу H₀ о том, что обе выборки взяты из одной и той же генеральной совокупности. Классические условия применимости критерия Стьюдента в подавляющем большинстве технических, экономических, медицинских и иных задач не выполнены. Тем не менее, при больших и примерно равных объемах выборок его можно применять. При конечных объемах выборок традиционный метод носит неустранимо приближенный характер.

Критерий Крамера-Уэлча равенства математических ожиданий. Вместо критерия Стьюдента целесообразно для проверки H'₀ использовать критерий Крамера-Уэлча, основанный на статистике

.(6)

Критерий Крамера-Уэлча имеет прозрачный смысл - разность выборочных средних арифметических для двух выборок делится на естественную оценку среднего квадратического отклонения этой разности. Естественность указанной оценки состоит в том, что неизвестные статистику дисперсии заменены их выборочными оценками. Из многомерной центральной предельной теоремы и из теорем о наследовании сходимости [5, гл.4] вытекает, что при росте объемов выборок распределение статистики Т Крамера-Уэлча сходится к стандартному нормальному распределению с математическим ожиданием 0 и дисперсией 1. Эта сходимость установлена Г. Крамером [9]. Термин "статистика Крамера-Уэлча" введен нами в [10].

Итак, при справедливости H'₀ и больших объемах выборок распределение статистики Т приближается с помощью стандартного нормального распределения Ф(х), из таблиц которого и следует брать критические значения. При т = п, как следует из формул (1) и (6), t = T. При т п этого равенства нет. В частности, при в формуле (1) стоит множитель (m - 1), а в формуле (6)- множитель п.

Если M(X) M(Y), то при больших объемах выборок

P(T<X)Ф(x-c_mn), (7)

где

.(8)

При т = п или D(X) = D(Y), согласно формулам (3) и (8), a_mn = c_mn, в остальных случаях равенства нет.

Из асимптотической нормальности статистики Т, формул (7) и (8) следует, что правило принятия решения для критерия Крамера-Уэлча выглядит так:

если , то гипотеза однородности (равенства) математических ожиданий принимается на уровне значимости ,

если же , то гипотеза однородности (равенства) математических ожиданий отклоняется на уровне значимости .

В прикладной статистике наиболее часто применяется уровень значимости . Тогда значение модуля статистики Т Крамера-Уэлча надо сравнивать с граничным значением

Из сказанного выше следует, что применение критерия Крамера-Уэлча при анализе организационно-экономических данных более обосновано, чем применение критерия Стьюдента. Дополнительное преимущество критерия Крамера-Уэлча по сравнению с критерием Стьюдента - не требуется равенства дисперсий D(X) = D(Y). Распределение статистики Т не является распределением Стьюдента, однако и распределение статистики t, как показано выше, не является таковым в реальных ситуациях.

Распределение статистики Т при объемах выборок т = п = 6, 8, 10, 12 и различных функциях распределений выборок F(x) и G(x) изучено методом статистических испытаний (Монте-Карло). Результаты (частично опубликованы в статьях [11 - 13]) показывают, что даже при таких небольших объемах выборок точность аппроксимации предельным стандартным нормальным распределением вполне удовлетворительна. Поэтому представляется целесообразным во всех тех случаях, когда в соответствии с устаревшими литературными источниками предлагается использовать критерий Стьюдента, заменить его на критерий Крамера-Уэлча. Конечно, такая замена потребует переделки ряда нормативно-технических и методических документов, исправления учебников и учебных пособий для вузов.

5. Непараметрические методы проверки однородности

В большинстве управленческих, технических, экономических, медицинских и иных задач анализа данных в прикладных исследованиях представляет интерес не проверка равенства математических ожиданий или иных характеристик распределения, а обнаружение различия генеральных совокупностей, из которых извлечены выборки, т.е. проверка гипотезы H₀. Методы проверки гипотезы H₀ должны позволять обнаружить не только изменение математического ожидания или дисперсии, но и любые иные изменения функции распределения результатов наблюдений при переходе от одной выборки к другой (увеличение разброса, появление асимметрии и т. д.). Как установлено выше, методы, основанные на использовании статистик t Стьюдента и Т Крамера-Уэлча, не позволяют проверять гипотезу H₀. Априорное предположение о принадлежности функций распределения F(x) и G(x) к какому-либо определенному параметрическому семейству (например, семействам нормальных, логарифмически нормальных, распределений Вейбулла-Гнеденко, гамма-распределений и др.) обычно нельзя достаточно надежно обосновать [4, 5]. Поэтому для проверки H₀ следует использовать методы, пригодные при любом виде F(x) и G(x), т.е. непараметрические методы.

Термин «непараметрический метод» означает, что при использовании этого метода нет необходимости предполагать, что функции распределения результатов наблюдений принадлежат каким-либо определенным параметрическим семействам. Современное представление о методах непараметрической статистики дано в статье [14].

Для проверки гипотезы H₀ разработано много непараметрических методов - критерии Смирнова, типа омега-квадрат (Лемана - Розенблатта), Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др. [5, 15, 16]. Распределения статистик всех этих критериев при справедливости H₀ не зависят от конкретного вида совпадающих функций распределения F(x) G(x). Следовательно, таблицами точных и предельных (при больших объемах выборок) распределений статистик этих критериев и их процентных точек [5, 16] можно пользоваться при любых непрерывных функциях распределения результатов наблюдений.

Какой из непараметрических критериев применять? Как известно [3], для выбора одного из нескольких критериев необходимо сравнить их мощности, определяемые видом альтернативных гипотез. Сравнению мощностей критериев посвящена обширная литература.

Хорошо изучены свойства критериев при альтернативной гипотезе сдвига

H_1c: G(x) = F(x - d), d 0.

Критерии Вилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно в этой ситуации. Если m раз измеряют характеристику одного объекта и п раз - другого, а функция распределения погрешностей измерения произвольна, но не меняется при переходе от объекта к объекту (это более жесткое требование, чем условие равенства дисперсий), то рассмотрение гипотезы H_1c оправдано. Однако в большинстве прикладных исследований нет оснований считать, что функции распределения, соответствующие выборкам, различаются только сдвигом.

Полагаем, что ради адекватности математической модели практической ситуации в качестве альтернативной гипотезы надо рассматривать H₁ (отсутствие абсолютной однородности), а не H_1c (наличие сдвига).

Двухвыборочный критерий Вилкоксона. Этот критерий (в литературе его называют также критерием Манна-Уитни), как показано в [17, 18], предназначен для проверки гипотезы

H_0m: P(X < Y) = 1/2,

где X - случайная величина, распределенная как элементы первой выборки, а Y - случайная величина, распределенная как элементы второй выборки. Альтернативой является отрицание H_0m: вероятность P(X < Y) отлична от 0,5. Это - непараметрическая гипотеза. Но из нее не следует, что функции распределения двух выборок совпадают. Обратное, конечно, верно: если X и Y одинаково распределены, то P(X < Y) = Ѕ, т.е. медиана распределения разности X - Y равна 0.

Критерий Вилкоксона - один из самых известных инструментов непараметрической статистики (наряду с критериями на основе статистик типа Колмогорова-Смирнова, омега-квадрат и коэффициентами ранговой корреляции). Свойствам этого критерия и таблицам его критических значений уделяется место во многих монографиях и статьях по математической и прикладной статистике (см., например, [2, 5, 15, 16]). Однако в литературе имеются и неточные утверждения относительно возможностей критерия Вилкоксона. Так, отдельные авторы полагают, что с его помощью можно обнаружить любое различие между функциями распределения F(x) и G(x). По мнению других, этот критерий нацелен на проверку равенства медиан распределений, соответствующих выборкам. И то, и другое неверно, как подробно показано в [17, 18].

При альтернативной гипотезе, когда функции распределения выборок F(x) и G(x) не совпадают, распределение статистики Вилкоксона зависит от величины a = P(X < Y). Если a отличается от 1/2, то мощность критерия Вилкоксона стремится к 1, и он отличает нулевую гипотезу F G от альтернативной. Если же a = 1/2, то это не всегда имеет место. При справедливости альтернативной гипотезы сдвига мощность стремится к 1, различие медиан также всегда обнаруживается.

6. Состоятельные критерии проверки абсолютной однородности двух независимых выборок

Естественно потребовать, чтобы рекомендуемый для массового использования в прикладных исследованиях критерий однородности был состоятельным. Это значит, что для любых отличных друг от друга функций распределения F(x) и G(x) (другими словами, при справедливости альтернативной гипотезы H₁) вероятность отклонения гипотезы H₀ должна стремиться к 1 при увеличении объемов выборок т и п. Из перечисленных выше критериев однородности состоятельными являются только критерии Смирнова и типа омега-квадрат.

Критерий Смирнова однородности двух независимых выборок. Он был предложен членом-корреспондентом АН СССР Н.В. Смирновым в 1939 г. (см. справочник [2]). Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. Согласно Л.Н. Большеву и Н.В. Смирнову [2] значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения F_m(x) и G_n(x), построенных по первой и второй выборкам соответственно. Значение статистики Смирнова

сравнивают с соответствующим критическим значением (см., например, [2]) и по результатам сравнения принимают или отклоняют гипотезу Н₀ о совпадении (однородности) функций распределения. Практически значение статистики D_m,п рекомендуется согласно монографии [2] вычислять по формулам

,(9)

,(10)

,(11)

где x'₁<x'₂<…<x'_m - элементы первой выборки x₁, x₂, …, x_m, переставленные в порядке возрастания, а y'₁ < y'₂ < … < y'_n - элементы второй выборки y₁, y₂, …, y_n, также переставленные в порядке возрастания. Поскольку функции распределения F(x) и G(x) предполагаются непрерывными, то вероятность совпадения каких-либо выборочных значений равна 0. Рекомендации по нахождению численного значения статистики Смирнова на основе выборочных данных даны в статье [19].

Разработаны алгоритмы и компьютерные программы, позволяющие рассчитывать точные распределения, процентные точки и достигаемый уровень значимости для двухвыборочной статистики Смирнова, составлены подробные таблицы (см., например, методику [19], содержащую описание алгоритмов, тексты программ и подробные таблицы критических значений).

Однако у критерия Смирнова есть и недостатки. Его распределение сосредоточено в сравнительно небольшом числе точек. Ясно, что принимаемые этой статистикой значения пропорциональны величине 1/L, где L - наименьшее общее кратное объемов выборок m и n. Поэтому функция распределения растет большими скачками. Как следствие, не удается выдержать заданный уровень значимости. Реальный (другими словами, истинный) уровень значимости может значительно, даже в несколько раз отличаться от номинального (подробному обсуждению неклассического феномена существенного отличия реальных уровней значимости непараметрических критериев от номинальных посвящены работы [11, 12]).

При больших объемах выборок можно воспользоваться доказанной Н.В. Смирновым в 1939 г. теоремой: в случае совпадения непрерывных функций распределения элементов двух независимых выборок

,

где K(y) - функция распределения Колмогорова, заданная формулой

.

Критерий типа омега-квадрат (Лемана-Розенблатта). Статистика критерия типа омега-квадрат для проверки однородности двух независимых выборок имеет вид:

A = F_m(x) - G_n(x))² dH_m+n(x), (12)

где H_m+n(x) - эмпирическая функция распределения, построенная по объединенной выборке. Легко видеть, что

H_m+n(x) = F_m(x) + G_n(x).

Статистика A типа омега-квадрат была предложена Э. Леманом в 1951 г., изучена М. Розенблаттом в 1952 г., а затем и другими исследователями. Она зависит лишь от рангов элементов двух выборок в объединенной выборке. Статистика А представляется в виде (см., например, [2]):

где r_i - ранг x'_i и s_j - ранг y'_j в общем вариационном ряду, построенном по объединенной выборке.

Правила принятия решений при проверке однородности двух выборок на основе статистик Смирнова и типа омега-квадрат, т.е. таблицы критических значений в зависимости от уровней значимости и объемов значимости приведены, например, в таблицах [2]. При достаточно больших объемах выборок правило принятия решения формулируется просто: если наблюдаемое значение статистики меньше соответствующего квантиля предельного распределения, гипотеза однородности принимается, в противном случае отклоняется.

Известно [5], что

(в обозначениях [2]), где a₁(x) - предельная функция распределения классической статистики омега-квадрат (Крамера-Мизеса-Смирнова), используемой для проверки согласия эмпирического распределения с заданным теоретическим.

Рекомендации по выбору критерия однородности. Для критерия типа омега-квадрат (Лемана-Розенблатта) нет выраженного эффекта различия между номинальными и реальными уровнями значимости. Поэтому мы рекомендуем для проверки однородности функций распределения (гипотеза H₀) применять статистику А типа омега-квадрат. Если методическое, табличное или программное обеспечение для статистики Лемана - Розенблатта отсутствует, рекомендуем использовать критерий Смирнова. Для проверки однородности математических ожиданий (гипотеза H'₀) целесообразно применять критерий Крамера-Уэлча. По нашему мнению, статистики Стьюдента, Вилкоксона и др. допустимо использовать лишь в отдельных частных случаях, рассмотренных выше.

7. Проблемы разработки и применения непараметрических критериев

Обсудим четыре проблемы, связанные с разработкой и применением непараметрических критериев.

О критериях Колмогорова и Смирнова. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат, разработанные в 1930-е годы, являются основой непараметрической математической статистики. Они продолжают быть образцом при разработке новых методов и широко применяются на практике. Используются термины «статистики типа Колмогорова - Смирнова», «статистики типа омега-квадрат». Встречается в литературе и в описании программных продуктов некорректный термин «статистика Колмогорова - Смирнова». А также и другие некорректности - например, пишут о применении критерия Колмогорова для проверки согласия с семейством нормальных распределений. В последнем из упомянутых случаев речь отнюдь не только о терминологии - часты грубые ошибки при применении непараметрических критериев математической статистики, приводящие к неправильным управленческим решениям [21].

В литературе, особенно переводной, иногда используют термин «критерий Колмогорова - Смирнова» по отношению к процедурам проверки непараметрических статистических гипотез, в частности, проверки однородности двух независимых выборок. Однако анализ публикаций академика А.Н. Колмогорова (1903 - 1987) и члена-корреспондента АН СССР Н.В. Смирнова (1900 - 1966), проведенный в статьях [21, 22], свидетельствует о том, что такого критерия не существует. У А.Н. Колмогорова и Н.В. Смирнова нет совместных работ, они никогда не изучали одновременно один и тот же статистический критерий. Право на существование имеет лишь термин "критерий типа Колмогорова - Смирнова". Так, критерий проверки однородности двух независимых выборок, основанный на формулах (9) - (11) - это критерий Смирнова. Можно сказать, что это "критерий типа Колмогорова - Смирнова". Критерий (12) - это критерий Лемана-Розенблатта. Можно сказать, что это "критерий типа омега-квадрат".

Предельная теория непараметрических статистик. Предельные (при безграничном росте объемов выборок) распределения непараметрических статистик, предназначенных для проверки однородности двух независимых выборок, находились различными методами. Один из наиболее общих - "принцип инвариантности" [23]. Нами разработан метод аппроксимации ступенчатыми функциями, с его помощью получен ряд необходимых и достаточных условий [24].

Анализ совпадающих наблюдений. Обычно предполагается, что функции распределения F(x) и G(x) непрерывны и строго возрастают. Из непрерывности этих функций следует, что с вероятностью 1 все m + n результатов наблюдений различны. При рассмотрении реальных статистических данных иногда наблюдаются совпадения результатов наблюдений, но сам факт их наличия - свидетельство нарушений предпосылок только что описанной базовой математической модели. В статье [25] мы предлагаем вероятностно-статистическую модель, объясняющую появление совпадений и дающую алгоритмы анализа совпадений. Эта модель основана на предположении о появлении совпадений данных в результате "слипания" мало различающихся результатов наблюдений. Мы предлагаем добавить малую поправку к каждому элементу совпадающей группы результатов наблюдений и в результате получить выборку без совпадений, для которой рассчитать значение ранговой статистики. Рассмотрев различные варианты поправок, получаем "облако" значений ранговой статистики. Анализ этого "облака" позволяет получить статистические выводы.

Проверка однородности связанных выборок. Не всегда можно применять методы проверки однородности двух независимых выборок объемов т и п соответственно. Если проведено (т + п) измерений объемов продаж в (т + п) торговых точках, то эта модель, как правило, адекватна. Если же, например, x_i и y_i - объемы продаж одного и того же товара до и после определенного рекламного воздействия, то рассматриваемую модель применять нельзя (при этом т = п), поскольку очевидно, что анализируемые объемы продаж определяются не только и не столько рекламным воздействием, сколько особенностями конкретной торговой точки (ее расположением, продолжительностью работы, репутацией и т.д.). В подобных случаях используют модель связанных выборок. В ней обычно строят новую выборку z_i = x_i - y_i и используют статистические методы анализа одной выборки, а не двух. Методы проверки однородности для связанных выборок рассматриваются в [21]. Они во многом аналогичны соответствующим методы проверки однородности двух независимых выборок.

8. Заключение

В настоящей статье дана сводка основных научных результатов, касающихся методов проверки однородности двух независимых выборок. Она позволяет системно анализировать многообразие таких методов с целью выбора наиболее адекватного для обработки конкретных данных.

Литература

1. Student. The probable error of a mean // Biometrika. 1908. № 6 (1). P. 1-25.

2. Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. - М.: Наука, 1983. 416 с.

3. Орлов А. И., Друянова Г. Б. Непараметрическое оценивание коэффициентов вариации технических характеристик и показателей качества // Надежность и контроль качества. 1987. № 7. С.10-16.

4. Орлов А. И. Распределения реальных статистических данных не являются нормальными // Научный журнал КубГАУ. 2016. № 117. С. 71-90.

5. Орлов А. И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.

6. Орлов А. И. О проверке однородности двух независимых выборок // Заводская лаборатория. Диагностика материалов. 2003. Т.69. №1. С.55-60.

7. Орлов А. И. Проверка статистической гипотезы однородности математических ожиданий двух независимых выборок: критерий Крамера-Уэлча вместо критерия Стьюдента // Научный журнал КубГАУ. 2015. № 110. С. 197-218.

8. Боровков А. А. Математическая статистика. - М.: Наука, 1984. 472 с.

9. Крамер Г. Математические методы статистики / Пер. с англ. / 2-е изд. М.: Мир, 1975. - 648 с.

10. Орлов А. И. О применении статистических методов в медико-биологических исследованиях // Вестник Академии медицинских наук СССР. 1987. № 2. С. 88-94.

11. Камень Ю. Э., Камень Я. Э., Орлов А. И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез // Заводская лаборатория. 1986. Т.52. №12. С.55-57.

12. Орлов А. И. Реальные и номинальные уровни значимости при проверке статистических гипотез // Научный журнал КубГАУ. 2015. № 114. С. 42-54.

13. Орлов А. И. Метод статистических испытаний в прикладной статистике // Заводская лаборатория. Диагностика материалов. 2019. Т.85. №5.

14. Орлов А. И. Современное состояние непараметрической статистики // Научный журнал КубГАУ. 2015. № 106. С. 239 - 269.

15. Гаек Я., Шидак 3. Теория ранговых критериев / Пер. с англ. М.: Наука, 1971. - 376 с.

16. Холлендер М., Вульф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. 518 с.

17. Орлов А. И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. Диагностика материалов. 1999. Т.65. №1. С.51-55.

18. Орлов А. И. Двухвыборочный критерий Вилкоксона - анализ двух мифов // Научный журнал КубГАУ. 2014. № 104. С. 91 - 111.

19. Орлов А. И. Состоятельные критерии проверки абсолютной однородности независимых выборок // Заводская лаборатория. Диагностика материалов. 2012. Т.78. №11. С.66-70.

20. Методика. Проверка однородности двух выборок параметров продукции при оценке ее технического уровня и качества / Орлов А. И., Миронова Н. Г., Фомин В. Н., Черномордик О. М. М.: ВНИИСтандартизации, 1987. 116 с.

21. Орлов А. И. Непараметрические критерии согласия Колмогорова, Смирнова, омега-квадрат и ошибки при их применении // Научный журнал КубГАУ. 2014. № 97. С. 32-45.

22. Орлов А. И. О критериях Колмогорова и Смирнова // Заводская лаборатория. Диагностика материалов. 1995. Т.61. №7. С.59-61.

23. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977. 353 с.

24. Орлов А. И. Предельная теория непараметрических статистик // Научный журнал КубГАУ. 2014. № 100. С. 31-52.

25. Орлов А. И. Модель анализа совпадений при расчете непараметрических ранговых статистик // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №11. С. 66-72.

26. Орлов А. И. Методы проверки однородности связанных выборок // Заводская лаборатория. Диагностика материалов. 2004. Т.70. №7. С.57-61.

27. Орлов А. И. О проверке однородности связанных выборок // Научный журнал КубГАУ. 2016. № 123. С. 708-726.

Размещено на Allbest.ru

...