Прогностическая сила – наилучший показатель качества алгоритма диагностики

Размещено на http://www.allbest.ru/

УДК 519.2:303.732.4

прогностическая сила - наилучший показатель качества алгоритма диагностики

Орлов Александр Иванович

д.э.н., д.т.н., к.ф.-м.н., профессор

Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.ru

Показана нецелесообразность использования вероятности правильной диагностики в качестве показателя качества алгоритма диагностики. Предложен и изучен новый показатель - прогностическая сила, основанная на расстоянии Махаланобиса между классами. Найдено асимптотическое распределение прогностической силы, указан способ проверки адекватности ее применения. В задаче проверки двух простых гипотез установлена связь прогностической силы с расстоянием Хеллингера

Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, МАТЕМАТИЧЕСКИЕ МЕТОДЫ КЛАССИФИКАЦИИ, АЛГОРИТМ ДИАГНОСТИКИ, ПОКАЗАТЕЛЬ КАЧЕСТВА, ВЕРОЯТНОСТЬ ПРАВИЛЬНОЙ ДИАГНОСТИКИ, РАССТОЯНИЕ МАХАЛАНОБИСА, ПРОГНОСТИЧЕСКАЯ СИЛА, ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ, ПРОВЕРКА ГИПОТЕЗ, РАССТОЯНИЕ ХЕЛЛИНГЕРА

UDC 519.2:303.732.4

PREDICTIVE POWER - THE BEST INDICATOR OF THE QUALITY OF THE DIAGNOSTIC ALGORITHM

Orlov Alexander Ivanovich

Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor

Bauman Moscow State Technical University, Moscow, Russia

Inexpediency of use of probability of correct diagnostics as a quality indicator of diagnostic algorithm is shown. The new indicator - the prognostic strength based on Mahalanobis distance between classes is offered and studied. We have found asymptotic distribution of the prognostic strength; the way of testing of adequacy of its application has been specified. In a problem of testing of two simple hypotheses the prognostic strength connection is established with Hellinger distance

Keywords: STATISTICAL METHODS, MATHEMATICAL STATISTICS, MATHEMATICAL METHODS FOR CLASSIFICATION, DIAGNOSTIC ALGORITHM, INDICATOR OF THE QUALITY, PROBABILITY OF CORRECT DIAGNOSTICS, MAHALANOBIS DISTANCE, PREDICTIVE POWER, LIMIT THEOREMS, TESTING OF HYPOTHESES, HELLINGER DISTANCE

1. Введение

Математические методы классификации [1] - часть прикладной статистики [2]. В одной и той же задаче классификации можно применять различные алгоритмы. Чтобы обоснованно выбрать алгоритм, необходимо уметь оценивать качество его работы.

В триаде «построение классификации» - «изучение классификации» - «использование классификации» рассмотрим последнюю составляющую. Её разные авторы называют дискриминацией (дискриминантным анализом), диагностикой, распознаванием образов с учителем, автоматической классификацией с учителем, статистической классификацией… В соответствии с [3] эту научную область будем называть диагностикой. Для простоты обсуждения ограничимся случаем двух областей. Примеры в терминах прикладных исследований: дефектные и годные единицы продукции, налаженные и разлаженные состояния технологического процесса, пациенты с инфарктом миокарда и без него, пробы с допустимым и недопустимым содержанием примесей и т.д.

Часто используют такой показатель качества алгоритма диагностики, как «вероятность (или доля) правильной классификации (диагностики)» [4, 5] - чем этот показатель больше, тем алгоритм лучше. Цель статьи - показать нецелесообразность повсеместного применения этого показателя и обосновать другой - «прогностическую силу», найденную путем пересчета на модель линейного дискриминантного анализа.

2. Вероятностно-статистическая модель диагностики

Пусть классифицируемые объекты описываются переменными x, лежащими в некотором пространстве X, два класса - это два распределения вероятностей с плотностями f(x) и g(x), , соответственно (если X дискретно, то под f(x) и g(x) понимаем не плотности, а вероятности попадания в точку x).

Типичная схема разработки конкретного математического метода диагностики такова. С помощью специалистов соответствующей прикладной области составляют две обучающие выборки - объема m0 из первого класса и объема n0 из второго класса. На их основе определяют решающее правило , ставящее в соответствие результату наблюдения номер класса, к которому его следует отнести. Качество работы алгоритма проверяют по контрольной выборке, состоящей из m элементов первого класса и n элементов второго. Результаты проверки удобно записать в виде табл.1.

Таблица 1. Результаты работы алгоритма диагностики

	Всего	Отнесено к первому классу	Отнесено ко второму классу
Элементы первого класса	m	a	b
Элементы второго класса	n	c	d

Ясно, что о качестве алгоритма диагностики, т.е. решающего правила A, надо судить на основе данных, приведенных в табл.1. Естественно использовать

- долю правильной диагностики в первом классе;

- долю правильной диагностики во втором классе.

Доля правильной диагностики равна

,

где - априорная доля первого класса, - априорная доля второго класса. Очевидно, . В вероятностной модели речь идет об априорных вероятностях классов. Удобно и в статистической постановке (табл.1), и в вероятностной использовать единый термин «доля», поскольку это не приводит к недоразумениям.

Рассмотрим сначала случай, когда , т.е. f и g можно считать известными. При применении теории статистических решений к задачам диагностики [5] считаются известными также априорные вероятности классов и потери C(j|i) от ошибочной диагностики - от отнесения объекта i-го класса к классу с номером j. Доказано (при любом числе классов), что в случае, когда все C(j|i) равны между собой, минимизация суммарных потерь эквивалентна максимизации вероятности правильной диагностики [5], состоятельной оценкой которой служит . Видимо, этот факт, вместе с вычислительной простотой и наглядностью , является причиной широкого использования доли (вероятности) правильной классификации как показателя качества алгоритма диагностики.

Оптимальное решающее правило при совпадающих потерях C(1|2) = C(2|1) имеет вид: если

, (1)

то отнести x к первому классу, в противном случае - ко второму; здесь и - априорные вероятности первого и второго классов соответственно. Лемма Неймана-Пирсона, исходя из другой оптимизационной постановки (из минимизации ошибки второго рода при ограничении на уровень значимости), также дает правило, основанное на отношении плотностей вероятностей. В большинстве прикладных задач плотности вероятности неизвестны. Однако их при можно заменить состоятельными оценками, например, непараметрическими ядерными оценками плотности [6], и получить универсальное асимптотически оптимальное правило диагностики, с которым необходимо сравнивать все другие правила диагностики [1]. Выбор других правил диагностики для решения конкретных прикладных задач должен быть обоснован на основе соответствующих задаче критериев, например, быстродействия алгоритмов и объемов имеющейся информации [7].

Обратим внимание, что в случае, когда априорная вероятность одного из классов существенно больше априорной вероятности другого, правило (1) может любое наблюдение относить к классу с наибольшей априорной вероятностью.

Разберем ситуацию подробнее. Пусть имеется некоторый алгоритм диагностики на два класса с долями правильной диагностики - в первом классе и - во втором. Сравним его с двумя тривиальными алгоритмами диагностики. Первый тривиальный алгоритм относит все классифицируемые объекты к первому классу, для него = 1 и = 0, следовательно, = . Второй тривиальный алгоритм относит все классифицируемые объекты ко второму классу, для него = 0 и = 1, следовательно, = .

В качестве показателя качества алгоритма диагностики будем использовать долю правильной диагностики . Когда первый тривиальный алгоритм лучше исходного? Когда , т.е.

(с учетом того, что ). Когда второй тривиальный алгоритм лучше исходного? Когда , т.е.

.

Таким образом, для любого заданного алгоритма диагностики существуют границы d(1) и d(2) для доли первого класса в объединенной контрольной выборке такие, что при < d(1) рассматриваемый алгоритм хуже второго тривиального алгоритма, а при > d(2) он хуже первого тривиального алгоритма.

Разобранная ситуация встречается на практике. В конкретной прикладной медицинской задаче величина оказалась больше для тривиального прогноза, согласно которому у всех больных течение заболевания (инфаркта миокарда) будет благоприятно. Тривиальный прогноз сравнивался с алгоритмом выделения больных с прогнозируемым тяжелым течением заболевания. Он был разработан группой математиков и кардиологов под руководством И.М. Гельфанда. Применение этого алгоритма с медицинской точки зрения вполне оправдано [8 - 10]. Итак, по доле правильной классификации алгоритм группы И.М. Гельфанда оказался хуже тривиального - объявить всех больных легкими, т.е. не требующими специального наблюдения. Этот вывод очевидно нелеп. И причина появления нелепости вполне понятна. Хотя доля тяжелых больных невелика, но смертельные исходы сосредоточены именно в этой группе больных. Поэтому целесообразна гипердиагностика - рациональнее часть легких больных объявить тяжелыми, чем сделать ошибку в противоположную сторону.

Поэтому мы полагаем, что использовать в качестве показателя качества алгоритма диагностики долю правильной диагностики нецелесообразно.

Работы группы И.М. Гельфанда [8 - 10] показывают также, что теория статистических решений не может быть основой для выбора показателя качества диагностики. Применение этой теории требует знания потерь от ошибочной диагностики, а в большинстве научно-технических и экономических задач определить потери, как уже отмечалось, сложно. В частности, из-за необходимости оценивать человеческую жизнь в денежных единицах. По этическим соображениям это, на наш взгляд, недопустимо. Сказанное не означает отрицания пользы страхования, но, очевидно, страховые выплаты следует рассматривать лишь как способ первоначального смягчения потерь от утраты близких. Следовательно, применение теории статистических решений в рассматриваемой постановке вряд ли возможно, поскольку оценить количественно потери от смерти больного нельзя по этическим соображениям.

алгоритм диагностика прогностический махаланобис

3. Прогностическая сила как показатель качества классификации

С целью поиска приемлемого показателя качества диагностики рассмотрим восходящую к Р. Фишеру [11] широко известную параметрическую вероятностную модель (модель линейного дискриминантного анализа), в которой X - конечномерное пространство, f(x) и g(x) - многомерные нормальные плотности с математическими ожиданиями m1 и m2 соответственно и совпадающими ковариационными матрицами . Тогда при произвольных априорных вероятностях и потерях оптимальное решающее правило определяется плоскостью

,

где константа C зависит от априорных вероятностей классов здесь и , а также от потерь C(1|2) и C(2|1) [12, с.186]. Основной параметр модели - расстояние Махаланобиса между классами

.

(Величину d2 нельзя называть «расстоянием», как это делается в [12, с.187], поскольку для d2 не выполнено неравенство треугольника. Всем аксиомам, задающим метрику, удовлетворяет d).

Через d и C/d выражаются вероятности правильной диагностики и , являющиеся пределами при ранее введенных долей и . Если X - случайная величина с описанной выше плотностью f(x), то случайная величина H(X) имеет нормальное распределение с математическим ожиданием и дисперсией d2. Аналогично для случайной величины Y с плотностью g(x) случайная величина H(Y) имеет нормальное распределение с математическим ожиданием и дисперсией d2 [12, с.187]. Поэтому

, (2)

где (x) - функция нормального распределения с математическим ожиданием 0 и дисперсией 1. Из (2) вытекает, что при любых потерях C(1|2) и C(2|1), априорных вероятностях и при использовании оптимального решающего правила величина

постоянна и равна d, где - функция , обратная к (x). Следовательно, именно расстояние Махаланобиса d следует рассматривать как меру различия между классами, заданными плотностями рассматриваемого вида. Чтобы выразить меру различия в тех же единицах, что и вероятности правильной диагностики, введем «прогностическую силу»

,

при C = 0 равную совпадающим значениям правильной диагностики и из (2).

Мы предлагаем в качестве показателя качества произвольного алгоритма диагностики использовать величину

- (3)

- эмпирическую прогностическую силу, где

, (4)

а доли и правильной диагностики в классах определены по данным табл.1. Таким образом, вместо взвешенного по априорным долям классов среднего арифметического долей правильной диагностики в классах и предлагаем использовать их среднее по Колмогорову с весовой функцией .

Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется классический линейный дискриминантный анализ Р.Фишера [11, 12], то величина d* представляет собой состоятельную статистическую оценку расстояния Махаланобиса между двумя рассматриваемыми совокупностями, причем независимо от порогового значения, определяющего конкретное решающее правило. В общем случае показатель d* вводится как эвристический.

Пример 1. Если к = 0,90 и л = 0,80, то Ц-1(к) = 1,28 и Ц-1(л) = 0,84, откуда d* = 2,12 и эмпирическая прогностическая сила = Ц-1(1,06) = 0,86. При этом доля правильной диагностики м может принимать любые значения между 0,80 и 0,90, в зависимости от долей классов в объединенной совокупности .

4. Асимптотические свойства выборочной прогностической силы

С какой точностью можно определить прогностическую силу по выборочным данным? Другими словами, каково распределение ? Рассмотрим сначала случай, когда решающее правило не зависит от элементов контрольной выборки. Тогда случайные величины и независимы и имеют биномиальные распределения с параметрами и соответственно.

Пусть алгоритм диагностики применялся к совокупности, состоящей из т объектов первого класса и n объектов второго класса.

Теорема 1. Пусть т, п. Тогда для всех х

, (5)

где - истинная «прогностическая сила» алгоритма диагностики (соответствующая и ); - ее эмпирическая оценка, полученная по формулам (3) и (4),

. (6)

Здесь - плотность стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1.

Для доказательства теоремы 1 используются следующие факты и методы (описанные, например, в [2, гл.4]):

(1) асимптотическая нормальность вектора , вытекающая из теоремы Муавра-Лапласа;

(2) результаты о наследуемости сходимости, в соответствии с которыми, в частности, асимптотическое распределение при совпадает с распределением, которое получится, если в формулах (3) - (4) пронормированный и отцентрированный вектор заменить на соответствующий нормально распределенный вектор;

(3) метод линеаризации функции в малой окрестности точки

Из теоремы 1 вытекает способ определения нижней и верхней доверительных границ для прогностической силы . А именно, доверительной вероятности соответствуют асимптотические (при ) двусторонние доверительные границы

. (7)

Пример 2. В условиях примера 1 при m = n = 100 найдем асимптотическое среднее квадратическое отклонение А(0,90; 0,80). Поскольку ц(Ц-1(к)) = ц(1,28) = 0,176, ц(Ц-1(л)) = ц(0,84) = 0,280, ц(d*/2) = ц(1,06) = 0,227, то подставляя в выражение для А2 численные значения, получаем, что

.

При m = n = 100 имеем А(0,90; 0,80) = 0,0252. При доверительной вероятности г = 0,95 имеем u(0,95) = Ц-1(0,975) = 1,96, а потому нижняя доверительная граница для прогностической силы есть = 0,86 - 1,96 0,0252 = 0,81, а верхняя доверительная граница такова: = 0,86 + 1,96 0,0252 = 0,91. Аналогичный расчет при m = n = 1000 дает = 0,845, = 0,875.

Иногда отступают от описанной выше схемы и в качестве контрольной используют обучающую выборку (обычно это связано с трудоемкостью получения данных). Тогда доли правильной диагностики и зависимы как случайные величины. Однако в случае, когда решающее правило основано на использовании дискриминантной поверхности, и асимптотически (при ) независимы [13], что позволяет использовать формулы (5) - (7) и в этом случае.

5. Проверка возможности применения прогностической силы

В ряде прикладных задач диагностики вычисляют значение некоторого прогностического индекса (фактора, переменной) у и решение принимают на основе его сравнении с некоторым заданным порогом с. Объект относят к первому классу, если у < с, ко второму, если у > с. Прогностический индекс - это обычно линейная функция от характеристик рассматриваемых объектов. Другими словами, от координат векторов, описывающих объекты.

Возьмем два значения порога с1 и c2. Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для построения прогностического индекса применяется классический линейный дискриминантный анализ Р.Фишера, другими словами, если пересчет на модель линейного дискриминантного анализа обоснован, то, как можно показать, «прогностические силы» для обоих правил совпадают: . Выполнение этого равенства можно проверить как статистическую гипотезу. Если эта гипотеза принимается, то целесообразность использования прогностической силы подтверждается, значение есть основания рассматривать как объективную оценку качества алгоритма диагностики. Если же рассматриваемая гипотеза отклоняется, т.е. значения и сильно различаются, то пересчет на модель линейного дискриминантного анализа и использование расстояния Махаланобиса для измерения различия классов и прогностической силы как показателя качества диагностики некорректны.

Укажем способ проверки, т.е. опишем соответствующий критерий проверки статистической гипотезы. Пусть - доля объектов первого класса, для которых y < c1, а - доля объектов первого класса, для которых c1 < y < c2. Аналогично пусть - доля объектов второго класса, для которых c1 < y < c2, а - доля объектов второго класса, для которых у > с2. Тогда можно рассчитать две оценки одного и того же расстояния Махаланобиса. Они имеют вид:

.

Теорема 2. Если истинные прогностические силы двух правил диагностики совпадают, т.е. , то при при всех х

,

где

,

.

Из теоремы 2 вытекает метод проверки рассматриваемой гипотезы: при выполнении неравенства

она принимается на уровне значимости, асимптотически равном , в противном случае - отвергается.

Пример 3. Пусть данные примеров 1 и 2 соответствуют порогу с1. Пусть порогу с2 соответствуют = 0,95 и = 0,70. Тогда в обозначениях теоремы 2 = 0,90, = 0,05, = 0,10, = 0,70. Далее d*(c1) = 2,12 (пример 1), d*(c2) = 2,17, = 2,22, = 0,89. Гипотеза о совпадении прогностических сил, соответствующих двум порогам, принимается на уровне значимости = 0,05 тогда и только тогда, когда

,

т.е. когда

.

Так, гипотеза принимается при m = n = 1000 и отвергается при m = n = 5000.

6. Асимптотика сближающихся гипотез

Для выбора наилучшего алгоритма диагностики используют, кроме «вероятности правильной диагностики» , подход, основанный на векторной оптимизации

.

При этом вводят ограничения на вероятности ошибочной классификации. Классическим примером является задача

, (8)

решение которой дается леммой Неймана-Пирсона. Дальнейшие результаты в этом направлении получены Л.Н. Большевым [14], Ю. Круописом [15] и применительно к диагностике А.С. Фоминым [16]. Однако во всех этих постановках используются априорные константы, задающие ограничения, типа в (8). Вопрос прикладника: «Откуда берется уровень значимости?» [17] вполне оправдан. Поэтому обсудим возможность переноса на общую задачу проверки двух простых гипотез подхода, развитого выше в случае задачи диагностики.

Пусть - выборка из распределения с плотностью f(x). Рассмотрим согласно [18] задачу проверки двух простых гипотез

(отметим, что понятия нулевой и альтернативной гипотез в [18] не используются). Как показано в [18], оптимальное решающее правило имеет вид: если

,

то принимается гипотеза H1, если же , то принимается гипотеза H2, где D - априорная константа, зависящая от величин типа C и d в формуле (2) и в формуле (8).

Рассмотрим асимптотику сближающихся гипотез [18]: плотность f(x) входит в некоторое параметрическое семейство, описываемое одномерным параметром , удовлетворяющее введенным в [18] условиям регулярности (RR),

,

где величины и v считаются фиксированными. Пусть, как и ранее, - частота принятия гипотезы H1, когда она верна, и - частота принятия гипотезы H2, когда она верна.

Воспользуемся асимптотической нормальностью Y. Согласно [18] при

, (9)

где - информация Фишера. Из формулы (9) следует, что

.

Как и в задаче диагностики, величина d* (асимптотически) не зависит от априорной константы D. (В этом абзаце и далее предполагаем, что проведено две серии опытов: m опытов, когда верна гипотеза H1, и n опытов, когда верна гипотеза H2, и именно по этим двум сериям, как и в начале статьи, подсчитаны частоты и ; для изучения и достаточно брать вероятности относительно соответствующих вероятностных мер [18]).

Величина d* характеризует саму постановку задачи проверки гипотез, т.е. различие между f1 и f2. Действительно, из известной [18] связи между информацией Фишера и расстоянием Хеллингера следует, что при

.

«Прогностическая сила» , заданная формулой (3), которую в рассматриваемом контексте лучше назвать «разрешающей силой», дополняет до 1 совпадающие между собой значения ошибок первого и второго рода асимптотически минимаксного критерия [18].

Таким образом, при наличии нескольких критериев в одной задаче проверки гипотез мы предлагаем использовать «разрешающую силу» как показатель качества статистического критерия. Теорема 1 дает асимптотическое распределение этого показателя [19]. Теорема 2 позволяет выявлять критерии, «поведение» которых отличается от «поведения» оптимальных критериев (типа Неймана-Пирсона). Роль порогов с1 и c2 играют уровни значимости и .

Как отмечено в [1, 20], разработка концепции прогностической силы является одним из трех основных научных результатов в области математических методов теории классификации, наряду с обоснованием отношения плотностей вероятностей классов в качестве основы оптимального правила при диагностике (см. формулу (1) выше) и доказательством остановки итерационных алгоритмов построения разбиения на кластеры.

Литература

1. Орлов А.И. Математические методы теории классификации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №01(095). С. 423 - 459. - IDA [article ID]: 0951401023. - Режим доступа: http://ej.kubagro.ru/2014/01/pdf/23.pdf

2. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 672 с.

3. Орлов А.И. Математические методы исследования и диагностика материалов // Заводская лаборатория. Диагностика материалов. - 2003. - Т.69. № 3. - С.53-64.

4. Алгоритмы и программы восстановления зависимостей / Под ред. В.Я. Вапника. - М.: Наука, 1984. - 816 с.

5. Горелик А.Л., Скрипкин В.А. Методы распознавания: учеб. для вузов. - М.: Высшая школа, 1984. - 208 с.

6. Орлов А.И. Ядерные оценки плотности в пространствах произвольной природы // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Пермский госуниверситет, 1996. - С.68-75.

7. Толчеев В.О. Модифицированный и обобщенный метод ближайшего соседа для классификации библиографических текстовых документов // Заводская лаборатория. Диагностика материалов. - 2009. - Т.75. № 7. - С.63-70.

8. Алексеевская М.А., Гельфанд И.М., Губерман Ш.А., Мартынов И.В., Ротвайн И.М., Саблин В.М. Прогнозирование исхода мелкоочагового инфаркта миокарда с помощью программы узнавания // Кардиология. - 1977. - Т.17, № 7. - С.26-71.

9. Гельфанд И.М., Губерман Ш.А., Сыркин А.Л., Головня Л.Д., Извекова М.Л., Алексеевская М.А. Прогнозирование исхода инфаркта миокарда с помощью программы «Кора-3» // Кардиология. - 1977. - Т.17, № 6. - С.19-23.

10. Гельфанд И.М., Розенфельд Б.И., Шифрин М.А. Очерки о совместной работе математиков и врачей (2-е, дополненное издание). - М. УРСС, 2004. - 320 с.

11. Фишер Р.Э. Использование множественных измерений в задачах таксономии // Современные проблемы кибернетики. - М.: Знание, 1979. С. 6 - 20. (Fisher R.A. The use of multiple measurements in taxonomic problems. - Ann. Eugenics, 1936, September, v.7, 179 - 188.)

12. Андерсон Т. Введение в многомерный статистический анализ. - М.: ГИФМЛ, 1963. - 500 с.

13. Орлов А.И. Некоторые вероятностные вопросы теории классификации // Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. - С.166-179.

14. Большев Л.Н. Избранные труды. Теория вероятностей и математическая статистика. - М.: Наука, 1987. - 286 с.

15. Круопис Ю. О проверке многих простых гипотез // Тезисы докладов Второй Вильнюсской международной конференции по теории вероятностей и математической статистике: Том 1. - Вильнюс, 1977. - С.207-209.

16. Фомин А.С. Векторный критерий качества распознавания // Автоматика и телемеханика. - 1978. №3. - С.131-136.

17. Алимов Ю.И. Альтернатива методу математической статистики. - М.: Знание, 1980. - 62 с.

18. Боровков А.А. Математическая статистика. - М.: Лань, 2010. - 704 с.

19. Орлов А.И. Прогностическая сила как показатель качества алгоритма диагностики. - В сб.: Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. Вып.23. - Пермь: Перм. гос. нац. иссл. ун-т, 2011. - С.104-116.

20. Орлов А.И. О развитии математических методов теории классификации // Заводская лаборатория. Диагностика материалов. - 2009. - Т.75. № 7. - С.51-63.

References

1. Orlov A.I. Matematicheskie metody teorii klassifikacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №01(095). S. 423 - 459. - IDA [article ID]: 0951401023. - Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/23.pdf

2. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 672 s.

3. Orlov A.I. Matematicheskie metody issledovanija i diagnostika materialov // Zavodskaja laboratorija. Diagnostika materialov. - 2003. - T.69. № 3. - S.53-64.

4. Algoritmy i programmy vosstanovlenija zavisimostej / Pod red. V.Ja. Vapnika. - M.: Nauka, 1984. - 816 s.

5. Gorelik A.L., Skripkin V.A. Metody raspoznavanija: ucheb. dlja vuzov. - M.: Vysshaja shkola, 1984. - 208 s.

6. Orlov A.I. Jadernye ocenki plotnosti v prostranstvah proizvol'noj prirody // Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. - Perm': Permskij gosuniversitet, 1996. - S.68-75.

7. Tolcheev V.O. Modificirovannyj i obobshhennyj metod blizhajshego soseda dlja klassifikacii bibliograficheskih tekstovyh dokumentov // Zavodskaja laboratorija. Diagnostika materialov. - 2009. - T.75. № 7. - S.63-70.

8. Alekseevskaja M.A., Gel'fand I.M., Guberman Sh.A., Martynov I.V., Rotvajn I.M., Sablin V.M. Prognozirovanie ishoda melkoochagovogo infarkta miokarda s pomoshh'ju programmy uznavanija // Kardiologija. - 1977. - T.17, № 7. - S.26-71.

9. Gel'fand I.M., Guberman Sh.A., Syrkin A.L., Golovnja L.D., Izvekova M.L., Alekseevskaja M.A. Prognozirovanie ishoda infarkta miokarda s pomoshh'ju programmy «Kora-3» // Kardiologija. - 1977. - T.17, № 6. - S.19-23.

10. Gel'fand I.M., Rozenfel'd B.I., Shifrin M.A. Ocherki o sovmestnoj rabote matematikov i vrachej (2-e, dopolnennoe izdanie). - M. URSS, 2004. - 320 s.

11. Fisher R.Je. Ispol'zovanie mnozhestvennyh izmerenij v zadachah taksonomii // Sovremennye problemy kibernetiki. - M.: Znanie, 1979. S. 6 - 20. (Fisher R.A. The use of multiple measurements in taxonomic problems. - Ann. Eugenics, 1936, September, v.7, 179 - 188.)

12. Anderson T. Vvedenie v mnogomernyj statisticheskij analiz. - M.: GIFML, 1963. - 500 s.

13. Orlov A.I. Nekotorye verojatnostnye voprosy teorii klassifikacii // Prikladnaja statistika. Uchenye zapiski po statistike, t.45. - M.: Nauka, 1983. - S.166-179.

14. Bol'shev L.N. Izbrannye trudy. Teorija verojatnostej i matematicheskaja statistika. - M.: Nauka, 1987. - 286 s.

15. Kruopis Ju. O proverke mnogih prostyh gipotez // Tezisy dokladov Vtoroj Vil'njusskoj mezhdunarodnoj konferencii po teorii verojatnostej i matematicheskoj statistike: Tom 1. - Vil'njus, 1977. - S.207-209.

16. Fomin A.S. Vektornyj kriterij kachestva raspoznavanija // Avtomatika i telemehanika. - 1978. №3. - S.131-136.

17. Alimov Ju.I. Al'ternativa metodu matematicheskoj statistiki. - M.: Znanie, 1980. - 62 s.

18. Borovkov A.A. Matematicheskaja statistika. - M.: Lan', 2010. - 704 s.

19. Orlov A.I. Prognosticheskaja sila kak pokazatel' kachestva algoritma diagnostiki. - V sb.: Statisticheskie metody ocenivanija i proverki gipotez: mezhvuz. sb. nauch. tr. Vyp.23. - Perm': Perm. gos. nac. issl. un-t, 2011. - S.104-116.

20. Orlov A.I. O razvitii matematicheskih metodov teorii klassifikacii // Zavodskaja laboratorija. Diagnostika materialov. - 2009. - T.75. № 7. - S.51-63.

Размещено на Allbest.ru

...