Размещено на http://www.allbest.ru/

Лабораторная работа № 3

Принятие решений методом последовательного анализа

1. Последовательный анализ в задаче классификации

последовательный статистический дефектный качество

До сих пор рассматривалась задача принятия решения на основе анализа всех имеющихся измерений (наблюдений) всех признаков объекта , j = 1, …, р.

Однако возможен другой подход к решению этой задачи: после измерения каждого очередного признака х1; х1, х2; х1, х2, х3 и т. д. решается задача классификации на основании измеренных к текущему моменту признаков неизвестного объекта. При этом в зависимости от результатов сравнения полученного решения с некоторой установленной заранее границей либо измеряется очередной признак объекта, либо прекращается накопление информации об этом объекте. Такая процедура решения задачи классификации называется последовательной процедурой Вальда [1]. Однако, если вектор наблюдения Х можно рассматривать как последовательность векторов , каждый из которых получен в момент времени , задачу принятия решения можно рассматривать как совокупность двух задач:

а) принятие решения об остановке наблюдений;

б) принятия решения по имеющимся к моменту остановки наблюдения измерениям.

В лабораторной работе будет рассмотрено применение последовательного анализа в задачах классификации и контроля качества продукции. Статистический контроль качества может проводиться в ходе технологического процесса либо по окончании производства (приемочный контроль).

Сущность метода состоит в следующем.

Пусть (x1, …,) - известная функция плотности вероятностей k-мерной случайной переменной X = (x1, …,), значения которой мы можем наблюдать на объектах, принадлежащих классу , i = 1, 2,…, m, k = 1, 2, …, р. Определим (х) как отношение плотностей вероятностей

(х) = (х) /(х), i, j = 1, 2,…, m, j i, k = 1, 2, …, р,

(х) = 1, i, j = 1, 2,…, m, j i.

Предположим, что требуется установить принадлежность объекта к одному из двух возможных классов и . На основании последовательного теста Вальда сформулируем решающее правило:

объект относится к классу , если

A < (х0) < В, для k = 0, 1, 2, …, t-1, (1)

а для t

(х0) В, t р; (2)

объект относится к классу , если для k=0, 1,…, t-1 выполняется (1), а для t

(х0) A, t р. (3)

Пусть - вероятность ошибочной классификации (на основании первых t компонент вектора х) наблюдаемого объекта в класс , если он в действительности принадлежит классу ( i, j = 1, 2). Выбираем А и В таким образом, чтобы для первых t компонент классифицируемого вектора вероятности ошибочной классификации были равны соответственно = и = ( и - вероятности ошибок 1-го и 2-го рода). Тогда пороговые значения А и В будут равны:

А = / (1 - ), В = (1 -) / . (4)

В практике анализа данных при отсутствии информации о плотностях распределения последовательная процедура организуется на основании обучающей выборки.

Пусть объект (наблюдение) характеризуется набором признаков X = (x1, …,). Предположим, что требуется установить его принадлежность к одному из двух возможных классов и . Используем для расчетов вероятностей в отношении правдоподобия теорему Байеса. Рассмотрим общий случай, когда признаки x1, …, статистически зависимы. Вероятность P (| x1,…,) того, что объект с набором признаков X = (x1, …,) принадлежит классу, выражается по формуле Байеса:

P ( | ) = .

Аналогично вычисляется условная вероятность P (| x1,…,) принадлежности объекта классу. Найдем отношение

(5)

Сначала анализируется признак x1 (k =1). Предположим, что для класса признак x1 имеет частоту встречаемости Р (x1|), для класса - соответственно Р (x1| ). Если установлено, что признак x1 в классе встречается значительно чаще, чем в классе , то можно сделать вывод в пользу класса .

Решающее правило:

объект принадлежит классу , если

Р (x1| ) / Р (x1| ) В,

где В - верхняя граница, необходимая для принятия решения. Значение В определяется по формуле (4).

В противоположном случае, когда признак x1 значительно чаще встречается в классе , принимается решение

объект принадлежит классу , если

Р (x1| ) / Р (x1| ) А,

где А - нижняя граница, определяемая по формуле (4).

Если отношение вероятностей удовлетворяет неравенству

А < Р (x1| ) / Р (x1| ) < В,

то необходимо ввести в рассмотрение новые данные об объекте и продолжить процедуру классификации.

Вычислим отношение вероятностей для двух признаков x1 и x2 (k =2):

(Р (x1| ) / Р (x1| )) · (Р (x2| )/Р (x2| ,x1))

и проверим выполнение условий (1) - (3). Если выполняется (1) или (2), то принимается решение об отнесении классифицируемого объекта к соответствующему классу. Если справедливо неравенство (3), то процесс классификации продолжается при k = 3. Последовательная процедура завершается либо принятием решения (установление номера класса, которому принадлежит классифицируемый объект), либо отказом от принятия решения (случай, когда для k = р выполняется условие (3)).

При оценке Р (х|) довольно часто используется предположение о том, что события, состоящие в появлении у объекта тех или иных значений рассматриваемых признаков, статистически независимы. Тогда Р (х|) можно выразить через условные вероятности появления отдельных значений признаков в классе :

Р (х|) =

Чтобы упростить вычисления, выражение (5) и пороговые значения А и В логарифмируются. Логарифм каждого множителя в правой части (5) называется прогностическим коэффициентом. Процесс классификации организуется следующим образом. На каждом шаге последовательной процедуры вводится новый прогностический коэффициент, значения коэффициентов суммируются и полученная сумма сравнивается с логарифмами пороговых значений. Если хотя бы один порог достигается, то процесс классификации прекращается и принимается соответствующее решение.

2. Последовательный анализ в статистическом контроле доли дефектных изделий

Основные понятия и положения. Рассмотрим случай, когда контролю подвергается партия изделий достаточно большого объема N. Все N изделий, входящих в партию, по некоторому признаку делятся на две группы: годные и негодные (дефектные). Пусть число дефектных изделий в партии равно М. Обозначим через S долю дефектных изделий в партии

S =.

По величине S партия может быть разделена на 3 категории: 1) S S1, 2) S1< S < S2, 3) S S2. Величины S1 и S2 устанавливаются по соглашению между поставщиком изделий и потребителем.

При статистическом контроле доли дефектных изделий делается случайная выборка в п изделий из партии и определяется число т дефектных изделий в выборке. Тогда доля дефектных изделий в выборке будет

s =.

В дальнейшем будем рассматривать только случаи, когда п мало по сравнению с N (п < 0,1N). В этих случаях можно принять, что случайная величина т имеет биномиальное распределение. Если еще S мало (S < 0,1), то можно принять, что случайная величина т имеет распределение Пуассона. В обоих вариантах математическое ожидание числа дефектных изделий в выборке будет равно а = п S.

При статистическом контроле доли дефектных изделий в технических условиях задается норматив с таким образом, что при условии

т с, (6)

партия оценивается удовлетворительно (принимается). В случае, когда

т > с, (7)

партия оценивается неудовлетворительно (бракуется).

Для организации статистического контроля необходимо выбрать объем выборки п и оценочный норматив с. Этот выбор делается с учетом риска поставщика и риска потребителя.

Риском поставщика называется вероятность того, что партия первой категории с S = S1 будет в результате испытаний оценена неудовлетвори-тельно (вероятность ошибки 1-го рода)

= Вер (т > с при S = S1). (8)

Из уравнения (8) видно, что - наибольшая вероятность получить условие (7) для партии первой категории, так как при S < S1 риск поставщика будет меньше, чем при S = S1.

Риском потребителя называется вероятность того, что партия третьей категории с S = S2 будет в результате испытаний оценена удовлетворительно (вероятность ошибки 2-го рода)

= Вер (т < с при S = S2). (9)

Из уравнения (9) видно, что - наибольшая вероятность получить условие (6) для партии третьей категории, так как при S > S2 риск потребителя будет меньше, чем при

S = S2.

Метод последовательного анализа. При контроле доли дефектных изделий методом последовательного анализа решение о приемке (браковке) партии может быть принято после проверки каждого изделия, а не после завершения контроля всех изделий. Рассматриваемая задача является задачей проверки гипотезы о параметре распределения. Для её решения необходимо построить области, соответствующие выбору нужного варианта действий в соответствии с поставленной процедурой. Положим, что хп = т (где т - число дефектных изделий в выборке из п изделий). Тогда отношение правдоподобия можно записать в виде

, (10)

Пусть число дефективных изделий подчиняется распределению Пуассона,

= ат,

где а - параметр распределения Пуассона - среднее число осуществления интересующего нас события в единицу времени.

Для рассматриваемой задачи а - среднее число дефективных изделий в партии,

где а1 = п S1, а2 = п S2 (для распределения Пуассона).

Из уравнения (10) находим

ln = п S1 - п S2 + т ln,

где определяется как

= S2 / S1.

Введем обозначения

А = , B =.

Тогда решающее правило, определяющее условия приемки и браковки запишутся соответственно в следующем виде

п S1 - п S2 + т ln А, (11)

п S1 - п S2 + т ln В. (12)

Условия (11) и (12) можно переписать в виде

т= тпр, (13)

т= тбр, (14)

тпр и тбр - условия приемки и браковки партии соответственно.

Если заданы , , S1 и S2, то уравнения (13) и (14) определяют линейную зависимость величин тпр и тбр от п. Если на горизонтальной оси откладывать значения п, а на вертикальной - соответствующие им опытные значения т, то прямые тпр и тбр разделяют плоскость на три области: приемки, браковки и продолжения испытаний (рис.1).

Рис. 1 Контроль доли дефектных изделий методом последовательного анализа

3. Задание

1. Решить задачу классификации, используя процедуру последовательных решений Вальда.

2. Построить границы областей приемки и браковки (тпр и тбр) по методу последовательного анализа (имеет место распределение Пуассона). Заданы риски поставщика и потребителя , = 0,10; граничные значения доли дефектных изделий S1 = 0,10; S2 = 0,20. Задачу решить для числа т дефектных изделий в выборке т = 0 и т =1.

3. Подготовить отчет.

Исходные данные

1. Agd3.sta - содержание металлов в пробах (var4, var5, var9,var10), взятых в районе разработок (GROUP = 1), и на площадях, где оруднение не обнаружено (GROUP = 2), 14 переменных, 46 реализаций. Для наблюдений, подлежащих классификации, значение переменной GROUP = 3. На основании данных из файла Agd3.sta принять решение о том, какому типу площадей принадлежит образец № 43. При вычислении оценок вероятностей использовать переменные var4 (содержание бария), var5 (содержание кобальта), var9 (содержание свинца), var10 (содержание стронция) и реализации, в которых значение переменной GROUP равно 1 и 2.

2. Newcan.sta - результаты обследования и лечения больных раком легкого. Использовать признаки PAR063 - лейкоциты, PAR065 - лимфоциты, PAR086 - СОЭ, PAR226 - степень резорбции опухоли через 1,5 мес. после лечения (PAR226 = 1 полная резорбция, PAR226 = 2 -резорбция более 50%, 3 - резорбция менее 50%, 4 - резорбция отсутствует).

Задачу классификации с использованием обучающей выборки из Newcan.sta решить для больного, имеющего следующие значения показателей анализа крови: PAR063 -= 9,0; PAR065 = 29,0; PAR086 = 27,0.

3. irisdat.sta - классические данные Фишера о цветах ириса, предназначенные для решения задач дискриминантного анализа: SEPALLEN - длина чашелистика, SEPALWD - ширина чашелистика, PETALLEN - длина пестика, PETALWD - ширина пестика, классификационная переменная - IRISTYPE (тип ириса), 5 переменных, 150 реализаций. Случайным образом генерировать наблюдение, подлежащее классификации.

4. set24.sta - значения двух координат: долготы (Longitude) и широты (Latitude), при которых штормы в Северной Атлантике достигали ураганной силы. классификационная переменная CLASS - тип ураганов: бароклинические (Baro) и тропические (Trop), 3 переменных, 38 реализаций. Случайным образом генерировать наблюдение, подлежащее классификации.

5. set25.sta - показатели, характеризующие метеообстановку в районе запуска космических кораблей (var1 - var4); var5 - классификационная переменная: первый класс Danger, второй класс ОК, 5 переменных, 100 реализаций.

6. set27.sta - Физико-механические свойства сланцев в основании сооружений Шульбинской ГЭС: var1 - сопротивление сжатию (кгс/см2), var2 - плотность (г/см2 ), var3 - объемная масса породы (г/см3), var4 - пористость в %, var5 - удельное водопоглощение (л/мс), var6 - номер класса (var6 = 1 - зона сохранных пород, var6 = 2 - зона относительно сохранных пород), 6 переменных, 50 реализаций. Для решения задачи принятия решений в качестве компонент вектора наблюдения выбрать три переменных, дающие лучшие различия между классами и имеющие нормальное распределение. Случайным образом генерировать наблюдение, подлежащее классификации.

Указания

1. При реализации процедуры классификации на основе вальдовского правила считать признаки независимыми.

2. Оценку вероятностей выполнить с помощью программного модуля Basic Statistics (базовая статистика) системы STATISTICA©.

3. Для каждого из пунктов задания описать области принятия решения.

Размещено на Allbest.ru