Компьютерные технологии в науке и образовании

Чтобы ошибка, возникающая при отождествлении характеристик выборки и генеральной совокупности, оказалась минимальной, при выделении выборки необходимо соблюдать следующие правила:

В выборку можно включать только те данные, которые относятся к исследуемой генеральной совокупности.

Все значения случайной величины, принадлежащие к исследуемой генеральной совокупности, должны иметь одинаковую возможность быть включенными в выборку, т.е. нельзя отдавать предпочтение одним значениям случайной величины, исключая другие. Это требование называется требованием случайности или равновозможности.

Для гарантированного выполнения этого требования необходимо или включать в выборку данные всех измерений или формирований в выборку случайным образом (наугад, путем розыгрыша, с использованием таблиц случайных чисел).

Выборка должна быть репрезентативной (представительной), т.е. она должна включать в себя достаточное число значений случайной величины для представления об особенностях генеральной совокупности.

Однако проведение большого числа замеров сопряжено с экономическими и техническими трудностями (требует больших затрат средств и времени). Поэтому чуть позже мы с вами рассмотрим статистический приём, позволяющий определить минимально необходимый и достаточный объем выборки.

Статистический анализ больших выборок

Первичный статистический анализ больших выборок проводится в следующем порядке:

1. Производят упорядочивание выборки путем составления вариационного ряда, в котором значения случайной величины располагают в порядке их возрастания

x_1(min) Ј--x₂--Ј--x₃--Ј…--Ј x_n(max).

Отдельные конкретные значения случайной величины в вариационном ряду принято называть вариантами, а изменение значений случайной величины - варьированием.

2. Определяют размах (R) вариационного ряда

3. Выбирают число интервалов (k) разбиения вариационного ряда. Число интервалов зависит от размаха (R) и объема (n) выборки.

Оно может выбираться как произвольно (обычно не менее 5 и не более 15), так и формально с помощью формулы Стерджеса или другой формулы:



Результаты расчетов по формулам (2) или (2*) округляют до ближайшего целого числа, причём всегда в большую сторону.

4. По известным значениям R и k находят длину интервала разбиения (шаг) h:

Результат расчета округляют до ближайшего целого числа по обычным правилам округления. За начало или нижнюю границу первого интервала (h0) рекомендуют принимать величину

h₀ = x_min - 0, 5h.

Естественно, что конец (верхняя граница) первого интервала будет совпадать с началом (нижней границей) второго и т.д.

5. Составляют интервальный (группированный) вариационный ряд в виде табл. 1.

При этом вводят понятие частости.

Частостью называется относительная частота попадания случайной величины в i-й интервал (число значений случайной величины в определенном интервале, отнесенное к общему объему выборки).

6. В масштабе строят гистограмму - ступенчатую фигуру, состоящую из прямоугольников с основанием в виде отрезков, соответствующих длинам интервалов, и высотами, соответствующими частостям.



7. Определяют закон распределения случайной величины. Законом распределения называют математическое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

8. В масштабе строят гистограмму - ступенчатую фигуру, состоящую из прямоугольников с основанием в виде отрезков, соответствующих длинам интервалов, и высотами, соответствующими частостям.

9. Определяют закон распределения случайной величины.

Законом распределения называют математическое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

Закон распределения можно представлять в виде таблицы, аналитически и графически. Наиболее просто и наглядно, хотя в определенной степени субъективно и приближенно, представлять закон распределения графически на основе гистограммы. Действительно, если необходимое число интервалов разбиения выборки определять по формуле (2), то очевидно, что для теоретической генеральной совокупности, т.е. при n ®--Ґ, число интервалов k также будет стремиться к бесконечности (k ®--Ґ), хотя и с меньшей скоростью. С ростом числа интервалов, будет уменьшаться их длина и, таким образом, ломаная линия гистограммы превратится в плавную кривую (рис. 3). При этом относящееся к выборке понятие частость (w_i) для генеральной совокупности заменяется на понятие вероятность (р_i): при n ®--Ґ--w_i = р_i. Например, вероятность того, что случайная величина примет значение x_i равна р_i.

Известно, что многие показатели, характеризующие процессы бурения, подчиняются нормальному закону распределения (закону Гаусса), который является основным законом в теории вероятности.

Нормальный закон распределения случайной величины имеет следующие особенности:

1) количество вариантов (значений СВ), превышающих среднее значение, равно количеству вариантов, которые меньше его (примерная симметричность гистограммы);

2) частота вариантов тем больше, чем ближе к среднему значению они расположены - гистограмма имеет наибольшие ординаты в центре и наименьшие - у краев (рис. 4).



Особая роль нормального закона распределения (НЗ) среди прочих законов обусловлена следующими причинами:

· Нормальный закон хорошо изучен, а посему методика обработки данных, подчиняющихся этому закону, достаточно разработана и относительно проста (именно поэтому на начальном этапе обработки данных эксперимента важно убедиться в том, что их распределение подчиняется нормальному закону).

· При увеличении объема данных (объема выборки) целый ряд других законов распределения (Стьюдента, ? 2 и др.) стремятся превратиться в нормальный закон.

Из сказанного следует простой вывод: если выборка (отобранные данные) вызывают сомнение в нормальности закона их распределения, то для решения вопроса о пригодности или непригодности этого закона нужно увеличить объем выборки (число измерений, включённых в рассмотрение).

По своему виду кривые нормального распределения могут быть:

· нормальновершинными;

· туповершинными;

· островершинными (рис. 5);

· иметь положительную асимметрию (рис. 6, а);

· иметь отрицательную асимметрию (рис. 6, б).



В практике бурения приходится иметь дело не только с симметричными, но и с явно асимметричными кривыми распределения. Наиболее известные из них - логарифмически$нормальный и экспоненциальный законы.

Логарифмически-нормальный закон (ЛНЗ) имеет умеренно асимметричную кривую распределения, показательный (экспоненциальный) - имеет резко асимметричную кривую распределения.

Логарифмически-нормальное распределение чаще всего имеет место, когда значения случайной величины ограничены некоторыми пределами. Например, величина выхода керна ограничена сверху значением 100%, а снизу - 0%. В породах, где значения выхода керна в среднем далеки от этих пределов (например, если средний выход керна составляет 50%), распределение может быть близким к нормальному виду.

В то же время в крепких и монолитных породах, где выход керна близок к верхнему пределу (100%), распределение будет явно асимметричным и сдвинутым в сторону больших значений случайной величины (рис. 7, а). В рыхлых нецементированных породах, где выход керна близок к нулю, будет наблюдаться правосторонняя асимметрия распределения (рис. 7, б).

Если случайная величина x подчинена лога - рифмически-нормальному закону, то из этого следует, что величина Z = lnx распределена нормально (т.е. исходные данные необходимо прологарифмировать).

Показательное (экспоненциальное) распределение имеет место лишь при определении характеристик надежности и долговечности бурового оборудования, инструмента, приборов, средств механизации производственных процессов и т.п.

10. Находят точечные оценки параметров нормального распределения случайной величины. Правила определения оценок параметров НР (нормального распределения) по совокупности независимых измерений случайной величины регламентируются ГОСТ 11.004-74.

Наиболее достоверной оценкой измеряемой случайной величины является ее среднее арифметическое или среднее взвешанное значение.

Среднее арифметическое значение определяется тогда, когда все варианты (значения случайной величины) имеют одну и ту же частоту, равную единице (нет одинаковых значений случайной величины), что характерно для малых выборок.

Если варианты имеют различные частоты, что характерно для больших выборок, то рассчитывают среднее взвешанное значение случайной величины по формуле:

Наряду со средним взвешенным значением случайной величины в качестве характеристик вариационного ряда, дающих информацию о законе распределения, используют медиану и моду.

Медиана (m_0,5) - это значение случайной величины, которое делит вариационный ряд или площадь, ограниченную кривой распределения, на две равные части. При нечетном объеме выборки медиана равна

а при четном объеме -

где x_m - значение средней по порядку вариационного ряда случайной величины. (Например, если в вариационном ряду 51 - значение случайной величины, то m_0,5 будет равна значению 26).

Модой m0 называют варианту, которая имеет наибольшую частоту, т.е. соответствует вершине распределения (это наиболее вероятное значение случайной величины).

Оценивают моду по формуле:

Для нормального симметричного распределения

Весьма важной характеристикой нормального распределения является степень разброса (рассеивания) отдельных частей случайной величины относительно ее среднего значения.

Для оценки степени разброса пользуются несколькими показателями, из которых наиболее широко распространены следующие:

· размах (R), представляющий собой разность между наибольшим (xmax) и наименьшим (xmin) значениями вариант (формула (1));

· дисперсия (D) - это среднее арифметическое значение квадратов отклонений отдельных вариант от их средней арифметической.

Оценивается дисперсия по следующей формуле:

· среднее квадратичное отклонение (s) - это значение корня квадратного из дисперсии



· коэффициент вариации (n) - это отношение среднего квадратичного отклонения к среднему значению случайной величины, выраженное в%:

Чем больше коэффициент вариации n, тем больше разброс значений случайной величины вокруг среднего значения, тем менее представительно ?x.

Принято считать, что инструментальные лабораторные исследования обеспечивают n--Ј 8%. Экспериментальные исследования в производственных условиях обычно дают n--Ј 8-15%.

В зависимости от величины коэффициента вариации технологические показатели и расчеты разбиты на 5 классов точности (табл.).

Классы точности в зависимости от величины коэффициента вариации

Класс точности	1	2	3	4	5
n, %	< 8	8-15	15-25	25-35	> 35

Находят интервальную оценку параметров распределения случайной величины.

При анализе эмпирических данных, т.е. полученных экспериментальным путем, точечная оценка среднего взвешенного значения ?x информации о степени близости его к математическому ожиданию а (генеральной средней) не дает.

В связи с этим более информированной оценкой среднего взвешенного значения является не точечная, а интервальная оценка, заключающаяся в установлении некоторого интервала, внутри которого с определенной вероятностью и находится истинное значение, т.е. генеральная средняя исследуемой случайной величины.

Если среднее взвешенное значение ?x, найденное по результатам анализа выборки объемом n, является точечной оценкой математического ожидания а, то чем меньше разность (a - ?x), тем точнее оценка. Точность этой оценки можно выразить следующим неравенством:

(a - ?x) <

где величина , являющаяся пределом, который с определенной вероятностью не превосходит разность (a - ?x), называется предельной ошибкой выборки.

Вероятность того, что действительное значение измеряемой величины лежит в пределах от (?x - ) до (?x +), представляет собой доверительную вероятность

В технике, в большинстве случаев надежность P принимается равной 0,9-0,95 (90-95%).

Надежности, равной 0,8; 0,9; 0,95, соответствуют уровни значимости ?, равные 0,2 (20%); 0,1 (10%); 0,05 (5%), соответственно.

Для нормального распределения случайной величины это означает, что вероятность выхода за границу (?x - ; ?x +) составляет, соответственно, в 20, 10 и 5% случаев.

Интервал (?x - ; ?x + ), который с заданной доверительной вероятностью или надежностью P = 1 - l покрывает оцениваемый параметр, называется доверительным интервалом.

Таким образом, зная предельную ошибку выборки ?, можно определить доверительный интервал, в котором заключена генеральная средняя:

(?x - ? a ? ?x + )

Очевидно, чем меньше длина доверительного интервала, тем точнее оценка.

Предельную ошибку выборки определяют по формуле:

На рис. 8 представлено графическое изображение доверительного интервала.

С помощью математической аппроксимации табличных данных удалось получить формулы для расчета значений коэффициента Стьюдента.

В литературе по математической статистике значения коэффициента Стьюдента обычно приводят в табличной форме.

Отбраковка резко выделяющихся результатов (промахов)

Среди значений случайных величин, включенных в выборку, иногда присутствуют значения, которые весьма существенно отличаются от других. Такие значения появляются, как правило, вследствие грубых ошибок субъективного происхождения или так называемых промахов.

Промахи, как правило, обусловлены следующими причинами:

· неправильным использованием измерительной техники;

· ошибками в отчетах по измерительным приборам;

· ошибками в записях экспериментальных данных;

· ошибками в вычислениях при обработке результатов измерений.

Естественно, что в связи с этим возникает задача выявления и исключения таких сомнительных измерений, иначе они будут искажать результаты статистического анализа и сделанные по нему выводы.

Для этого используют различные правила и критерии. Рассмотрим наиболее употребительные из них.

Правило трёх сигм

При объеме выборки n > 50 для отбраковки резко выделяющихся замеров можно использовать так называемое правило «трех сигм»: «Вероятность попадания случайной величины в интервал с размерами от (?x - 3s) до (?x + 3s) равна 0,997 (99,7%)».

Если такая надежность является приемлемой, то все значения случайной величины, отклоняющиеся от среднего взвешенного или среднеарифметического значения больше, чем на 3? (среднеквадратичное отклонение), можно отбросить, как весьма маловероятные.

При объеме выборки n < 50 и для всех малых, чтобы исключить резко выделяющиеся замеры используют методы С.В. Башинского и Ф. Греббса - Н.В. Смирнова.

Определение минимально необходимого числа замеров

Объем выборки определяется исходя из следующих условий:

· объема экспериментальных исследований;

· сроков, в которые будут проведены предполагаемые эксперименты;

· финансовые затраты, сопровождающие проведение экспериментальных исследований;

· требуемой точности и надежности предполагаемых результатов.

Очевидно, что нужно стремиться к тому, чтобы объем выборки был минимально необходимым и в то же время вполне достаточным для получения результатов с желаемой точностью и надежностью. При этом точность и надежность в значительной мере определяются изменчивостью изучаемого свойства или показателя, которая оценивается среднеквадратичным отклонением s или коэффициентом вариации n (для разнородных величин). Значения s или n могут быть рассчитаны только по результатам уже проведенных измерений. В то же время необходимое количество измерений нужно знать еще до начала эксперимента.

Это кажущееся противоречие разрешается следующим образом:

· сначала производится оценочная серия измерений,

· по результатам оценочной серии измерений рассчитываются необходимые точечные оценки s,--n и другие,

· делается окончательный расчет необходимого числа замеров по одной из следующих методик.

18.2 Корреляционно-регрессионный анализ

Воспроизведем схемы одномерно-одномерного (рис. 12, а), одномерно$многомерного (рис. 12, б) и многомерно$одномерного (рис. 12, в) объектов исследований.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рис. 12. Схемы объектов исследований

В случае одномерно-одномерного объекта исследований (рис. 12, а) при наличии статистически достоверной связи между x и y может быть получено уравнение y = f(x), описывающее эту связь. Такое уравнение, называемое уравнением однофакторной регрессии или просто регрессии, дает возможность рассчитывать (прогнозировать) значения выходного параметра y по известным значениям входного фактора x, не прибегая к помощи каких$либо расчетных графиков.

В случае одномерно-многомерного объекта исследований (рис. 12, б) статистически достоверная связь между какими$либо выходными параметрами yi позволяет сократить их число, и тем самым, сократить затраты времени и средств на исследовательский процесс. Так, например, при наличии статистически достоверной связи между y1 и y2, можно определять (измерять) только один из этих параметров. Как правило, оставляют тот из параметров, который проще и точнее измеряется.

В случае многомерно-одномерного объекта исследований (рис. 12, в), являющегося частным случаем многомерного объекта, при наличии связи между входными факторами, например между x1 и x2, возникают некоторые закономерности:

· появляется возможность одновременного контроля того и другого фактора по одному из них;

· наличие связи между выходным параметром y и всеми входными факторами дает возможность получить многофакторное уравнение регрессии или так называемую математическую модель процесса, позволяющую оптимизировать этот процесс и прогнозировать значения выходного параметра при любых сочетаниях значений входных факторов.

Наличие, форма и сила (степень тесноты) связи между СВ, имеющими нормальное распределение, устанавливаются с помощью корреляционного анализа.

Различают:

· парную корреляцию (связь между двумя случайными величинами);

· множественную корреляцию (связь между тремя и большим числом случайных величин).

Парная корреляция

Предварительную характеристику корреляционной связи между случайными величинами x и y можно найти путем построения так называемого корреляционного поля, т.е. графика зависимости y = f(x) с нанесением на него всех экспериментальных точек.

В качестве примера приведем ряд корреляционных полей различной формы.

О наличии связи между двумя случайными величинами можно судить по тесноте группирования точек на корреляционном поле вокруг условной прямой или кривой линии.

Так, из рис. 13, а, в, г видно, что между х и у определенная связь существует, а вот по данным, приведенным на рис. 13, б, связь между х и у отсутствует.

По форме корреляционного поля можно судить и о предполагаемой форме связи между двумя случайными величинами, которая может быть:

· линейной (рис. 13, а, в);

· нелинейной (рис. 13, г);

· прямой (рис. 13, а);

· обратной (рис. 13, в).

Рис. 13. Корреляционные поля различной конфигурации

Кроме этого степень разбросанности точек на корреляционном поле в определенной мере свидетельствует и о силе связи между х и у. Так, очевидно, что для данных, приведенных на рис. 13, а, связь между х и у слабая, тогда как для данных, показанных на рис. 13, в и г, связь между х и у достаточно сильная. Но такая визуальная и качественная оценка, хотя и дает определенную информацию, не может заменить количественной оценки существования связи между х и у, а также оценки формы и силы этой связи. Сила связи между двумя случайными величинами оценивается величиной коэффициента парной корреляции или просто коэффициента корреляции, определяемого по следующей формуле:

Если с ростом значения х значение у растёт, то rух будет иметь знак плюс (положительная или прямая связь), а если уменьшается, то - знак минус (отрицательная или обратная связь). Чем ближе абсолютное значение rух к 1, тем сильнее значения одной случайной величины зависят от того, какие значения принимает другая случайная величина, т.е. тем сильнее связь между ними.

Следует помнить о том, что rух является случайной величиной, т.е. может принимать различные значения при повторных измерениях. Кроме этого, величина r_ух зависит от числа пар наблюдений. С их уменьшением и достоверность выводов, формулируемых после определения r_ух, снижается.

При r_ух = ±1 - две случайных величины связаны линейной, функциональной связью, т.е. каждому конкретному значению х соответствует только одно, строго определенное, значение у.

При r_ух = 0 случайные величины называют некоррелированными (независимыми). Однако обратное утверждение, что случайные величины независимы, если r_ух = 0, несправедливо, так как r_ух как мера тесноты связи имеет четкий математический смысл только при линейной зависимости между случайными величинами и при нормальном их распределении. Поэтому значение r_ух может быть равным нулю, когда случайные величины связаны нелинейной связью, а следовательно, зависимы друг от друга.

Достоверность коэффициента корреляции оценивают критерием надежности:

Где

При Qr > 2,6 с доверительной вероятностью равной 0,95 можно утверждать о значимости найденного коэффициента корреляции r_ух, т.е. о существовании между х и у линейной связи.

По известным значениям величин r_ух, s_х и s_у несложно определить линейное уравнение регрессии, описывающее связь между х и у, т.е.

После нахождения линейной математической модели, следует оценить возможность улучшения описания связи между х и у, путём перехода к нелинейной модели. Вначале эту нелинейную модель изучают. После этого необходимо вычислить корреляционное отношение по следующей формуле:

Следует отметить, что значимое различие значений hу и rух проявляется только при достаточно большом числе пар измерений.

Достоверность корреляционного отношения оценивается по критерию его надежности.

При Qr > 2,6 с доверительной вероятностью равной 0,95 можно утверждать, что найденное корреляционное отношение значимо.

По известным значениям hу и rух оценивают степень нелинейности:

Если n0 < (12/n), то переход к нелинейной модели не улучшит связи между х и у, а в противном случае - может привести к лучшим результатам.

Применение корреляционного анализа для уменьшения числа параметров (факторов)

Очевидно, что если две случайные величины являются коррелированными, т.е. зависимыми друг от друга, о чем свидетельствует значимость коэффициента корреляции r_ух, то любая из них (х или у) может быть исключена из рассмотрения.

Для сокращения числа параметров, в случае одномерно-многомерного объекта исследований, или числа факторов, в случае многомерно-одномерного объекта исследований, рассчитывают значения коэффициента корреляции между всеми возможными парами параметров (факторов), а также, в зависимости от схемы объекта исследований, между выходными параметрами и входным фактором, или входными факторами и выходным параметром.

На основе расчетов составляют так называемую нормированную корреляционную матрицу.

Корреляционная матрица

Параметры	Значения коэффициента корреляции
	х	у1	у2	у3	у4
х	1	ry1x *	ry2x *	ry3x *	ry4x *
у1		1	ry2y1 *	ry3y1 *	ry4y1 *
у2			1	ry3y2 *	ry4y2
у3				1	ry4y3 *
у4					1

В матрице значимые значения коэффициента корреляции принято обозначать звездочками (обозначено для примера).

Из приведенной корреляционной матрицы следует, что незначимым является лишь коэффициент корреляции между у2 и у4.

Отсюда следует, что при исследовании влияния фактора х на параметры у1, у2, у3, у4, вместо четырех параметров можно ограничиться двумя - у2 и у4.

18.3 Однофакторная регрессия

Ранее нами была рассмотрена процедура определения значений коэффициентов а и b линейного уравнения регрессии y = ax + b по данным корреляционного анализа.

Между тем существуют и другие приёмы и методы нахождения значений этих коэффициентов, причем не только для линейной зависимости, но и для различного вида нелинейных зависимостей.

Эмпирическая связь между двумя случайными величинами может быть описана одной из наиболее распространённых зависимостей:

· линейной y = ax + b;

· логарифмической y = alnx + b;

· экспоненциальной (показательной) y = beax;

· степенной y = axb;

· дробно-линейной y = x/(ax + b);

· гиперболической y = a/x +b;

· дробно-рациональной y = 1/(ax + b);

· квадратичной (параболической) y = ax2 + bx + c.

Метод наименьших квадратов

Суть метода заключается в том, что вид зависимости и значения ее коэффициентов должны обеспечивать минимальную сумму квадратов отклонений (S) ординат экспериментальных точек от ординат этой зависимости:

(47)

Для линейного уравнения y = ax + b требование (47) запишется следующим образом:



Для того чтобы найти минимальную сумму квадратов отклонений S, необходимо приравнять к нулю частные производные этой суммы по коэффициентам b и а:

Для определения коэффициентов а и b линейного уравнения будем иметь систему линейных уравнений:

Решение системы уравнений относительно а и b дает следующие формулы для их расчета:

Рассмотренный нами на примере линейной зависимости метод нахождения коэффициентов а и b называется методом наименьших квадратов (МНК), который был предложен К. Гауссом.

Аналогичным образом, с помощью этого метода были получены формулы для расчета коэффициентов и нелинейных зависимостей 2-8 (см. выше).

Источник

Квеско Н.Г. Методы и средства исследований: учебное пособие / Н.Г. Квеско, П.С. Чубик; Национальный исследовательский Томский политехнический университет. - Томск: Изд-во Томского политехнического университета, 2010. - 112 с.

Размещено на Allbest.ru

...