Планирование эксперимента и обработка экспериментальных данных

Размещено на http://www.allbest.ru/

Министерство образования республики Беларусь

Учреждение образования
«Гомельский государственный университет имени Франциска Скорины»

ТЕКСТЫ ЛЕКЦИЙ

Планирование эксперимента и обработка экспериментальных данных

Н.Б. Осипенко

Гомель 2010

УДК 519.68 (075.8)

ББК 22.18я73

О 519

Рецензент:

кафедра математических проблем управления учреждения образования «Гомельский государственный университет имени Франциска Скорины»

Рекомендовано к изданию научно-методическим советом учреждения образования «Гомельский государственный университет имени Франциска Скорины»

Осипенко, Н. Б.

О 519 Планирование эксперимента и обработка экспериментальных данных: тексты лекций для студентов математических специальностей : тексты лекций для студентов специальности 1-31 03 01 - 02 - «Математика (научно-педагогическая деятельность» / Н. Б. Осипенко; М - во образования РБ, Гомельский государственный университет им. Ф. Скорины. - Гомель : ГГУ им. Ф. Скорины, 2010. - 49с.

Тексты лекций ставят своей целью оказание помощи студентам в усвоении основ технологии применения методов прикладной статистики и навыков работы с соответствующими прикладными пакетами, в частности регрессионного анализа и планирования экспериментов.

УДК 519.68 (075.8)

ББК 22.18я73

© Осипенко Н. Б., 2010

© УО «Гомельский государственный университет им. Ф. Скорины», 2010

Содержание

Введение

Раздел 1. Введение в регрессионный анализ и планирование эксперимента

Тема 1. Основы регрессионного анализа

1.1 Понятие корреляционного и регрессионного анализа

1.2 Определение параметров линейного однофакторного уравнения регрессии

1.3 Оценка величины погрешности линейного однофакторного уравнения

1.4 Проблема автокорреляции остатков. Критерий Дарбина-Уотсона

Тема 2. Введение в регрессионный анализ

2.1 Построение уравнения степенной регрессии

2.2 Двухфакторные и многофакторные уравнения регрессии

2.3 Применения уравнения регрессии. Эконометрика

Тема 3. Основные понятия и определения планирования эксперимента

3.1 Основные понятия и определения планирования эксперимента

Тема 4. Преобразования при обработке результатов эксперимента

4.1 Матричные преобразования при обработке результатов эксперимента

Раздел 2. Статистическое исследование зависимостей

Тема 5. Типовые задачи практики статистического исследования зависимостей

5.1 Схема взаимодействия переменных при статистическом исследовании зависимостей

5.2 Конечные прикладные цели статистического исследования зависимостей

5.3 Типовые задачи практики статистического исследования зависимостей

5.4 Основные типы зависимостей между количественными переменными

Тема 6. Корреляционный анализ

6.1 Корреляционный анализ

6.2 Оценка степени тесноты связи переменных

6.3 Особенности корреляционного анализа для количественных переменных

Тема 7. Регрессионный анализ

7.1 Примеры использования регрессионного анализа

7.2 Классическое определение регрессии

7.3 Оптимизационный подход в регрессионном анализе

7.4 Рекомендации по выбору вида регрессии

Тема 8. Линейный регрессионный анализ

8.1 Простая линейная регрессия

8.2 Доверительные интервалы и проверка гипотез

8.3 Множественная линейная регрессия

Тема 9. Нелинейная, непараметрическая и пошаговая регрессия

9.1 Итерационные методы поиска оценок наименьших квадратов для параметров регрессии

9.2 Поиск начального приближения для итерационных процедур

9.3 Непараметрический подход в регрессионном анализе

9.4 Пошаговая регрессия

Литература

Введение

Современный уровень развития компьютерных и информационных технологий характеризуется возрастающей сложностью не только отдельных физических и программных компонентов, но и лежащих в основе этих технологий концепций и идей. Целью текстов лекций является обучение базовым навыкам в области анализа и обработки экспериментальных данных, в частности погружения в новые программные среды статистической обработки. В тексты лекции включены как общеобразовательные, так и технологические аспекты изучения анализа и обработки экспериментальных данных. Главная задача лекций состоит в выработке необходимых навыков логического мышления для взаимодействия с компьютерным интерфейсом, приобретении теоретических и практических базовых знаний в области пакетов анализа и обработки данных. В ходе изучения текстов лекций необходимо познакомиться с приемами работы в среде специальных компьютерных математических программных систем (Maple, Mathematica, Statistica, Matlab, Excel, Mathcad и других пакетов) освоить основы работы с ними в процессе анализа и обработки данных, осознать их достоинства и недостатки, а также ориентированность.

Тексты лекций предназначены для студентов специальности 1-31 03 01 - 02 - «Математика (научно-педагогическая деятельность» математического факультета. Тексты лекций ставят своей целью оказание помощи студентам в усвоении основ анализа и обработки данных, а также технологии применения методов прикладной статистики и навыков работы с соответствующими прикладными пакетами.

Раздел 1. Введение в регрессионный анализ и планирование эксперимента

Тема 1. Основы регрессионного анализа

1.1 Понятие корреляционного и регрессионного анализа

Для решения задач экономического анализа и прогнозирования очень часто используются статистические, отчетные или наблюдаемые данные. При этом полагают, эти данные являются значениями случайной величины.

Случайной величиной называется переменная величина, которая в зависимости от случая принимает различные значения с некоторой вероятностью. Закон распределения случайной величины показывает частоту ее тех или иных значений в общей их совокупности.

При исследовании взаимосвязей между экономическими показателями на основе статистических данных, часто между ними наблюдается стохастическая зависимость. Она проявляется в том, что изменение закона распределения одной случайной величины происходит под влиянием изменения другой. Взаимосвязь между величинами может быть полной (функциональной) и неполной (искаженной другими факторами).

Пример функциональной зависимости - выпуск продукции и ее потребление в условиях дефицита.

Неполная зависимость наблюдается, например, между стажем рабочих и их производительностью труда. Обычно рабочие с большим стажем работы работают лучше молодых, но под влиянием дополнительных факторов - образование, здоровье и т.д. эта зависимость может быть искажена.

Раздел математической статистики, посвященный изучению взаимосвязей между случайными величинами называется корреляционным анализом. Основная задача корреляционного анализа - это установление характера и тесноты связи между результативными (зависимыми) и факторными (независимыми) показателями (признаками) в данном явлении или процессе. Корреляционную связь можно обнаружить только при массовом сопоставлении фактов.

Характер связи между показателями определяется по корреляционному полю. Если Y- зависимый признак, а Х- независимый, то отметив каждый случай X(i) с координатами xi и yi получим корреляционное поле.

Теснота связи определяется с помощью коэффициента корреляции, который рассчитывается специальным образом и лежит в интервалах от минус единицы до плюс единицы. Если значение коэффициента корреляции лежит в интервале от 1 до 0,9 по модулю, то отмечается очень сильная корреляционная зависимость. В случае, если значение коэффициента корреляции лежит в интервале от 0,9 до 0,6, то говорят, что имеет место слабая корреляционная зависимость. Наконец, если значение коэффициента корреляции находится в интервале от 0,6 до 0,6, то говорят об очень слабой корреляционной зависимости или полной ее отсутствии.

Таким образом, корреляционный анализ применяется для нахождения характера и тесноты связи между случайными величинами.

Регрессионный анализ своей целью имеет вывод, определение (идентификацию) уравнения регрессии, включая статистическую оценку его параметров. Уравнение регрессии позволяет найти значение зависимой переменной, если величина независимой или независимых переменных известна.

Практически, речь идет о том, чтобы, анализируя множество точек на графике (т.е. множество статистических данных), найти линию, по возможности, точно отражающую заключенную в этом множестве закономерность (тренд, тенденцию) - линию регрессии.

По числу факторов различают одно-, двух- и многофакторные уравнения регрессии.

По характеру связи однофакторные уравнения регрессии подразделяются на:

а) линейные: ,

где X - экзогенная (независимая) переменная;

Y - эндогенная (зависимая, результативная) переменная;

a, b - параметры.

б) степенные:

в) показательные:

г) прочие.

1.2 Определение параметров линейного однофакторного уравнения регрессии

Пусть у нас имеются данные о доходах (X) и спрос на некоторый товар (Y) за ряд лет (n)

ГОД n	ДОХОД X	СПРОС Y
1	x1	y1
2	x2	y2
3	x3	y3
...	...	...
n	xn	yn

Предположим, что между X и Y существует линейная взаимосвязь, т.е.

Для того, чтобы найти уравнение регрессии, прежде всего нужно исследовать тесноту связи между случайными величинами X и Y, т.е. корреляционную зависимость.

Пусть: x, х, . . . ,хn- совокупность значений независимого, факторного признака; y, y. . . ,yn - совокупность соответствующих значений зависимого, результативного признака; n - количество наблюдений.

Для нахождения уравнения регрессии вычисляются следующие величины:

Средние значения

- для экзогенной переменной.

- для эндогенной переменной.

2. Отклонения от средних величин

, .

Величины дисперсии и среднего квадратичного отклонения

, , .

Величины дисперсии и среднего квадратичного отклонения характеризуют разброс наблюдаемых значений вокруг среднего значения. Чем больше дисперсия, тем больше разброс.

Вычисление корреляционного момента (коэффициента ковариации):

Корреляционный момент отражает характер взаимосвязи между x и y. Если , то взаимосвязь прямая. Если , то взаимосвязь обратная.

Коэффициент корреляции вычисляется по формуле:

Доказано, что коэффициент корреляции находится в интервале от минус единицы до плюс единицы (). Коэффициент корреляции в квадрате () называется коэффициентом детерминации.

Если , то вычисления продолжаются.

Вычисления параметров регрессионного уравнения.

Коэффициент b находится по формуле:

После чего можно легко найти параметр a:

Коэффициенты a и b находятся методом наименьших квадратов, основная идея которого состоит в том, что за меру суммарной погрешности принимается сумма квадратов разности (остатков) между фактическими значениями результативного признака и его расчетными значениями , полученными при помощи уравнения регрессии

.

При этом величины остатков находятся по формуле:

, где

фактическое значение y;

расчетное значение y.

Пример. Пусть у нас имеются статистические данные о доходах (X) и спросе (Y). Необходимо найти корреляционную зависимость между ними и определить параметры уравнения регрессии.

Таблица 1.1. Статистические данные о доходах (X) и спросе (Y)

ГОД (n)	ДОХОД (X)	СПРОС (Y)
1	10	6
2	12	8
3	14	8
4	16	10,3
5	18	10,5
6	20	13

Предположим, что между нашими величинами существует линейная зависимость.

Тогда расчеты лучше всего выполнить в Excel, используя статистические функции;

СРЗНАЧ - для вычисления средних значений;

ДИСП - для нахождения дисперсии;

СТАНДОТКЛОН - для определения среднего квадратичного отклонения;

КОРЕЛЛ - для вычисления коэффициента корреляции.

Корреляционный момент можно вычислить, найдя отклонения от средних значений для ряда X и ряда Y, затем при помощи функции СУММПРОИЗВ определить сумму их произведений, которую необходимо разделить на n-1.

Результаты вычислений можно свести в таблицу 1.2.

Таблица 1.2. Параметры линейного однофакторного уравнения регрессии

Показатели	X	Y
Среднее значение	15	9,3
Дисперсия	14	6,08
Среднее квадр. отклонение	3,7417	2,4658
Корреляционный момент	8,96
Коэффициент корреляции	0,9712
Параметры	b=0,64	a = 0,3

В итоге наше уравнение будет иметь вид:

y = 0.3 + 0.64x

Используя это уравнение, можно найти расчетные значения Y и построить график (рис. 1.1).

Рис. 1.1. Фактические и расчетные значения

Ломаная линия на графике отражает фактические значения Y, а прямая линия построена с помощью уравнения регрессии и отражает тенденцию изменения спроса в зависимости от дохода.

Однако встает вопрос, насколько значимы параметры a и b? Какова величина погрешности?

1.3 Оценка величины погрешности линейного однофакторного уравнения

Обозначим разность между фактическим значением результативного признака и его расчетным значением как :

,

где

фактическое значение y;

расчетное значение y,

- разность между ними.

В качестве меры суммарной погрешности выбрана величина:

.

Для нашего примера S = 0.432.

Поскольку (среднее значение остатков) равно нулю, то суммарная погрешность равна остаточной дисперсии:

Остаточная дисперсия находится по формуле:

Для нашего примера. Можно показать, что

.

Если то

то

Таким образом, .

Легко заметить, что если

, то

Это соотношение показывает, что в экономических приложениях допустимая суммарная погрешность может составить не более 20% от дисперсии результативного признака .

Стандартная ошибка уравнения находится по формуле:

, где

- остаточная дисперсия. В нашем случае .

Относительная погрешность уравнения регрессии вычисляется как:

,

где стандартная ошибка; - среднее значение результативного признака.

В нашем случае = 7.07%.

Если величина мала и отсутствует автокорреляция остатков, то прогнозные качества оцененного регрессионного уравнения высоки.

Стандартная ошибка коэффициента b вычисляется по формуле:

В нашем случае она равна .

Для вычисления стандартной ошибки коэффициента a используется формула:



В нашем примере .

Стандартные ошибки коэффициентов используются для оценивания параметров уравнения регрессии.

Коэффициенты считаются значимыми, если

В нашем примере

Коэффициент а не значим, т.к. указанное отношение больше 0.5, а относительная погрешность уравнения регрессии слишком высока - 26.7%.

Стандартные ошибки коэффициентов используются также для оценки статистической значимости коэффициентов при помощи t - критерия Стьюдента. Значения t - критерия Стьюдента содержатся в справочниках по математической статистике. В таблице 1.3 приводятся его некоторые значения.

Далее находятся максимальные и минимальные значения параметров () по формулам:

Таблица 1.3 Некоторые значения t - критерия Стьюдента

Степени свободы	Уровень доверия (с)
(n-2)	0,90	0,95
1	6,31	12,71
2	2,92	4,30
3	2,35	3,18
4	2,13	2,78
5	2,02	2,57

Для нашего примера находим:

Если интервал () достаточно мал и не содержит ноль, то коэффициент b является статистически значимым на с - процентном доверительном уровне.

Аналогично находятся максимальные и минимальные значения параметра а. Для нашего примера:

Коэффициент а не является статистически значимым, т.к. интервал () велик и содержит ноль.

Вывод: полученные результаты не являются значимыми и не могут быть использованы для прогнозных расчетов. Ситуацию можно поправить следующими способами:

а) увеличить число n;

б) увеличить количество факторов;

в) изменить форму уравнения.

1.4 Проблема автокорреляции остатков. Критерий Дарбина-Уотсона

Часто для нахождения уравнений регрессии используются динамические ряды, т.е. последовательность экономических показателей за ряд лет (кварталов, месяцев), следующих друг за другом.

В этом случае имеется некоторая зависимость последующего значения показателя, от его предыдущего значения, которое называется автокорреляцией. В некоторых случаях зависимость такого рода является весьма сильной и влияет на точность коэффициента регрессии.

Пусть уравнение регрессии построено и имеет вид:

- погрешность уравнения регрессии в год t.

Явление автокорреляции остатков состоит в том, что в любой год t остаток не является случайной величиной, а зависит от величины остатка предыдущего года . В результате при использовании уравнения регрессии могут быть большие ошибки.

Для определения наличия или отсутствия автокорреляции применяется критерий Дарбина-Уотсона:

.

Возможные значения критерия DW находятся в интервале от 0 до 4. Если автокорреляция остатков отсутствует, то DW2.

Тема 2. Введение в регрессионный анализ

2.1 Построение уравнения степенной регрессии

Уравнение степенной агрессии имеет вид:

,

где

a, b - параметры, которые определяются по данным таблицы наблюдений.

Таблица наблюдений составлена и имеет вид:

Таблица 2.1. Таблица наблюдений

x	x1	x2	...	xn
y	y1	y2	...	yn

Прологарифмируем исходное уравнение и в результате получим:

ln y = ln a + bln x .

Обозначим ln y через , ln a как , а ln x как .

В результате подстановки получим:

Данное уравнение есть ничто иное, как уравнение линейной регрессии, параметры которого мы умеем находить.

Для этого прологарифмируем исходные данные:

Таблица 2.1. Таблица значений наблюдений после преобразования

ln x	ln x1	ln x2	...	ln xn
ln y	ln y1	ln y2	...	ln yn

Далее необходимо выполнить известные нам вычислительные процедуры по нахождению коэффициентов a и b, используя прологарифмированные исходные данные. В результате получим значение коэффициента b и . Параметр a можно найти по формуле:

.

В этих же целях можно воспользоваться функцией EXP в Excel.

2.2 Двухфакторные и многофакторные уравнения регрессии

Линейное двухфакторное уравнение регрессии имеет вид:

,

где - параметры;

- экзогенные переменные;

y - эндогенная переменная.

Идентификацию этого уравнения лучше всего производить с использованием функции Excel ЛИНЕЙН.

Степенное двухфакторное уравнение регрессии имеет вид:

где - параметры;

- экзогенные переменные;

Y - эндогенная переменная.

Для нахождения параметров этого уравнения его необходимо прологарифмировать. В результате получим:

.

Идентификацию этого уравнения также лучше всего производить с использованием функции Excel ЛИНЕЙН. Следует помнить, что мы получим не параметр a, а его логарифм, которое следует преобразовать в натуральное число.

Линейное многофакторное уравнения регрессии имеет вид:

где n- параметры;

n - экзогенные переменные;

y - эндогенная переменная.

Идентификацию этого уравнения также лучше всего производить с использованием функции Excel ЛИНЕЙН.

2.3 Применения уравнения регрессии. Эконометрика

Объектом изучения эконометрики, как самостоятельного раздела математической экономики, являются экономико-математические модели, которые строятся с учетом случайных факторов. Такие модели называются эконометрическими моделями. Исследование эконометрических моделей проводится на основе статистических данных об изучаемом объекте и с помощью методов математической статистики.

Основными задачами эконометрики являются: получение наилучших оценок параметров экономико-математических моделей, конструируемых в прикладных целях; проверка теоретико-экономических положений и выводов на фактическом (эмпирическом) материале; создание универсальных и специальных методов для обнаружения статистических закономерностей в экономике.

Для установления статистической зависимости (уравнения регрессии) между изучаемым экономическим показателем (объясняемой переменной) и влияющими на нее факторами (объясняющими переменными) проводится регрессионный анализ. Такой анализ предполагает идентификацию объясняющих переменных, спецификацию формы искомой связи между переменными, определение и оценку конкретных числовых значений параметров уравнения регрессии.

Для выявления тесноты связи между экономическими величинами в уравнении регрессии проводится корреляционный анализ. В ходе корреляционного анализа изучается сила влияния различных причин (последствия линейной регрессии и влияние неучтенных в модели факторов) вариации объясняемой переменной.

Контрольные вопросы к темам 1,2:

1. Определение корреляционной зависимости.

2. Корреляционный и регрессионный анализ.

3. Уравнения регрессии их основные типы и свойства.

4. Определение параметров линейного однофакторного уравнения регрессии.

5. Понятие коэффициента корреляции и его основные свойства.

6. Как определяются погрешности коэффициентов уравнения регрессии.

7. В чем состоит проблема автокорреляции остатков.

8. Сформулируйте критерий Дарбина-Уотсона.

9. Многофакторные уравнения регрессии.

Тема 3. Основные понятия и определения планирования эксперимента

3.1 Основные понятия и определения планирования эксперимента

Под экспериментом будем понимать совокупность операций, совершаемых над объектом исследования с целью получения информации о его свойствах. Эксперимент, в котором исследователь по своему усмотрению может изменять условия его проведения, называется активным экспериментом. Если исследователь не может самостоятельно изменять условия его проведения, а лишь регистрирует их, то это пассивный эксперимент.

Важнейшей задачей методов обработки полученной в ходе эксперимента информации является задача построения математической модели изучаемого явления, процесса, объекта. Ее можно использовать и при анализе процессов и при проектировании объектов. Можно получить хорошо аппроксимирующую математическую модель, если целенаправленно применяется активный эксперимент. Другой задачей обработки полученной в ходе эксперимента информации является задача оптимизации, т.е. нахождения такой комбинации влияющих независимых переменных, при которой выбранный показатель оптимальности принимает экстремальное значение.

Опыт - это отдельная экспериментальная часть.

План эксперимента - совокупность данных определяющих число, условия и порядок проведения опытов.

Планирование эксперимента - выбор плана эксперимента, удовлетворяющего заданным требованиям, совокупность действий направленных на разработку стратегии экспериментирования (от получения априорной информации до получения работоспособной математической модели или определения оптимальных условий). Это целенаправленное управление экспериментом, реализуемое в условиях неполного знания механизма изучаемого явления.

В процессе измерений, последующей обработки данных, а также формализации результатов в виде математической модели, возникают погрешности и теряется часть информации, содержащейся в исходных данных. Применение методов планирования эксперимента позволяет определить погрешность математической модели и судить о ее адекватности. Если точность модели оказывается недостаточной, то применение методов планирования эксперимента позволяет модернизировать математическую модель с проведением дополнительных опытов без потери предыдущей информации и с минимальными затратами.

Цель планирования эксперимента - нахождение таких условий и правил проведения опытов при которых удается получить надежную и достоверную информацию об объекте с наименьшей затратой труда, а также представить эту информацию в компактной и удобной форме с количественной оценкой точности.

Пусть интересующее нас свойство (Y) объекта зависит от нескольких (n) независимых переменных (Х1, Х2, …, Хn) и мы хотим выяснить характер этой зависимости - Y=F(Х1, Х2, …, Хn), о которой мы имеем лишь общее представление. Величина Y - называется “отклик”, а сама зависимость Y=F(Х1,Х2, …, Хn) - “функция отклика”.

Отклик должен быть определен количественно. Однако могут встречаться и качественные признаки Y. В этом случае возможно применение рангового подхода. Пример рангового подхода - оценка на экзамене, когда одним числом оценивается сложный комплекс полученных сведений о знаниях студента.

Независимые переменные Х1, Х2, …, Хn - иначе факторы, также должны иметь количественную оценку. Если используются качественные факторы, то каждому их уровню должно быть присвоено какое-либо число. Важно выбирать в качестве факторов лишь независимые переменные, т.е. только те которые можно изменять, не затрагивая другие факторы. Факторы должны быть однозначными. Для построения эффективной математической модели целесообразно провести предварительный анализ значимости факторов (степени влияния на функцию), их ранжирование и исключить малозначащие факторы.

Диапазоны изменения факторов задают область определения Y. Если принять, что каждому фактору соответствует координатная ось, то полученное пространство называется факторным пространством. При n=2 область определения Y представляется собой прямоугольник, при n=3 - куб, при n >3 - гиперкуб.

При выборе диапазонов изменения факторов нужно учитывать их совместимость, т.е. контролировать, чтобы в этих диапазонах любые сочетания факторов были бы реализуемы в опытах и не приводили бы к абсурду. Для каждого из факторов указывают граничные значения

, i=1,... n.

Регрессионный анализ функции отклика предназначен для получения её математической модели в виде уравнения регрессии:

Y=F(Х1,Х2, …, Хn; В0, В1, …, Вn) + е,

где В1, …, Вn - некоторые коэффициенты; е - погрешность.

Среди основных методов планирования, применяемых на разных этапах исследования, используют:

планирование отсеивающего эксперимента, основное значение которого выделение из всей совокупности факторов группы существенных факторов, подлежащих дальнейшему детальному изучению;

планирование эксперимента для дисперсионного анализа, т.е. составление планов для объектов с качественными факторами;

планирование регрессионного эксперимента, позволяющего получать регрессионные модели (полиномиальные и иные);

планирование экстремального эксперимента, в котором главная задача - экспериментальная оптимизация объекта исследования;

планирование при изучении динамических процессов и т.д.

Инициатором применения планирования эксперимента является Рональд А. Фишер, другой автор известных первых работ - Френк Йетс. Далее идеи планирования эксперимента формировались в трудах Дж. Бокса, Дж. Кифера. В России - в трудах Г.К. Круга, Е.В. Маркова и др.

В настоящее время методы планирования эксперимента заложены в специализированных пакетах, широко представленных на рынке программных продуктов, например: StatGrapfics, Statistica, SPSS, SYSTAT и др.

Представление результатов экспериментов

При использовании методов планирования эксперимента необходимо найти ответы на 4 вопроса:

Какие сочетания факторов и сколько таких сочетаний необходимо взять для определения функции отклика?

Как найти коэффициенты В0, В1, …, Bn?

Как оценить точность представления функции отклика?

Как использовать полученное представление для поиска оптимальных значений Y?

Геометрическое представление функции отклика в факторном пространстве Х1, Х2, …, Хn называется поверхностью отклика (рис. 3.1).

Рис. 3.1. Поверхность отклика

Если исследуется влияние на Y лишь одного фактора Х1, то нахождение функции отклика - достаточно простая задача. Задавшись несколькими значениями этого фактора, в результате опытов получаем соответствующие значения Y и график Y =F(X) (рис. 3.2).

Рис. 3.2. Построение функции отклика одной переменной по опытным данным

По его виду можно подобрать математическое выражение функции отклика. Если мы не уверены, что опыты хорошо воспроизводятся, то обычно опыты повторяют несколько раз и получают зависимость с учетом разброса опытных данных.

Если факторов два, то необходимо провести опыты при разных соотношениях этих факторов. Полученную функцию отклика в 3х-мерном пространстве (рис. 1) можно анализировать, проводя ряд сечений с фиксированными значениями одного из факторов (рис.3.3). Вычлененные графики сечений можно аппроксимировать совокупностью математических выражений.

Рис. 3.3. Сечения поверхности отклика при фиксированных откликах (а) и переменных (б,в)

При трех и более факторах задача становится практически неразрешимой. Если и будут найдены решения, то использовать совокупность выражений достаточно трудно, а часто и не реально.

Например, пусть необходимо исследовать влияние U, f и Rr на Мп и P2 асинхронного двигателя (АД) (рис.3.4).

Рис. 3.4. Исследование влияния U, f и Rr на Мп и P2 АД

Если в диапазоне изменения каждого фактора взять хотя бы по пять точек

то для того чтобы выполнить опыты при всех возможных сочетаниях значений факторов (их три) необходимо выполнить 53=125 опытов и сформировать по 52=25 кривых для каждой из двух функций отклика. Если мы хотим хотя бы продублировать опыты чтобы снизить погрешность, то число опытов пропорционально возрастает, поэтому произвольное выполнение опытов при числе факторов более двух и использование их результатов - практически нереально.

Разложение функции отклика в степенной ряд, кодирование факторов

Если заранее не известно аналитическое выражение функции отклика, то можно рассматривать не саму функцию, а ее разложение, например в степенной ряд в виде полинома

Y=В0 + B1Х1 + … + BnХn + В12Х1Х2 + … Вnn-1ХnХn-1 + В11Х12 + … + ВnnXn2 +….

Разложение в степенной ряд функции возможно в том случае, если сама функция является непрерывной и гладкой. На практике обычно ограничиваются числом членов степенного ряда и аппроксимируют функцию полиномом некоторой степени.

Факторы могут иметь разные размерности (А, В, Вт, об/мин) и резко отличаться количественно. В теории планирования эксперимента используют кодирование факторов.

Рис. 5. Пространство кодированных факторов

Эта операция заключается в выборе нового масштаба для кодированных факторов (рис. 5), причем такого, чтобы минимальное значение кодированных факторов соответствовало “-1”, а максимальное значение “+1”, а также в переносе начала координат в точку с координатами Х1ср, Х2ср, …, Хnср

.

Текущее значение кодированного фактора

,

где Хi - именованное (абсолютное) значение фактора; xi - кодированное значение фактора; Xicp -Ximin =Ximax-Xicp - интервал варьирования фактора.

Граница совместимости факторов указана на рис. 5 в виде кривой линии.

Если фактор изменяется дискретно, например он является качественным, то каждому уровню этого кодированного фактора присваиваются числа в диапазоне от +1 до -1. Так при двух уровнях это +1 и -1, при трех уровнях +1, 0, -1 и т.д.

Функция отклика может быть выражена через кодированные факторы Y=f(x1,…, хn) и записана в полиномиальном виде

Y=b0+b1х1+b2х2+…+bnхn+b12х1х2+…+bnn-1хn-1хn+b11х12+ …+bnnхn2+….

Очевидно, что , но

Y=F(X1,…, Xi,…, Xn) = f(x1,… xi,…, хn).

Для полинома, записанного в кодированных факторах, степень влияния факторов или их сочетаний на функцию отклика определяется величиной их коэффициента bi. Для полинома в именованных факторах величина коэффициента Вi еще не говорит однозначно о степени влияния этого фактора или их сочетаний на функцию отклика.

Степенной вид полинома может быть записан в более компактной форме

.

При определении общего числа членов степенного ряда количество парных сочетаний для n факторов в полиноме, тройных сочетаний, i-ных сочетаний при n>i находится по соотношению

.

Например, для набора четырех чисел (n=4) - 1, 2, 3, 4 число тройных сочетаний составляет

Если считать, что существует фактор х0 всегда равный 1, то

.

Если дополнительно все двойные, тройные и т.д. сочетания факторов, а также квадраты факторов и все соответствующие им коэффициенты обозначить через хi и bi, для i=n+1, …, m, то степенной ряд можно записать в виде

.

Здесь m+1 общее число рассматриваемых членов степенного ряда.

Для линейного полинома с учетом всех возможных сочетаний факторов

.

Полный квадратичный полином выглядит следующим образом:

,

где х0=1, х3=х1х2, х4=х12, х5=х22, b3=b12, b4=b11, b5=b22.

Тема 4. Преобразования при обработке результатов эксперимента

4.1 Матричные преобразования при обработке результатов эксперимента

При матричной записи результатов различных N опытов для полиномиального представления результата будем иметь

; Х - матрица сочетаний факторов.

N строк, m+1 столбец

Здесь 0,1, …,i,…, m - номера членов уравнения; 1,…,U,…,N … - номера опытов. Матрица Х - прямоугольная, содержащая m + 1 столбец и N строк.

Если учесть, что в матрице Х элементы , то матрицу Х можно записать

.

Домножим левую и правую часть этого уравнения на одну и туже матрицу Xt - транспонированную матрицу Х

.

Транспонированная матрица - это матрица, у которой по отношению к исходной столбцы и строки поменяны местами.

строка, N столбцов

матрица, получившаяся в результате произведения транспонированной матрицы на исходную. Она является квадратной матрицей, содержащей m +1 строку и m + 1 столбец.

.

Для того чтобы получить в общем виде матрицу-столбец коэффициентов В необходимо домножить обе части последнего матричного уравнения слева на матрицу С-1 - матрицу обратную матрице С.

.

Обратная матрица строится так (используется процедура обращения матрицы), что при умножении ее на исходную матрицу получается единичная матрица - Е, у которой на главной диагонали расположены 1, а вне ее - 0.

.

Окончательно в общем виде матрица-столбец коэффициентов полинома

.

Рассмотрим в качестве простого примера полином в видеформируемого по результатам N опытов.

;

;

.

;

Откуда решение системы относительно коэффициентов b0 и b1

, .

Этот результат полностью совпадает с соотношениями для такого же полинома при использовании метода наименьших квадрантов, где используется численный показатель минимальности суммы квадрантов отклонений во всех N опытах. Следовательно, построенный таким образом полином будет проходить самым ближайшим образом к результатам эксперимента.

Ортогональное планирование эксперимента

Структура матрицы С играет важную роль в реализации алгоритма определения коэффициентов аппроксимирующего полинома. Структура матрицы С зависит от выбора значений факторов в N опытах. Поэтому желательно особым образом выбирать значения факторов в опытах.

Элемент Сii на главной диагонали матрицы С (i-тая строка, i-тый столбец) представляется суммой квадратов значений i-того столбца сочетаний факторов матрицы Х в N опытах

Элементы матрицы симметрично расположенные относительно главной диагонали равны между собой, то есть матрица С - симметричная.

где первый индекс указывает номер столбца матрицы Х, второй индекс - номер строки.

При этом

Чтобы существовала матрица С-1, матрица С размера (1+m; 1+m) должна быть невырожденной, то есть ее определитель должен быть отличен от нуля. Это условие выполняется, если все m+1 столбцов матрицы Х линейно независимы. Кроме того, необходимо, чтобы число различных сочетаний факторов в матрице Х (число опытов N) должно быть не меньше чем m+1. Это условие исходит из того, что для определения m+1 коэффициента полинома необходимо не менее m+1 уравнений (опытов).

Полученные коэффициенты B позволяют сформировать уравнение функции отклика при m+1 членах уравнения. Если точность этого уравнения оказалась недостаточной, то требуется взять уравнение с большим числом членов и начать все заново так как все коэффициенты B оказываются зависимыми друг от друга. Это возникает при использовании пассивного эксперимента. Однако если целенаправленно использовать активный эксперимент и особым образом построить матрицу сочетаний факторов в опытах Х, использовать планирование эксперимента, то коэффициенты полинома определяются независимо друг от друга.

Стратегия применения планов заключается в принципе постепенного планирования - постепенного усложнения модели. Начинают с простейшей модели, находятся для нее коэффициенты, определяется ее точность. Если точность не удовлетворяет, то планирование и модель постепенно усложняются.

Задача планирования заключается в том как нужно строить матрицу Х, чтобы матрица С легко обращалась и коэффициенты B определялись независимо друг от друга. Эти требования выполняется если матрица С является диагональной, то есть все элементы расположенные не на главной диагонали матрицы равны нулю

;

.

Тогда обратная матрица определяется как

.

В этом случае система уравнений распадается на m+1 независимых уравнения и коэффициенты полинома определяются как

Если учесть, что Сii определяется как сумма квадратов значений факторов

,

то коэффициенты определяются как

Требование выполнения условия заключается в выполнении условия

,

где i, j - номера столбцов в матрице Х; ; ; при .

Каждый столбец матрицы Х можно представить в виде вектора



если ,

то это означает что скалярное произведение двух векторов Хi и Хj равняется нулю, то есть векторы Хi и Хj - ортогональны.

Так как любое скалярное произведение двух различных столбцов в матрице Х должно быть равно нулю, то это условие называется условием ортогональности матрицы Х, а соответствующее планирование эксперимента (определение сочетаний факторов) называется ортогональным планированием.

Для ортогонального планирования при учете того что

.

Таким образом, при ортогональном планировании сумма элементов любого столбца матрицы Х, кроме первого столбца должно быть равна нулю. Это правило используется при построении плана эксперимента, то есть при определении каким образом нужно менять значения факторов в опытах. Это правило показывает, что в ортогональном планировании при четном числе уровней, на которых фиксируется каждый фактор, то эти уровни должны быть симметрично расположены относительно центральной точки х=0, при нечетном числе уровней должна использоваться и центральная точка (рис.6).

Кроме свойства ортогональности план может обладать свойствам насыщенности, рототабельности и др. План является насыщенным, если общее число опытов N равняется числу неизвестных коэффициентов полинома m+1.



Рис. 6. Выбор уровней варьирования при ортогональном планировании

План называется рототабельным, если дисперсия отклика одинакова на одном расстоянии от центра плана при любом направлении в факторном пространстве. В упрощенном виде это означает, что все точки плана лежат на окружности (сфере, гиперсфере).

Планы полного факторного эксперимента 2n (планы ПФЭ 2n)

Планы ПФЭ 2n являются простейшими планами первого порядка. Основание 2 означает, что принято два уровня варьирования, на которых фиксируются факторы. n - число факторов.

Для плана ПФЭ 22 число факторов равно двум (n=2) и число уровней фиксирования факторов также 2. Значения кодированных факторов выбираются в виде +1 и -1. Полное число возможных сочетаний значений n факторов (число опытов, а значит и число строк плана) N=22=4. Составляется план, в котором число столбцов факторов и их сочетаний равняется числу членов уравнения. Так для уравнения

План ПФЭ 22 для этого уравнения представляется в следующем виде

В первый столбец (i=0) во все четыре ячейки заносятся +1. Во второй столбец (i=1) заносятся единицы с чередующими знаками (начинаем с -1). В этом случае сумма элемента столбца равняется нулю. Третий столбец заполняем единицами с чередующимися через 2 элемента знаками. Сумма элементов также равняется нулю. Геометрическое отображение плана ПФЭ 22 с указанием номеров точек плана в факторном пространстве представлено на рис. 7. Точки плана располагаются в вершинах квадрата.

Рис. 7. Геометрическое отображение плана ПФЭ 22 в факторном пространстве

Элементы столбцов соответствующих произведениям факторов получаются путем перемножения элементов предыдущих столбцов. Такое правило позволяет гарантировать, что мы не пропустили ни одного возможного сочетания факторов в опытах и в то же время не будет повторений одинаковых сочетаний. Последние два столбца факторов, соответствующие квадратам факторов, состоят только из +1. Столбцы, обведенные утолщенной рамкой, образуют план эксперимента. Столбец х1х2, не обведенный утолщенной рамкой, при проведении опытов носит вспомогательный характер.

Особенности плана ПФЭ 22:

1. Различных столбцов в таблице получилось лишь четыре. Столбцы, соответствующие квадратам факторов неотличимы от столбца х0 - это общий результат для плана ПФЭ 2n. Это не позволяет определить отдельно коэффициенты при квадратах факторов. Поэтому планы ПФЭ 2n называют планами первого порядка. Для определения коэффициентов при квадратах факторов используют планы второго порядка. В дальнейшем в планах ПФЭ 2n столбцы квадратов факторов изображаться не будут.

2. Число различных столбцов равняется числу различных сочетаний факторов, то есть числу строк плана - числу опытов N. Это тоже общий результат для этих планов, то есть с помощью планов ПФЭ 2n можно определить все коэффициенты линейного полинома со всеми возможными сочетаниями факторов, включая коэффициенты b12…n , отражающие максимальное взаимодействие факторов вида х1х2…хn.

3. В плане ПФЭ 22 сумма квадратов элементов любого столбца

,

Поэтому для планов ПФЭ 2n

.

Таким образом, с помощью планов ПФЭ 2n можно определить свободный член уравнения b0, коэффициентов bi, коэффициентов при различных взаимодействиях двух факторов bij , коэффициентов тройных взаимодействий факторов bijk , ….., коэффициент b12…n. максимального взаимодействия факторов. Общее число определяемых коэффициентов

.

План ПФЭ 2n может являться насыщенным, при выборе числа членов уравнения m+1=N, ненасыщенным, при выборе числа членов уравнения и соответственно числа столбцов плана m+1<N . План ПФЭ 2n является также рототабельным, так как все точки плана лежат на окружности (сфере, гиперсфере) с радиусом относительно центра плана.

Для плана ПФЭ 23 число факторов n = 3. Выполняется N = 23 = 8 опытов. Уравнение может содержать до восьми членов

.

Таким образом формируется план из восьми строк и восемь столбцов. В четвертом столбце (i=3) записываются единицы с чередующимися знаками через четыре элемента. План составляется аналогичным образом плану ПФЭ 22.

Столбцы, обведенные утолщенной рамкой, образуют план эксперимента. Столбцы, не обведенные утолщенной рамкой, при проведении опытов носят вспомогательный характер. Геометрическое отображение плана ПФЭ 23 с указанием номеров точек плана в факторном пространстве представлено на рис. 8. Точки плана располагаются в вершинах куба.

Пример применения плана ПФЭ 22. Пусть в результате проведения экспериментов по плану ПФЭ 22, то есть при изменении двух факторов, мы получили опытные значения Y1, Y2, Y3, Y4. Поверхность, уравнение которой нас интересует, имеет вид рис. 9.



Рис. 9. Поверхность функции отклика

Составляем план ПФЭ 22.

Вначале найдем коэффициенты сокращенного линейного полинома вида

и результаты вычислений по нему.

Рассчитываем коэффициенты полинома.

;

;

.

Полином имеет вид

.

Результаты расчета по нему приведены в соответствующем столбце плана. Наблюдаются расхождения между Y и . Если точность сокращенного полинома не удовлетворяет, то по тем же результатам опытов можно сформировать более полный полином вида

.

При этом ранее определенные коэффициенты остаются без изменений. Определим коэффициент при дополнительном члене полинома

.

Полином имеет вид

.

По нему рассчитываем предсказанные значения отклика в точках плана (столбец ). Поверхность, построенная по полученному полиному, проходит точно через четыре точки плана (=0), по которым определены коэффициенты. Однако в других точках области определения функции, например в центре плана (точка 5 в плане, х1=0, х2=0), предсказанные и действительные значения, могут не совпадать (=3).

Контрольные вопросы к темам 3,4:

1. Понятия эксперимента, опыта, плана эксперимента, планирование эксперимента.

2. Поверхность отклика, её геометрическая интерпретация

3. Ортогональное планирование эксперимента

Раздел 2. Статистическое исследование зависимостей

Тема 5. Типовые задачи практики статистического исследования зависимостей

5.1 Схема взаимодействия переменных при статистическом исследовании зависимостей

Основная цель статистического исследования зависимостей (СИЗ) состоит в том, чтобы на основании частных результатов статистического наблюдения за показателями двух или трех различных явлений, происходящих с исследуемым объектом, выявить и описать существующие взаимосвязи. В случае численного выражения такие показатели называют переменными. статистический зависимость нелинейный регрессия

Рамки применения аппарата СИЗ определяются двумя условиями:

- стохастичность интересующей нас взаимосвязи между переменными (т.е. реализация явления или события А одной переменной может повлечь за собой событие В другой переменной с вероятностью р);

- взаимосвязь между переменными выявляется на основе статистических наблюдений по выборкам из соответствующих генеральных совокупностей событий.

Опишем функционирование изучаемого реального объекта набором переменных, среди которых выделим:

x(1),..., x(p) - «входные» переменные, описывающие условия или причинные компоненты функционирования (поддаются контролю или частичному управлению); для них используются такие термины как факторы-аргументы, факторы-причины, экзогенные, предикторные (предсказательные), объясняющие;

y(1),..., y(m) - «выходные», характеризующие поведение объекта или результат (эффективность) функционирования; обычно их называют отклики, эндогенные, результирующие, объясняемые, факторы-следствия, целевые факторы;

(1),..., (m) - латентные (скрытые, не поддающиеся непосредственному измерению) случайные «остаточные» компоненты, отражающие влияние на y(1),..., y(m) неучтенных «на входе» факторов, а также случайные ошибки в измерении анализируемых показателей; остатки.

Используя введенный набор переменных, задача СИЗ может быть сформулирована следующим образом: по результатам N измерений

исследуемых переменных на N объектах построить такую (векторно-значимую) функцию

,

которая позволила бы наилучшим образом восстановить значения переменных по заданным значениям объясняющих переменных .

5.2 Конечные прикладные цели статистического исследования зависимостей

С выяснения цели должно начинаться всякое СИЗ. От этого зависит план исследования, выбор общей структуры математической модели, интерпретация статистических характеристик и выводов. Выделим три основных типа:

Тип 1. Установление самого факта наличия (или отсутствия) статистически значимой связи между Y и X и, возможно, оценка степени тесноты.

Тип 2. Прогноз (восстановление) неизвестных значений интересующих нас индивидуальных или средних значений результирующих показателей Y по заданным значениям объясняющих переменных X.

При такой постановке статистический вывод включает описание интервала, или области AP(X) вероятных значений Y(X) или Yср(X)

Y(X) AP(X) или Yср(X) AP(X)

с некоторой вероятностью P, гарантирующей справедливость прогноза.

Исследователя интересуют лишь значения f(x), выбор конкретного вида функции f(x) в (4.2) и состава объясняющих переменных X играет подчиненную роль и нацелен на тип ошибки получаемого прогноза. Существенно используются значения функции f(x) для построения прогнозных интервалов (областей) AP(X). Они обычно определяются из

- гарантируемая (с вероятностью не менее P) максимальная величина ошибки прогноза.

Тип 3. Выявление причинных связей между объясняющими переменными X и результирующими показателями Y, частичное управление Y путем регулирования величин X. Эта постановка требует вскрытия «черного ящика» механизма преобразования входных (X), и случайных () переменных в результирующие (Y).

5.3 Типовые задачи практики статистического исследования зависимостей

Выделим в проблеме управления сложной системой те направления прикладных исследований, где существенную роль играет математический аппарат СИЗ.

Нормирование. Опишем схематично, как используются методы СИЗ при формировании нормативов. Нормативный показатель в моделях типа у f(Х) или усрf(Х) играет роль у, а факторы, участвующие в расчете нормативного показателя - роль Х. Предполагается, что детерминированное определение y по Х невозможно. Поэтому анализируется связь вида:

...