Методы наилучшего решения регрессионных задач

1. Наилучшее решение регрессионных задач возможно при системном подходе в границах триединой проблемы: устойчивое (робастное) планирование эксперимента, устойчивая структура статистической модели, устойчивое оценивание коэффициентов модели [8, c. 96...102].

Под устойчивым (робастным) планом эксперимента понимается план полного или дробного факторного эксперимента, позволяющий выбрать неизвестные исследователю структуры «истинных» статистических моделей полиномиального вида, линейных по параметрам, и получить адекватные модели (w - текущий номер определяемой модели, 1 ? w ? m; m - общее число определяемых моделей по устойчивому плану эксперимента). План эксперимента не изменяется для получаемых различных структур моделей.

Устойчивыми планами экспериментов будут планы полного факторного эксперимента, многофакторные регулярные планы, планы на основе ЛПф равномерно распределенных последовательностей.

Разработан новый подход формализованного выбора устойчивых структур многофакторных статистических моделей, линейных относительно параметров и, в общем случае, нелинейных по факторам.

Устойчивая структура многофакторной статистической модели - структура, которая характеризуется неизменностью множества главных эффектов и взаимодействий многофакторной статистической модели полиномиального вида при изменении значений результатов экспериментов (откликов), порождаемых случайными ошибками (погрешностями) результатов наблюдений, измерений, вычислений и неопределенностью искомой структуры модели. Структурные элементы моделей выбираются из множества структурных элементов модели полного факторного эксперимента с ортогональными или слабо коррелированными (коэффициент парной корреляции rij < 0,3) эффектами с использованием устойчивого (робастного) плана эксперимента.

Необходимо также обеспечить устойчивость коэффициентов модели. Под устойчивостью коэффициентов статистической модели будем понимать минимально возможную изменчивость коэффициентов многофакторной статистической модели полиномиального вида к случайным ошибкам (погрешностям) результатов наблюдений, измерений и вычислений. Для оценки устойчивости коэффициентов используется число обусловленности cond(X TX). Устойчивость наилучшая, если cond(X TX)= 1, хорошая 1< cond(X TX) ? 10, удовлетворительная 10 < cond(X TX) ? 100, неудовлетворительная cond(X TX) > 100. Коэффициенты будут максимально устойчивыми, если их эффекты ортогональны друг к другу (или близки к ортогональным) и нормированы.

2. Предложено структуру многофакторной статистической модели, неизвестной заранее исследователю, выражать в виде множества эффектов:

> NП,

где 1 - значение фиктивного фактора x0 1;

- ортогональные контрасты факторов Xi;

k - общее число факторов, 1 ? i ? k;

(1), (2), …, (si -1) - порядок контрастов фактора Xi;

si - число различных уровней для факторов Xi;

NП - число структурных элементов полного факторного эксперимента, равное числу опытов эксперимента.

Структура включает множество главных эффектов и множество взаимодействий главных эффектов, необходимых и достаточных для получения адекватных статистических моделей. Необходимость обосновывается теоремами Вейерштрасса, Стоуна, Джексона, а достаточность подтверждается многочисленным использованием структуры для адекватной аппроксимации различных полных и дробных факторных экспериментов.

Разработан алгоритм RASTA3, позволяющий выбирать структурные составляющие многофакторной статистической модели [9, c. 179...182]. Для получения моделей разработано программное средство «Планирование, регрессия и анализ моделей» (ПС ПРИАМ) [9, c. 45...47].

Для получения «наилучших» структур статистических моделей необходимо выполнение следующих условий: 1) статистическая независимость коэффициентов моделей, 2) статистическая значимость коэффициентов, 3) соответствие плана эксперимента устойчивому (робастному) плану, 4) эффекты, введенные в модель, должны быть нормированы [10, с. 9...10].

3. Методология теории планирования эксперимента разработана для областей факторного пространства: прямоугольный параллелепипед (куб), сфера, симплекс [9, с. 197...199]. В нестандартных областях факторного пространства факторы и их эффекты - главные и взаимодействия - коррелированы между собой. В качестве общего метода получения возможно наилучших статистических моделей для произвольных областей факторного пространства предлагается использовать метод топологического отображения прообраза факторного пространства в образ (рис. 1).

Разработаны два метода отображения прообраза в образ [11].

1) Путем построения функции отображения прообраза в образ - алгоритмы RASTA4, RASTA4К [9, с. 211...258].

2) С установлением собственной кодированной системы координат в области прообраза и в области образа - алгоритмы RASTA5.1, RASTA10 [12, 13].

Рис. 1. Системы натуральных и собственных кодированных координат областей образа и прообраза факторного пространства при линейном ограничении образа

Разработанное отображение факторного пространства сохраняет ортогональность факторов Xiпр, Xjпр в прообразе факторного пространства и в образе факторного пространства при отображении точек прообраза в точки образа, т. е. координат уровней факторов прообраза в координаты уровней факторов образа, при условии введения в образе собственной кодированной системы координат. Свойство ортогональности факторов в прообразе и образе является инвариантным свойством преобразования, или топологическим инвариантом, а равенство нулю коэффициентов парной корреляции факторов в прообразе и образе (rij (xiпр, xjпр ) = = rij (xiо, xjо ) = 0, (1 ? i <j ? k)) - инвариантным числом.

Оптимальные свойства статистических оценок коэффициентов уравнения регрессии, полученных в прообразе с использованием метода максимального правдоподобия, сохраняются для условий, полученных путем топологического отображения прообраза в образ; единственность оценок также выполняется.

Разработанные методы, алгоритмы и подходы устойчивого оценивания статистических моделей позволяют выбрать устойчивый план эксперимента, устойчиво оценивать структуру и коэффициенты многофакторных статистических моделей (1 ? cond(X TX) < 10) в условиях высокой мультиколлинеарности факторов (0,6 < < r ij(Xiо, Xjо) < 1). Возможно получение устойчивого решения некорректно поставленных задач построения многофакторных статистических моделей в различных нестандартных областях факторного пространства.

4. Концепция ортогональности включает следующие основные положения.

1) В полном факторном эксперименте любые эффекты ортогональны друг к другу (теорема Бродского) [14, с. 26...29]. Если эффекты факторов и взаимодействий выразить в виде системы ортогональных нормированных контрастов, т. е.

то матрица дисперсий-ковариаций примет вид:

(X T X)-1у2(е) = (1/N)Eу2(е),

где - значение p-го ортогонального контраста i-го фактора для u-й строки матрицы планирования, 1 ? u ? N, 1 ? p ? si - 1;

- значение q-го ортогонального контраста j-го фактора для u-й строки матрицы планирования, 1 ? q ? sj - 1, 1 ? i < j ? k;

X - матрица эффектов полного факторного эксперимента;

у2(е) - теоретическое значение дисперсии воспроизводимости результатов опытов;

N - число опытов в плане эксперимента;

E - единичная матрица.

Ортогональный многофакторный план эксперимента является максимально устойчивым (робастным) при получении неизвестной ранее исследователю структуры модели и оценке ее коэффициентов.

2) Для дробного факторного эксперимента необходимо использовать многофакторные регулярные планы экспериментов. В этих планах все главные эффекты ортогональны друг к другу. В планах на основе ЛПф равномерно распределенных последовательностей эффекты близки к ортогональным [9, с. 166...169].

3) Главные эффекты в статистических моделях необходимо представлять в виде ортогональных контрастов, которые следует нормировать.

4) В тех случаях, когда условия решения прикладной задачи не позволяют представить эффекты ортогонально друг к другу, необходимо использовать метод топологического отображения прообраза факторного пространства в образ и другие подходы [9, с. 199, 204, 211...258].

5. Разработаны последовательные регулярные планы экспериментов с хорошими статистическими свойствами [9, с. 148...150]. Возможны следующие последовательности планов: 34//9 > 34//27; 34//18 > 34//27 > 34//54; 56//25 > 56//50; 48//32 > 48//64 [9, с. 429...431].

6. Разработаны алгоритм генерирования квазиортогональных планов экспериментов с ограничением на число проводимых опытов и минимально возможной коррелированностью столбцов эффектов RASTA1; алгоритм генерирования квази-D-оптимальных планов экспериментов RASTA2 [9, с. 150...152]; алгоритм генерирования квазирегулярных и квазиравномерных планов экспериментов RASTA8. Все алгоритмы позволяют получать планы с хорошими статистическими свойствами.

Разработанные методы наилучшего решения регрессионных задач были использованы при решении более ста прикладных задач и показали хорошие результаты.

В исследовании [15] были проведены математическое моделирование и компромиссная оптимизация технологического процесса электроэрозионной прошивки отверстий в стали 1X12CЮ.

Критериями качества (откликами) были выбраны:

y1 - производительность обработки П, мм3/мин; П = max;

y2 - износ электроэрозионного инструмента J, %; J = min.

В результате анализа априорной информации и потребностей производства исследовали влияние на критерии качества следующих факторов:

X1 - давление прокачиваемой жидкости, РE , кгс/см2; уровни фактора 0,5; 1,0; 1,5;

X2 - рабочий ток в межэлектродном зазоре IE , A; уровни 18; 22; 26;

X3 - частота импульсов fE , кГц; уровни 2; 3; 4;

X4 - напряжение на вибраторе UE , В; уровни 50; 70; 90;

X5 - напряжение на двигателе подачи электрода-инструмента WE, В; уровни 60; 80; 100.

В качестве плана эксперимента целесообразно использовать регулярный равномерный план 35//27. Структуры математических моделей выбирались из структурного множества эффектов модели полного факторного эксперимента:

(1 + x1 + z1)(1 + x2 + z2)…(1 + x5 + z5) > NП,

где x1, x2, …, x5 и z1, z2, …, z5 - соответственно линейные и квадратичные ортогональные контрасты факторов X1, X2, …, X5.

По плану эксперимента 35//27 и значениям уровней факторов была построена рабочая матрица. По условиям каждой строки рабочей матрицы рандомизированно было проведено по два повторных опыта. Получение математических моделей и их статистический анализ были проведены с использованием ПС ПРИАМ:

где x1 = 2(X1 - 1), z1 =1,5(- 0,666667);

x2 = 0,25(X2 - 22), z2 =1,5(- 0,666667);

x3 = X3 - 3, z3 =1,5(- 0,666667);

x4 = 0,05(X4 - 70), z4 =1,5(- 0,666667);

x5 = 0,05(X5 - 80), z5 =1,5(- 0,666667).

Формирование структур моделей и по алгоритму RASTA3 производилось выбором из всех главных эффектов и взаимодействий по два и три эффекта с соблюдением условия rij < 0,4. Выбранные эффекты в модели все ортогональны друг к другу (rij = 0), в модели - только rij (x1, z1x2z5) = 0,2887, для остальных эффектов rij = 0.

Построенные модели адекватны, высокоинформативны, максимально устойчивы. Подтверждается устойчивость их структуры и оценок коэффициентов. Эти модели были использованы для анализа влияния различных факторов на изучаемые критерии качества (отклики) y1 и y2. По моделям и была проведена многокритериальная компромиссная оптимизация по Парето, получены значения факторов X1…X5, дающих оптимальные значения критериев качества.

Выводы