Методология и программно-математический инструментарий информационного обеспечения точного земледелия

Сравнивая результаты с предыдущим прогнозом, сделанным на неделю вперед, легко заметить, что качество прогнозирования заметно улучшилось. Численные характеристики оказались заметно лучше, и визуально видно, что кривая прогнозов лучше соответствует реальным данным.

Численные эксперименты показали эффективность разработанных алгоритмов адаптивного прогнозирования в задаче краткосрочного прогнозирования метеорологических временных рядов.

3.2 Бинарная регрессия. Логит и пробит анализы

Во многих прикладных исследованиях зависимыми переменными являются дихотомические или бинарные величины, они принимают значения единица и ноль; например, если урожайность культуры выше некоторого порогового уровня, то переменная принимает значение единица, если ниже, то ноль. Предположим, что необходимо предсказывать вероятности подобных событий. Например, хотелось бы выяснить, чем отличаются поля с урожайностью некоторой культуры выше порогового уровня от полей с урожайностью ниже заданного порогового уровня. В этом случае факт превышения порогового уровня означает, что зависимая бинарная величина принимает значение единица, в противоположном случае - значение ноль, а характеристики почвы выступают в роли факторов.

Логит и пробит анализы применимы в целях прогнозирования урожайности культур по выбранному набору агрометеорологических, агрофизических, агротехнологических и других характеристик.

Любой набор факторов не может исчерпывающим образом описать все возможные взаимосвязи, существующие в природе и влияющие на урожайность культуры, поэтому любой прогноз будет носить вероятностный характер.

Выбор факторов, оказывающих значимое влияние на урожайность культуры, не полностью очевиден. В принципе может оказаться, что среди выбранных факторов некоторые не оказывают большого влияния на урожайность и, поэтому могут быть исключены из рассмотрения, тем более в ситуации, когда измерение этих факторов вызывает затруднения. В связи с этим представляет интерес задача определения минимально достаточного набора факторов, по которым возможно удовлетворительное прогнозирование урожайности культуры.

Спрогнозировать числовое значение урожайности на конкретном участке чрезвычайно трудно, даже имея самый исчерпывающий набор факторов. Легче спрогнозировать возможность того, что урожайность превысит или не превысит некоторое фиксированное пороговое значение, определяющее хороший или допустимый уровень урожайности культуры для данного региона.

В такой постановке задачи прогнозирования зависимая переменная является дихотомической или бинарной величиной, она принимает значения единица и ноль. Предположим, что необходимо предсказывать вероятности подобных событий. Попытка решения задачи прогнозирования в такой постановке (даже при неудачном решении) имеет смысл. Действительно, если прогноз окажется неудачным, то есть, например, высокой вероятности превышения порогового уровня будет часто соответствовать противоположная ситуация - урожайность окажется ниже порогового значения, то можно будет сделать вывод о том, что выбранный набор факторов не включает действительно важных факторов для урожайности данной культуры. И, следовательно, данный набор факторов не является достаточным для прогнозирования.

Можно ввести следующие обозначения:

- бинарная переменная, принимает значение 1, если средняя урожайность на поле выше заданного уровня, и 0, если ниже;

набор характеристик.

В рассматриваемой задаче естественно с самого начала воспользоваться нелинейной моделью для описания математического ожидания бинарной переменной, то есть по существу вероятности того, что бинарная переменная принимает значение равное единице, а именно положим:

, (3.2)

где функция распределения некоторой случайной величины.

При таком подходе не возникает трудностей с интерпретацией значений функции после подстановки в нее оценок неизвестных параметров и значений факторов, так как вычисленное значение представляет собой оценку вероятности того, что бинарная переменная будет равна единице.

В качестве функции можно использовать любую непрерывную функцию распределения, соответствующую симметричному распределению, однако на практике принято применять две функции распределения: логистическую:

и функцию стандартного нормального распределения:

.

При использовании логистической функции распределения соответствующую модель называют логистической моделью или логит - моделью, а при использовании стандартного нормального распределения модель называют пробит - моделью.

Рассмотрим задачу статистического оценивания неизвестных параметров в общей модели бинарной регрессии. Очевидно, что наблюдения подчиняются распределению Бернулли с вероятностями . Будем предполагать статистическую независимость отдельных наблюдений между собой. В рассматриваемой задаче можно воспользоваться методом максимального правдоподобия для нахождения точечных оценок неизвестных параметров.

Пусть имеются наблюдения , состоящие из нулей и единиц, тогда функция правдоподобия имеет вид:

,

.

В данном случае ввиду дискретности наблюдений значение функции правдоподобия представляет собой совместную вероятность получить те наблюдения, которые имеются в наличии. Согласно методу максимального правдоподобия будем искать неизвестные параметры, решая задачу:

,

Значения неизвестных параметров, доставляющих максимум функции правдоподобия, будем обозначать и называть оценками максимального правдоподобия. В диссертации показано существование решений сформулированной оптимизационной задачи, разработан алгоритм нахождения оценок и написана программа в среде Matlab, позволяющая находить оценки метода максимального правдоподобия, строить логит и пробит модели и проводить верификацию построенных моделей на имеющихся статистических данных. На первом этапе в работе с программой необходимо выбрать метод: логит или пробит-анализа (рис. 5).

Рис. 5. Окно выбора метода

Перед началом работы необходимо сформировать файлы, содержащие начальные данные. Данные формируются в текстовом формате в соответствии с определенными правилами, изложенными в шаблонах.

Пути к файлам выбираются с помощью соответствующих кнопок в главном окне программы (рис. 6). В качестве начальных данных необходимо указать:

· Имя файла, содержащего значения измерений факторов и показателя;

· Имя файла, в который будет записываться ответ.

Рис. 6. Главное окно. Логит и пробит методы

Для использования возможности построения трехмерных графиков:

· Имя файла, содержащего значения фиксируемых переменных.

Для построения бинарной регрессии значение показателя должно быть дихотомической величиной. В программе предусмотрена опция сведения показателя к бинарной величине, и она должна быть использована, если файл входных данных содержит вещественные значения показателя, иначе программа выдает ошибку с информацией о невозможности построения бинарной регрессии. В случае выбора опции сведения показателя к бинарной переменной, программа предлагает задать пороговый уровень, значение которого используется для расчета бинарной переменной.

После ввода входных данных необходимо задать имя файла для записи результата. Затем строится уравнение модели логит или пробит-анализа. На экран выводится уравнение построенной регрессии, результат - уравнение построенной регрессии - также записывается в текстовый файл. В текстовом выходном файле указывается метод, по которому было построено уравнение, путь и название файла исходных данных. После построения уравнения становятся доступными опции построения графика, формирования прогноза и задания интервалов для определения "разброса" наблюдений. Рассчитывается показатель доли успешных прогнозов, т.е. отношение количества значений наблюдений, построенных по методу логит или пробит-анализа, определенных как верные по принципу проверки, изложенному в постановке задачи, к общему количеству наблюдений в выборке.

В заключение, обсудим общую схему применения логит и пробит анализов в точном земледелии, а также задачи, которые могут решаться на основе логит и пробит моделей. Предположим, что поле было разделено на относительно однородные участки, на которых получены числовые значения выбранных факторов и получено значение бинарной переменной, здесь номер участка. Кроме того, предполагается, что значения бинарных переменных, полученных на разных участках, статистически независимы. Вначале собранные данные используются для построения оценок неизвестных параметров и, следовательно, для построения модели, которая в принципе может применяться для прогнозирования. Однако построенную модель следует протестировать на пригодность по собранным статистическим данным. Для этого нужно сравнить значение бинарной переменной для каждого участка и значение построенной эмпирической модели при подстановке в нее значений факторов, соответствующих тому же участку, что и бинарная переменная. Для того, чтобы модель могла быть признана адекватной, как правило, должно наблюдаться следующее соответствие: если бинарная переменная принимает значение 1, то модель должна давать вероятность больше 0,5; при значении бинарной переменной 0, модель должна, как правило, давать вероятность меньше 0,5. Если подобное соответствие в большинстве случаев выполняется, то построенная модель пригодна для прогнозирования, а выбранный набор факторов достаточен. В противном случае модель непригодна. Тогда следует изменить набор объясняющих факторов. Но и в том случае, когда модель показала хорошие результаты при тестировании, можно попробовать уменьшить количество рассматриваемых факторов и для уменьшенного набора произвести все необходимые расчеты для построения оценок неизвестных параметров и, следовательно, для построения новой более простой модели. Если новая модель окажется хорошей, то это будет означать, что для прогнозирования достаточен уменьшенный по сравнению с первой моделью набор факторов. Таким образом, появляется принципиальная возможность определения минимально достаточного набора факторов. Определение минимально достаточного набора факторов для прогнозирования может иметь большое значение, так как измерение некоторых факторов может оказаться слишком трудоемким или точность определения числовых значений факторов слишком низкой. Кроме того, в любом случае речь идет об экономии ресурсов, что само по себе немаловажно.

Если в результате статистического исследования удается построить модель, пригодную для прогнозирования, можно провести математическое исследование модели с целью определения чувствительности построенной модели по отношению к изменению факторов. На базе подобного исследования можно произвести разбивку поля на относительно однородные кластеры с точки зрения близости вероятностей превышения урожаем заданного порогового уровня.

Еще одна задача, которая может решаться на базе построенной модели, заключается в следующем. Имея различные наборы числовых значений факторов на конкретном поле, можно оценить вероятность превышения порогового уровня урожайности, например, для наихудшего числового набора факторов и тем самым получить оценку гарантированного значения вероятности превышения порогового уровня урожайности для данного поля. Решение перечисленных задач имеет важный методологический смысл, так как позволяет с альтернативных позиций ответить на основные вопросы статистического анализа данных - об информативности выбранных факторов, об их достаточности для адекватного математического описания существующих в природе взаимосвязей в их прикладном аспекте, а также поставить и решить задачу прогнозирования продуктивности сельскохозяйственных культур в условиях точного земледелия.

Глава 4. Экспериментальные исследования и статистические методы обработки и анализа натурных данных в точном земледелии

В соответствии с концепцией совершенствования информационного обеспечения точного земледелия в разделе 4.1 диссертации подробно обсуждаются методические основы организации опытного дела по интенсификации исследований в земледелии, обеспечивающие изучение агроэкосистем на этапе перехода к новым агротехнологиям и потенциальные возможности точного земледелия для повышения уровня достоверности получаемых натурных данных с наименьшими затратами.

Как показывают выполненные Агрофизическим институтом работы, процесс интенсификации экспериментальных исследований по изучению агроэкосистем достигается наиболее эффективно при реализации трехуровневого моделирования функционирующего почвенно-растительного комплекса: натурного - на биополигонах в полевых условиях, физического - на основе регулируемой агроэкосиситемы и математического (Ермаков Е.И., Семенов В.А., Полуэктов Р.А.). Организация взаимосвязанных системных исследований с использованием натурного, физического и математического моделирования позволяет осуществлять одновременное комплексное изучение почвенно-растительной системы при оптимальных условиях и стрессовых воздействиях на посевы.

Однако главным методом экспериментальных исследований по изучению агроэкосистем был и остается натурный полевой опыт, позволяющий получать необходимую для науки и практики информацию, проверять эффективность способов выращивания сельскохозяйственных культур, оценивать влияние на этот процесс и его конечный результат (урожай) условий внешней среды и управляющих воздействий.

Вместе с тем, огромная амплитуда почвенно-климатических различий в нашей стране выдвигает на первый план базовую задачу по созданию комплексной экспериментальной сети, которая репрезентативно охватывала бы все разнообразие природных условий и определяла границы территорий обслуживания для каждого опытного поля со свойственной ему почвенно-климатической характеристикой.

В этой связи наряду с географической сетью с удобрениями новая концепция организации опытного дела в России по изучению агроэкосистем, разработанная в Агрофизическом институте академиком Россельхозакадемии В.А. Семеновым, предусматривает дополнительно создать сеть региональных систем экспериментов по всей стране. Совокупность этих региональных систем экспериментов будет составлять опорный каркас всей опытной работы научно-исследовательских учреждений Россельхозакадемии, ее организационную и информационную базу. Несмотря на практическую сложность реализации этой концепции она дает вектор развития опытного дела в России. В каждом регионе (зоне) предполагается заложить по одному большому балансовому опыту со шлейфом микрополевых, вегетационных, лабораторных экспериментов, помогающими уточнить детали, подробнее рассмотреть отдельные составляющие сложных процессов, протекающих в агроэкосистемах. При этом прецизионные опыты займут решающее место в такой среде исследований как разработка применений удобрений и химических мелиорантов.

Важно отметить, что с распространением технологии точного земледелия для хозяйств открываются новые возможности получения достоверных результатов в "собственных опытах" с наименьшими затратами. Каждый руководитель может заложить и провести в своем хозяйстве производственные опыты, используя прецизионную технику с навигационным оборудованием. Исследования могут проводиться на любом сельскохозяйственном поле, имеющем электронный цифровой образ с четкими границами в пространстве, определенными с помощью глобальных координат. При этом представляется уникальная возможность изучения гетерогенности почвенных условий всего поля и (или) текущего состояния посева. В обычных же деляночных опытах гетерогенность является помехой при планировании эксперимента, а при такой постановке вопроса она является объектом исследований в системе точного земледелия. Именно выявленная гетерогенность определяет степень необходимой дифференцируемости на сельскохозяйственном поле. Результаты опыта в целом, а также сопутствующие натурные данные наблюдений автоматически фиксируются с помощью специальной техники (местоположение, состояние посева, урожайность) и накапливаются в базе данных конкретного хозяйства. Благодаря этому гарантируется достоверность исходных данных, полученных в прецизионном опыте, и у руководителя появляется возможность определить оптимальную стратегию хозяйствования на основе обработки и последующего анализа экспериментальной информации.

В разделе 4.2 диссертации рассмотрена методология, в соответствии с которой предложено применять параметрические и непараметрические методы статистической обработки натурных данных, получаемых в экспериментальных исследованиях на опытных полях и в производстве с помощью технических средств точного земледелия и уже после этого проводить сравнительный анализ результатов для повышения надежности управленческих решений.

В разделе 4.3 диссертации предложена определенная совокупность параметрических и непараметрических методов прикладной статистики, рекомендуемых к применению в системном анализе натурных данных. Выполнена соответствующая классификация рекомендуемых методов, представленных в таблице, с указанием условий проведения сравнительного анализа статистических гипотез. Важно отметить, что для всех предложенных процедур обработки и анализа данных в диссертации либо разработан специальный программный инструментарий, либо рассмотрены технологии применения стандартного математического обеспечения. Соответствующая тематика, связанная с программным обеспечением процесса обработки и анализа натурных данных, более подробно изложена ниже.

Таблица. Классификация параметрических и непараметрических процедур при проверке статистических гипотез

Проверяемая гипотеза	Параметрический метод	Непараметрический метод
1) Анализ парных повторных наблюдений (проверяется отсутствие эффекта обработки)	Критерий Стьюдента-проверяется равенство нулю математического ожидания разностей парных наблюдений; предполагается, что разности починяются нормальному распределению	1) Непараметрический критерий знаков - проверяется гипотеза об отсутствии эффекта обработки для парных повторных наблюдений; предполагается, что распределение разностей непрерывно. 2) Непараметрический критерий Уилкоксона - проверяется гипотеза об отсутствии эффекта обработки для парных повторных наблюдений; предполагается, что распределение разностей непрерывно
2) Однородность двух выборок или некоторых характеристик исследуемых совокупностей	1) Критерий Стьюдента-проверяется равенство средних двух генеральных совокупностей; предполагается, что выборки взяты из совокупностей, распределенных по нормальному закону. 2) Критерий Фишера - проверяется равенство дисперсий двух генеральных совокупностей; предполагается, что выборки взяты из совокупностей, распределенных по нормальному закону	1) Критерий Уилкоксона проверяется совпадение распределений двух генеральных совокупностей; предполагается, что распределения непрерывны. 2) Критерий Манна-Уитни - проверяется совпадение распределений двух генеральных совокупностей; предполагается, что распределения непрерывны. 3) Критерий Колмогорова Смирнова - проверяется совпадение распределений двух генеральных совокупностей; предполагается, что распределения непрерывны.
3) Однофакторный анализ (проверка однородности нескольких выборок, полученных при разных уровнях фактора)	Стандартный дисперсионный анализ - проверяется совпадение средних; предполагается, что все выборки извлечены из нормального распределения	1) Критерий Краскела - Уоллиса (произвольные альтернативы) проверяется отсутствие сдвигов выборок относительно друг друга; предполагается, что распределения непрерывны. 2) Критерий Джонкхиера (альтернативы с упорядочением) -проверяется отсутствие сдвигов выборок относительно друг друга; предполагается, что распределения непрерывны
4) Двухфакторный анализ (проверяется гипотеза об отсутствии эффекта обработки при наличии мешающего фактора)	Стандартный дисперсионный анализ - проверяется отсутствие эффекта обработки; предполагается, что все наблюдения подчиняются нормальным распределениям.	1) Критерий Фридмана (произвольные альтернативы) - проверяется отсутствие эффекта обработки; предполагается, что распределения наблюдений непрерывны. 2) Критерий Пейджа (альтернативы с упорядочением) - проверяется отсутствие эффекта обработки; предполагается, что распределения наблюдений непрерывны. 3) Критерий Доксама - проверяется отсутствие эффекта обработки; предполагается, что распределения наблюдений непрерывны.
5) Проверка независимости двух и более признаков	Стандартный корреляционный анализ (коэффициенты парной корреляции, коэффициенты частной корреляции, коэффициенты множественной корреляции)-проверяется статистическая значимость выборочных коэффициентов корреляции, предполагается, что распределение выборок является совместным нормальным.	1) Критерий независимости Хефдинга -проверяется независимость двух признаков; наблюдения извлечены из непрерывной двумерной совокупности. 2) Критерий независимости Кендэла -проверяется независимость двух признаков;
6) Проверка гипотезы о значении углового коэффициента в парной линейной регрессии	Критерий Стьюдента- проверяет гипотезу о возможном значении углового коэффициента; предполагается, что наблюдения распределены нормально.	Критерий Тейла - проверяет гипотезу о возможном значении углового коэффициента; предполагается, что распределения наблюдений непрерывны.

Глава 5. Алгоритмические и программные реализации непараметрических методов

В разделе 5.1 диссертации рассмотрены алгоритмы проверки основных статистических гипотез с помощью непараметрических критериев, а в разделе 5.2 подробно изложена программная реализация рассмотренных критериев в среде Matlab. Часть программ содержится в статистическом разделе среды Matlab, остальные программы являются оригинальными разработками. Все они объединены единым интерфейсом с развитой системой справок по каждой статистической процедуре, удобным способом задания исходных данных, простым способом вызова статистических процедур, системой тестовых примеров по каждой статистической процедуре.

При запуске приложения появляется основное окно программного комплекса (рис. 7), содержащее список непараметрических тестов, кнопки вызова критерия, справки и закрытия приложения.



Рис. 7. Основное окно программного комплекса

Для вызова критерия необходимо выбрать его из списка (по умолчанию выбран первый критерий) и нажать на кнопку OK. При этом появляется новое графическое окно (рис. 8.), соответствующее выбранному критерию. Рассмотрим для примера непараметрический критерий знаков.

Рис. 8. Графическое окно критерия знаков

Входные данные. Входными данными являются два текстовых файла. Каждый из них должен содержать одну выборку. Выборочные данные в файлах располагаются либо в столбце, либо в строке через пробел.

Выходные данные. В качестве файла выходных данных можно использовать любой текстовый файл. Если файл существует, то его содержимое будет заменено на результат теста. Если файл не существует, то программа создаст файл и запишет в него результат.

Для выполнения теста надо:

Ввести входные данные. Это можно сделать двумя способами: использовать кнопку Обзор или набрать полный путь к файлу в соответствующем поле.

Ввести уровень значимости в соответствующее поле.

Выбрать метод (по умолчанию выбран точный метод). Для этого требуется поставить флаг в соответствующий чек бокс.

Ввести файл выходных данных. Это также можно сделать двумя способами: использовать кнопку Обзор или набрать полный путь к файлу в соответствующем поле.

Нажать кнопку ОК.

После нажатия кнопки ОК открывается текстовый файл выходных данных с результатами теста. Результатом является значение знаковой статистики, значение асимптотически нормальной статистики, если используется приближенный метод, p-значение и вывод о том, принята гипотеза или нет. Также вывод о том, принята гипотеза или нет, выводится на форму:

Результаты работы программы в тестовом примере:

Значение знаковой статистики: 3

Значение асимптотически нормальной статистики: нет

p-значение: 0.035156

Уровень значимости: 0.05

Результат: Отклоняем нулевую гипотезу на уровне значимости 0.05

При нажатии кнопки Отмена появляется основное окно программы, которое можно использовать для дальнейшего анализа.

Вызов справки. Каждый критерий снабжен справкой, которая содержит описание теста, входных данных и результатов. Для вызова справки надо выбрать критерий из списка и нажать на кнопку Справка. При этом появляется окно со справочной информацией (рис. 9.)

Рис. 9. Справочное окно по критерию знаков

Глава 6. Процедуры построения и верификации регрессионных зависимостей

Построение и исследование эмпирических зависимостей является основной задачей статистического анализа натурных данных. В настоящее время имеется много различных подходов к решению этой задачи. Наряду с традиционным методом наименьших квадратов для построения эмпирических зависимостей можно использовать альтернативный подход - квантильную, в частном случае, медианную регрессию - не требующий для своей практической реализации обязательного выполнения многих важных предположений классического регрессионного анализа. Метод квантильной регрессии предполагает лишь непрерывность распределения случайной компоненты и в этом смысле он может быть назван непараметрическим методом, то есть свободным от распределения.

В разделе 6.1 диссертации подробно изложена методика построения квантильной и медианной регрессий. В классическом линейном регрессионном анализе для оценки неизвестных параметров модели, как правило, коэффициентов при факторах

где ,

применяется метод наименьших квадратов (МНК) при предположении, что наблюдения имеют вид

,

где , n- объем выборки.

При этом для того, чтобы были выполнены различные свойства оптимальности оценок по методу наименьших квадратов, необходимо выполнение ряда предположений регрессионного анализа. В частности, совместное распределение случайных величин должно быть нормальным. Выполнение гипотезы о том, что случайные компоненты наблюдений подчиняются нормальному распределению с постоянной дисперсией, дает возможность построить строгую математическую теорию проверки статистической значимости построенных зависимостей и найденных оценок в рамках метода наименьших квадратов.

Однако следует заметить, что методов, позволяющих надежно проверить выполнение выше приведенных условий, не существует, по крайней мере, для выборок относительно небольшого объема. Кроме того, часто вообще не удается указать какое-либо параметрическое семейство, к которому принадлежит распределение случайных компонент. В прикладных задачах нередко встречается ситуация, когда распределение, характеризующее случайность, меняется в процессе наблюдений, что, конечно, не укладывается в традиционную схему, рассматриваемую в параметрической статистике, в частности в методе наименьших квадратов. Кроме того, в реальных данных могут содержаться наблюдения с другим распределением случайной компоненты, например, так называемые "выбросы" или "аномальные наблюдения". Наличие отдельных выбросов, "загрязняющих" выборку наблюдений, резко ухудшает качество построенных моделей по методу наименьших квадратов. Выводы, сделанные по таким эмпирическим зависимостям, могут содержать грубые ошибки.

Альтернативой традиционному подходу на основе метода наименьших квадратов может служить так называемая квантильная, в частном случае медианная регрессия. Главное отличие в вычислительной части заключается в том, что в методе квантильной регрессии минимизируется сумма асимметрично взвешенных абсолютных погрешностей, а в МНК сумма квадратов отклонений. Среди преимуществ метода квантильной регрессии можно выделить следующие наиболее значимые:

1. Квантильная регрессия устойчива к "выбросам", которые встречаются на практике, что позволяет избежать процедуры сглаживания исходных данных и процедуры цензурирования.

2. С помощью метода квантильной регрессии, можно получить не только хорошие аппроксимации характера зависимости (медианная регрессия), но и сделать выводы о размахе колебаний значений показателей.

Коэффициенты квантильной регрессии -го порядка определяются как решение задачи линейного программирования.

Алгоритм решения задачи нахождения квантильной регрессии реализован в среде MatLab. Программа представляет собой комплекс средств, предназначенных для решения задачи построения квантильной регрессии и многопланового анализа полученных результатов.

Ввод данных. Перед началом работы необходимо сформировать файлы, содержащие начальные данные. Данные формируются в текстовом формате в соответствии с определенными правилами, изложенными в шаблонах.

Рис. 10. Графический интерфейс

Пути к файлам выбираются с помощью соответствующих кнопок в главном окне программы (рис. 10). В качестве начальных данных необходимо указать:

· имя файла, содержащего значения измерений факторов и показателя;

· имя файла, в который будет записываться ответ;

· значения уровня квантиля.

Для использования возможности построения трехмерных графиков дополнительно указывается имя файла, содержащего значения фиксируемых переменных.

Программа вычисляет значения коэффициентов уравнения квантильной регрессии для введенных данных и значения квантиля. Строятся три уравнения, два для квантильной регрессии со значениями квантиля и (где - входное значение квантиля, ). Эти два уравнения представляют собой "коридор", в который будут попадать значения наблюдаемого показателя с вероятностью , с помощью чего можно оценить размах колебаний значений показателя. Третье уравнение - медианная регрессия, частный случай квантильной регрессии ().

Результаты в виде уравнений квантильных регрессий и медианной регрессии записываются в текстовый файл, указанный в качестве файла вывода, а также выводятся на экран. В текстовом файле, помимо уравнений, выводится имя файла входных данных.

Для визуализации полученных данных строятся следующие графики:

1. Диаграмму зависимости показателя от номера наблюдения. На этом графике также указываются значения наблюдений показателя (для всех трех построенных уравнений регрессии).

2. Диаграмму зависимости показателя от номера наблюдения, построенной с помощью МНК. Каждая диаграмма выводится в новое окно с заголовком, содержащим порядковый номер построенного графика, название и значение квантиля, для которого строились зависимости. Такой способ обозначения окон позволяет проводить анализ более эффективно.

3. Трехмерный график зависимости показателя от факторов (для всех трех построенных уравнений регрессии - см. рис. 11. В случае если факторов больше чем два, данный график представляет собой "сечение", то есть фиксируются значения всех факторов кроме двух. Фиксируемые факторы и их значения задаются в файле начальных данных, используемом для построения трехмерного графика. Фиксировать можно любые факторы.



Рис. 11. Трехмерные графики построенных зависимостей

Графики можно сохранять, например, в формате jpeg, для дальнейшего использования в отчетах и исследованиях. С помощью программы реализуется функция построения прогноза. По заданным значениям факторов с помощью файла входных данных для прогноза строится прогноз для значений показателя, а также прогноз интервала колебаний показателя. Результаты прогноза записываются в файл вывода, имя которого пользователь задает при построении прогноза.

Важно особо подчеркнуть, что в анализе натурных данных целесообразно применять оба метода построения эмпирических зависимостей одновременно, поскольку в случае практического совпадения построенных зависимостей степень доверия к эмпирической зависимости значительно возрастает. При наличии значимых различий появляется дополнительная информация для анализа. Чаще всего значительные различия в эмпирических зависимостях, построенных рассмотренными методами, вызваны наличием сильных одиночных выбросов, то есть нарушением основных предположений традиционного регрессионного анализа.

Необходимость совместного применения обоих методов обуславливает содержание раздела 6.2 диссертации, где представлено сжатое изложение множественной регрессии, а также включено подробное изложение вопросов выбора функциональных зависимостей, оценки их статистической значимости и степени адекватности построенных регрессионных моделей. Проверка статистической значимости при условии совместной нормальности всех случайных компонент производится на основе применения t- критерия (проверка значимости коэффициентов) и F-критерия (проверка значимости регрессии в целом). Проверка адекватности осуществляется менее формально, необходимо учесть коэффициент детерминации, а также значения получающихся остатков (отклонений наблюдений от построенной зависимости). Приведена практическая реализация построения регрессионных зависимостей средствами Excel.

В разделе 6.3 диссертации предложена методика проверки однородности нескольких выборок, когда наблюдения подчиняются двухпараметрическому экспоненциальному распределению. Распределения, принадлежащие указанному параметрическому семейству, часто применяются в биологических исследованиях, в частности, они используются для моделирования времени жизни биологических объектов.

Предположим, что наблюдения имеют следующий вид

, (6.1)

где номер способа обработки (номер выборки), случайные величины имеют экспоненциальное распределение с плотностью:

тогда, как нетрудно заметить, наблюдения , определяемые моделью наблюдений (6.1), подчиняются двухпараметрическому экспоненциальному распределению с параметром сдвига и параметром масштаба .

Влияние способа обработки может сказываться только на величине параметра .

Проверяемая гипотеза имеет вид:

,

то есть речь идет об однородности выборок, другими словами, об отсутствии влияния способа обработки.

Опишем методику проверки гипотезы . Пусть

.

При справедливости гипотезы статистика:

подчиняется распределению Фишера со степенями свободы и . При нарушении гипотезы статистика имеет тенденцию возрастать, поэтому против справедливости гипотезы говорят большие значения статистики , следовательно, целесообразно использовать правостороннюю критическую область. Доказательство того, что статистика , подчиняется распределению Фишера со степенями свободы и , основано на специальных свойствах экспоненциального распределения. Методика проверки гипотезы с использованием статистики заключается в определении квантили уровня распределения Фишера со степенями свободы и , после чего проверяется выполнение условия : если неравенство выполнено, то гипотеза отклоняется на уровне значимости , если неравенство нарушается, то проверяемая гипотеза принимается.

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертации получены следующие результаты:

1. Выбор оптимального момента времени проведения основных агротехнологических операций приобретает особое значение в точном земледелии. Предложена математическая постановка оптимизационной задачи выбора оптимального момента времени для проведения агротехнологической операции в условиях стохастической неопределенности, объективно присутствующей в практике применения агротехнологий и обусловленной действием большого числа разнообразных причин. В научно-исследовательских учреждениях сельскохозяйственного профиля накоплен многолетний экспериментальный материал, содержащий сведения для получения статистических и экспертных оценок, которые позволяют обоснованно подойти к постановке оптимизационной задачи выбора оптимального момента времени проведения основных агротехнологических операций. В диссертации рассмотрены следующие возможные случаи:

1.1. Для известной функции распределения оптимального момента времени проведения агротехнологической операции аналитически найдено решение сформулированной оптимизационной математической задачи. Полученный результат довольно просто реализуется на практике для наиболее часто применяемых вероятностных распределений.

1.2. Для неизвестной функции распределения оптимального момента времени проведения агротехнологической операции предложен минимаксный подход, в рамках которого аналитически найдено оптимальное решение, легко реализуемое на практике.

1.3. С целью уменьшения статистической неопределенности, связанной с выбором момента времени проведения агротехнологической операции, рассмотрена ситуация, когда функция распределения оптимального момента времени проведения агротехнологической операции представима в виде конечной смеси непрерывных строго возрастающих функций распределения, соответствующих различным условиям произрастания сельскохозяйственной культуры. Для этого случая также найдено оптимальное решение.

1.4. В рамках рассматриваемой математической постановки решена задача нахождения оценки оптимального момента времени проведения агротехнологической операции по накопленной многолетней статистической информации. Рассмотрен конкретный пример.

2. На основе биометрического подхода к определению биоэквивалентности двух относительно больших участков на сельскохозяйственном поле по урожайности некоторой сельскохозяйственной культуры за несколько лет с использованием статистического моделирования выборок из нормальных распределений разработан алгоритм оценки, выполнена его программная реализация.

3. Предложен математико-статистический метод выделения относительно однородных зон на сельскохозяйственном поле по урожайности отдельных небольших участков на поле за один год и разработан адаптивный вероятностный алгоритм решения этой задачи на основе разделения конечной смеси распределений. Создана программа выделения однородных технологических зон по продуктивности, получаемой автоматически с помощью зернового комбайна, оснащенного датчиками урожайности, бортовым компьютером и системой GPS, получившая свидетельство о государственной регистрации.

4. Предложен новый алгоритм адаптивного прогнозирования временных рядов, в частности характеризующих агрометеорологические условия произрастания сельскохозяйственных культур. Написана программа, которая была успешно апробирована при прогнозировании среднесуточных температур воздуха по данным, собранным на полигоне Агрофизического НИИ.

5. Разработана методология и алгоритмы применения логит и пробит анализов для прогнозирования урожайности сельскохозяйственной культуры на поле по выбранному набору агрометеорологических, агрофизических, агротехнологических и других характеристик. Поставлены вопросы проверки достаточности выбранного набора факторов для решения задачи прогнозирования урожайности культуры. Создана и апробирована соответствующая компьютерная программа.

6. Разработана методология и предложена схема анализа натурных опытных данных на основе применения методов параметрической и непараметрической статистики. Показано, что только комплексный подход к анализу опытных данных в точном земледелии с учетом принципиальной неполноты статистических данных, вызванной ограниченностью объемов выборок и значительной пространственно-временной изменчивостью данных, с обязательным сравнением выводов, полученных по разным методам анализа данных, позволит обеспечить достаточно высокую надежность и достоверность.

7. Выполнена классификация и проведено сопоставление параметрических и непараметрических методов, предназначенных для решения основных задач анализа данных. Предложенный в работе набор статистических методов и методик является в целом достаточным для проведения обоснованного анализа опытных натурных данных.

8. Разработан и создан комплекс программ по непараметрической статистике в среде Matlab, включающий как имеющиеся непараметрические процедуры, так и процедуры, прежде нереализованные в среде Matlab. Комплекс программ обладает удобным и доступным для непрофессионалов интерфейсом и позволяет с единых позиций осуществлять анализ опытных данных.

9. Разработан алгоритм и создана программа построения квантильной и, в частном случае, медианной регрессий. Программа позволяет строить стандартную регрессию методом наименьших квадратов и проводить сравнение построенных зависимостей, в результате чего появляется дополнительная информация, позволяющая делать выводы о наличии отдельных "аномальных наблюдений". В работе подробно обсуждается методика построения регрессионных зависимостей в среде Excel и даются рекомендации по практическому построению регрессионных зависимостей.

СПИСОК ОСНОВНЫХ РАБОТ ПО ТЕМЕ ДИССЕРТАЦИИ

I. Статьи в изданиях, рекомендованных для публикации результатов диссертации на соискание ученой степени доктора наук:

1. Буре В.М., Седунов Е.В. Несмещенные в метрике L2 процедуры планирования и анализа регрессионных экспериментов// Вестн. ЛГУ. N 13. 1978. с. 53-57.

2. Буре В.М. Несмещенные процедуры планирования и анализа регрессионных и авторегрессионных экспериментов// Вестн. ЛГУ. N 7. 1979. с. 71-72.

3. Буре В.М., Седунов Е.В. К вопросу об использовании интерполяционных кубатурных формул для вычисления коэффициентов Фурье// Известия Вузов. N8. 1981.с. 63-65.

4. Буре В.М., Кирпичников Б.К. Деградирующий процесс восстановления как модель нарушения экологического равновесия// Обозрение прикладной и промышленной математики. Москва. Т.1. Вып.6. 1994. с. 850-859.

5. Буре В.М., Кирпичников Б.К. Интегральное уравнение и предельная теорема в модифицированной модели процесса восстановления// Вестн. С. -Петерб. ун-та. Сер. 1. 1997. Вып.4. с. 3-4.

6. Буре В.М., Смолянская Е.А. Конкурентное прогнозирование// Вестн. С. -Петерб. ун-та. Сер. 1. 2000. Вып.1. с. 16-20.

7. Якушев В.П., Буре В.М. Методологические подходы к оценке оптимального момента времени проведения агротехнологических мероприятий//Доклады РАСХН. 2001. № 4. с. 27-30.

8. Буре В.М. Теоретико-игровая модель одной системы массового обслуживания// Вестн. С.-Петерб. ун-та. Сер. 1. 2002. Вып.2. с. 3-5.

9. Якушев В.П., Буре В.М. Статистическая оценка распределения оптимального момента времени проведения агротехнического мероприятия //Доклады РАСХН. 2002. № 3. с. 11-13.

10. Буре В.М. Об одном обобщении неравенства Селберга// Вестн. С. -Петерб. ун-та. Сер. 10. 2006. Вып.4. с. 125-126.

11. Якушев В.П., Буре В.М. Оценка биоэквивалентности двух участков на сельскохозяйственном поле//Доклады РАСХН. 2006. № 5. с. 38-40.

12. Якушев В.П., Буре В.М., Якушев В.В. Выделение однородных зон на поле по урожайности отдельных участков//Доклады РАСХН. 2007. № 3. с. 33-36.

13. Буре В.М. Методологические аспекты статистического анализа в точном земледелии //Доклады РАСХН, 2007, №6. с. 54-56.

14. Якушев В.П., Буре В.М., Якушев В.В. Методология и инструментарий анализа натурных данных в точном земледелии//Доклады РАСХН. 2008. № 6. с. 56-59.

15. Якушев В.П., Якушев В.В., Якушева Л.Н., Буре В.М. Электронная карта урожайности как информационная основа прецизионного внесения удобрений. "Земледелие" №3, 2009.

II. Статьи в других периодических изданиях и в аналитических сборниках:

16. Якушев В.П., Буре В.М., Брунова Т.М. Статистические методы в агрофизике// Агрофизика от А.Ф. Иоффе до наших дней. - СПб.: АФИ, 2002. с. 319-330.

17. Буре В.М., Петрушин А.Ф., Якушев В.В. Автоматизированная система стохастического выделения однородных технологических зон на сельскохозяйственном поле по данным урожайности. Свидетельство о государственной регистрации программы для ЭВМ № 2008614663 от 29 сентября 2008 г.

18. Буре В.М., Плахотник С.В. Адаптивные методы прогнозирование временных рядов в среде Matlab- Труды III Всероссийской научной конференции "Проектирование научных и инженерных приложений в среде Matlab", СПб, изд. С-Петерб. ун-та, 2007. с. 1363-1370.

19. Буре В.М., Котина С.О. Нетрадиционные подходы в регрессионном анализе// Процессы управления и устойчивость: Труды 38-й международной научной конференции. СПб., 9-12 апреля 2007 г. / Под ред. А.В. Платонова, Н.В. Смирнова. - СПб.: С. -Петерб. ун-т, 2007. с. 530-535.

20. Буре В.М. Равновесие в одной модели массового обслуживания// Второй всероссийский симпозиум по прикладной и промышленной математике. Обозрение прикладной и промышленной математике. Т.8. Вып.2. Москва. 2001. с. 545-546.

21. Буре В.М., Давыдова Е.А. Теоретико-игровая модель системы обслуживания с тремя обслуживающими устройствами// В кн.: Динамические игры и их приложения. Под редакцией Л.А. Петросяна и А.Ю. Гарнаева. Ф-т прикладной математики - процессов управления С. -Петерб. ун-та. ВВМ. 2006. с. 37-39.

22. Белоносова И.Ю., Буре В.М. Оптимальное и компромиссное решения в перестраховании // В кн.: Динамические игры и их приложения. Под редакцией Л.А. Петросяна и А.Ю. Гарнаева. Ф-т прикладной математики - процессов управления С. -Петерб. ун-та. ВВМ. 2006. с. 27-29.

23. Boure V.M. An equilibrium design in the location problem of detecting facilities// Prooceedings of the 4th St. Petersburg Workshop on Simulation, 2001. P.169-172.

24. Буре В.М., Ковригин А.Б., Седунов Е.В. Критерии минимаксного типа в несмещенном планировании регрессионных экспериментов// В кн.: Вопросы кибернетики. Нетрадиционные подходы к планированию эксперимента. - Наука. Москва. 1981. с. 69-83.

25. Буре В.М., Ковригин А.Б. Оптимальное планирование эксперимента при оценке параметров авторегрессии// В кн.: Вопросы кибернетики. Нетрадиционные подходы к планированию эксперимента. - Наука. Москва. 1981. с. 83-95.

26. Буре В.М., Седунов Е.В. Некоторые частные постановки задач в теории несмещенного планирования регрессионных экспериментов// В кн.: Вопросы кибернетики. Нетрадиционные подходы к планированию эксперимента. - Наука. Москва. 1981. с. 21-45.

27. Буре В.М. Равновесные планы в задаче слежения// Второй всероссийский симпозиум по прикладной и промышленной математике. Обозрение прикладной и промышленной математике. Т.8. Вып.1. Москва. 2001. с. 116-117.

28. Буре В.М., Кирпичников Б.К. Математические модели деградирующего процесса в экологии// В кн.: Моделирование природных систем и задачи оптимального управления. СО РАН, 1993. с. 62-64.

29. Буре В.М., Кирпичников Б.К. Об одном интегральном уравнении в модифицированной модели процесса восстановления// Вторая всероссийская школа-коллоквиум по стохастическим методам. Москва. 1995. с. 30-31.

30. Буре В.М., Кобзева Е.Г. Перестрахование экспоненциального риска// В кн.: Процессы управления и устойчивость. Труды XXX научной конференции. СПб. С.-Петерб. ун-т. 1999. с. 420-423.

31. Буре В.М. Критерии случайности для временных рядов с конечным множеством допустимых значений// Четвертая всероссийская школа-коллоквиум по стохастическим методам. Обозрение прикладной и промышленной математики. Т.4. Вып. 3. Москва. 1997. с. 333-334.

32. Буре В.М., Власов С.А. Программная реализация логического анализа данных// В кн.: Процессы управления и устойчивость. Труды XXXШ научной конференции. СПб. С.-Петерб. ун-т. 2002. с. 340-344.

33. Буре В.М., Власов С.А. Логический анализ данных// Третий всероссийский симпозиум по прикладной и промышленной математике. Обозрение прикладной и промышленной математике. Т.9. Вып.2. Москва. 2002. с. 345-346.

34. Якушев В.П., Буре В.М. О задаче оптимальной оценки момента времени проведения агротехнических мероприятий// В сб.: Современные проблемы опытного дела. Материалы международной научно - практической конференции. - СПб.: АФИ, 2000. с. 139-140.

35. Якушев В.П., Буре В.М. Задача оценки момента времени проведения агротехнических мероприятий//Петрозаводск. Математические методы в экологии: Тезисы докладов Всероссийской научной школы. 2001. с. 197-199.

36. Буре В.М., Степанов А.В. Адаптивное краткосрочное прогнозирование - СПб.: МБИ, в кн. Математические методы исследования экономики, 2004. с. 160-169.

37. Якушев В.П., Буре В.М. Методологические аспекты статистического исследования. Непараметрическая статистика//В сб.: Современные проблемы опытного дела: Материалы международной научно-практической конференции. СПб., 2000. с. 179-184.

38. Якушев В.П., Буре В.М. Методологические основы совершенствования количественного описания изменчивости биологических объектов// В кн.: Методическое и экспериментальное обеспечение адаптивно-ландшафтных систем земледелия. ГНУ АФИ Россельхозакадемии. С. -Петербург. 2007. с. 16-34.

39. Буре В.М., Абдураманов Р.А. Квантильная регрессия как альтернатива классическому методу наименьших квадратов: Материалы VI международной научно-практической конференции "Актуальные проблемы экономики и новые технологии преподавания (Смирновские чтения)". Т 2. СПб., 2007. с. 123-125.

40. Буре В.М., Федорова А.С. Комплекс программ по непараметрической статистике - Труды III Всероссийской научной конференции "Проектирование научных и инженерных приложений в среде Matlab", СПб, изд. С-Петерб. ун-та, 2007. c.100-105.

41. Буре В.М., Тихонова Н.В. Критерии неоднородности экспоненциально распределенных наблюдений: Труды международной научно-практической конференции "Агрофизика XXI века (к 70-летию образования Агрофизического института)". СПб., 2002. с. 313-317.

42. Буре В.М. Стохастический спрос и равновесие по Нэшу// Третья всероссийская школа-коллоквиум по стохастическим методам. Москва. 1996. с. 40-41.

43. Bure V.M., Malafeyev O.A. Some game-theoretical models of conflict in finance// Nova j. of mathematics, game theory, and algebra. V. 6. #1. 1996. p. 7-14.

44. Bure V.M. Some game-theorethic models of prediction// Пятая международная Петрозаводская конференция "Вероятностные методы в дискретной математике". Обозрение прикладной и промышленной математике. Т.7. Вып.1. Москва. 2000. с. 164-166.

45. Буре В.М., Стрюк Е.В Кооперативное решение в задаче перестрахования риска// В кн.: Процессы управления и устойчивость. Труды XXXI научной конференции. СПб. С. -Петерб. ун-т. 2000. с. 396-398.

III. Монографии:

46. Буре В.М., Кирпичников Б.К. Вероятностные модели продолжительности функционирования сложных систем. - СПб.: Изд. С. -Петерб. ун-та, 1993. - 93 с.

47. Якушев В.П., Буре В.М. Статистический анализ опытных данных. Непараметрические критерии. - СПб.: АФИ, 2001. - 61 с.

48. Якушев В.П., Буре В.М. Подходы к обнаружению статистических зависимостей. - СПб.: Изд. С. -Петерб. ун-та, 2003. - 64 с.

49. Якушев В.П., Буре В.М., Якушев В.В. Построение и анализ эмпирических зависимостей. - СПб.: Изд. С. -Петерб. ун-та, 2005. - 39 с.

50. Буре В.М. Методология статистического анализа опытных данных. -СПб.: Изд. С. -Петерб. ун-та, 2007. 141 с.

51. Буре В.М. Комплекс программ по непараметрической статистике в среде Matlab. С. -Петербург: Изд. С. -Петерб. ун-та, 2007. 84 с.

IV. Научно-методические издания:

...