Прогнозирование, анализ и обработка экологической информации с помощью нейросетевых методов

Размещено на http://www.allbest.ru/

ПРОГНОЗИРОВАНИЕ, АНАЛИЗ И ОБРАБОТКА ЭКОЛОГИЧЕСКОЙ ИНФОРМАЦИИ С ПОМОЩЬЮ НЕЙРОСЕТЕВЫХ МЕТОДОВ

МАКАРОВ С.В., КРОПОТОВ Ю.А., СУВОРОВА Г.П.

Annotation

The article focuses on the problems in processing and analysis of ecological information, statistical processing of ecological information in cases of insufficient data. It also looks at neural methods of processing of information used in forecasting of the ecological situation of the region.

В настоящее время с увеличением распространения вычислительной техники и повышением ее быстродействия становится актуальным вопрос эффективного ее применения для решения задач моделирования, прогнозирования, классификации и идентификации в экологии. Она характеризуется небольшим числом согласующихся с реальными данными вычислительных моделей. Поэтому прикладные задачи часто решаются на основе моделей, построенных по таблицам экспериментальных данных. При этом возникают проблемы в сложности учета всех факторов, влияющих на ситуацию и сложность сбора территориально распределенной информации. Поэтому часто приходится обрабатывать неполную информацию.

Применяемые для прогнозирования, обработки и анализа экологической информации статистические методы, вследствие неполноты информации, являются малоэффективными и дают неточные или недостоверные прогнозы.

Поэтому для решения вышеобозначенных задач логичным будет использование нейросетевых технологий, способных работать в условиях неполной или частично недостоверной информации, имеющих достаточную скорость быстродействия и высокую достоверность прогнозов.

Для обработки эмпирических данных традиционно используются классические методы математической статистики [5,6,8]. Можно получить для отсутствующих значений их условные математические ожидания (условия - значения других величин, описывающих конкретную ситуацию) и характеристики разброса - доверительные интервалы. Для решения задачи классификации методы математической статистики строят разделяющие поверхности между классами в признаковом пространстве. Однако достоверное статистическое оценивание требует либо очень большого объема известных данных, либо очень сильных предположений о виде функций распределения, и работает обычно только при нормальных или близких к нормальным функциях распределения. Поэтому при вычислении условного математического ожидания требуется проверять гипотезу о распределении эмпирических данных по нормальному закону или использовать аппарат непараметрической статистики, восстанавливающей оценки плотностей распределения вероятностей.

Имеется таблица экспериментальных данных, где каждому объекту (строке таблицы) соответствует набор значений (столбцов) его независимых и зависимых признаков. Под независимыми (базовыми) признаками понимаются те признаки, на основе которых необходимо предсказать значения зависимых - искомых или целевых признаков, которые могут быть неизвестны. Все задачи классификации и прогнозирования для такой таблицы можно свести к четырем классическим постановкам [7]:

1. Распознавание образов (предсказание для объекта значения некоторого его целевого признака, выраженного в шкале наименований).

2. Предсказание значения числового (порядкового или количественного) признака для объекта.

3. Динамическое прогнозирование значения числового признака объекта, использующее временные измерения значений этого же признака (анализ временных рядов).

4. Автоматическая группировка объектов.

Каждая из перечисленных постановок сводится к единой задаче заполнения пропусков в таблице данных. При автоматической группировке объектов в таблицу добавляется новый столбец, содержащий информацию о разбиении всего множества объектов на группы похожих. Для иных постановок прогнозируются неизвестные значения признаков у тех объектов, где имеется пропущенная информация. Для этого требуется нахождение зависимостей в таблице экспериментальных данных [1,3,4,7]. При этом появляются следующие специфические особенности.

Таблица данных априорно является неполной, поскольку невозможно в общем случае описать все независимые и зависимые признаки, существенные для моделирования объекта или процесса. Это связано и с нашим ограниченным представлением о моделируемом объекте и с ограничениями на возможность проведения тех или иных измерений.

Задачи приходится решать при высокой априорной неопределенности, когда практически ничего не известно о виде функций распределения вероятностей в пространстве признаков.

В связи со сложностью проведения измерений, отказом датчиков и историческими причинами в таблице могут отсутствовать некоторые значения исходных и целевых признаков у отдельных объектов. В данных всегда присутствуют ошибки разной природы, шум, а также имеются противоречия отдельных измерений друг другу. За исключением простых случаев, искажения в данных не могут быть устранены полностью.

Поэтому часто для решения задач классификации и прогнозирования используются различные эмпирические (статистически не достоверные) методы обработки информации. Можно сформировать список требований, которым должен удовлетворять эмпирический метод обработки информации:

– работа при наличии пропусков в таблице;

– работа в случае, если число измеренных признаков превышает число объектов, и число объектов достаточно мало;

– наложение достаточно слабых ограничения на вид распределений;

– обеспечение возможности обработки разнотипных экспериментальных данных (без сведения всех признаков к одной шкале) и инвариантность к допустимым преобразованиям шкал признаков;

– достаточно высокая вычислительная эффективность;

– простота получения результата и отсутствие привязки к конкретной проблемной области.

Эти требования является очень важными. Обычно при использовании эмпирических методов предполагается, что пользователя удовлетворит просто получение прогноза. Далее на основе своих профессиональных знаний он сделает вывод о применимости полученного результата, сопоставив машинный прогноз со своими экспертными оценками. Пользователь может протестировать на имеющихся у него данных несколько эмпирических методов, выбрать наилучший метод по точности достигаемого прогноза и в дальнейшем использовать именно его. При этом, поскольку пользователь обычно смутно представляет, как следует задавать параметры метода для достижения наилучшей точности прогноза и обычно не может заложить в метод сформировавшуюся у него эмпирическую модель проблемной области, то возникают проблемы недостаточной эффективности использования методов и неадекватности построенных моделей имеющимся экспертным соображениям.

На веса синапсов сети обычно наложены требования принадлежности некоторому диапазону значений. Наиболее часто используемые нелинейные функции нейронов также обычно выдают значения из некоторого диапазона. Это приводит к тому, что обычно нельзя подавать сети входные сигналы в их истинном диапазоне величин и получать от сети выходные сигналы в требуемом диапазоне.

Поэтому перед подачей сети входных сигналов их необходимо нормировать, например, в диапазон значений [-1,1] или [0,1], либо делать так, чтобы входные сигналы не слишком сильно выходили за пределы этих отрезков. Наиболее просто нормировку можно выполнить так. Каждая компонента входного вектора данных x_i заменяется величиной

,(1)

где max x_i и min x_i - соответственно максимальное и минимальное значения для данной компоненты, вычисленные по всей обучающей выборке. По этой же формуле пересчитываются и компоненты векторов ответов [9].

Можно нормировать и по-другому. Это выполняется с помощью деления каждой компоненты входного вектора на длину вектора. Эта длина находится извлечением квадратного корня из суммы квадратов компонент вектора. В алгебраической записи:

. (2)

Это превращает входной вектор в единичный вектор с тем же самым направлением, т. е. в вектор единичной длины в n-мерном пространстве [9].

Здесь имеется одна сложность. Любое изменение обучающей выборки должно соответственно менять и правило нормирования данных. Поэтому поступают обычно так: в качестве min и max-величин берут данные из существующего на настоящий момент задачника и в дальнейшем нормировку не меняют, а если предполагается, что в дальнейшем поступят сильно отличающиеся данные, то min и max-величины задаются пользователем по его оценкам. Иными словами, эти величины должны вводиться в момент создания сети и в дальнейшем не зависеть от обучающей выборки.

Другой проблемой является ситуация, когда в таблице данных имеются пробелы. Вместо таких отсутствующих компонентов данных можно подавать нуль, можно исключать некомплектные вектора из обучающей выборки, можно перед обучением сети решать задачу заполнения пробелов в данных некоторыми правдоподобными значениями [10].

Кроме обработки и анализа информации нейронные сети в экологии можно использовать для прогнозирования экологического состояния региона как по отдельным выбросам, так и по их совокупности.

Рассмотрим пример использования двухслойной нейронной сети для прогнозирования концентрации оксида азота (NO₃) в воздухе.

Таблица 1 - Концентрация оксида азота

Число нейронов в каждом слое выбирается, исходя из опыта обучения сети. Первоначально выбираем двухслойную сеть с 3 нейронами в каждом слое.

Значения первых трех значений концентрации (таблица 1) подаются на входные нейроны. Полученный результат сравнивается с 4-м значением, и происходит подстройка весов по методу обратного распространения. Для обучения сети используется порядка 100 выборок.

Если в результате обучения сеть не дает эффективных прогнозов, увеличивается число слоев в сети и обучение происходит заново.

Нейронные сети можно использовать как для прогнозирования концентрации отдельных веществ, так и для прогнозирования экологической обстановки региона в целом.

Работа осуществлена при поддержке РФФИ по проекту 06-07-96501.

нейронный сеть экологический

Литература

1. Браверман, Э.М. Структурные методы обработки эмпирических данных [Текст] / Э.М. Браверман, И.Б. Мучник. - М.: Наука. Гл. ред. физ.-мат. лит., 1983. - 464 с.

2. Вапник В.Н. Восстановление зависимостей по эмпирическим данным [Текст] / В.Н. Вапник. - М.: Наука, 1979. - 448 с.

3. Горбань, А.Н. Нейронные сети на персональном компьютере [Текст] / А.Н. Горбань, Д.А. Россиев. - Новосибирск: Наука (Сиб. отделение), 1996. - 276 с.

4. Загоруйко, Н.Г. Алгоритмы обнаружения эмпирических закономерностей [Текст] / Н.Г. Загоруйко, В.Н. Елкина, Г.С. Лбов. - Новосибирск: Наука, 1985. - 110 с.

5. Кендалл, М. Статистические выводы и связи [Текст] / М. Кендалл, А. Стьюарт. - М.: Наука, 1973. - 900 с.

6. Кендалл, М. Многомерный статистический анализ и временные ряды [Текст] / М. Кендалл, А. Стьюарт. - М.: Наука, 1976. - 736 с.

7. Лбов, Г.С. Методы обработки разнотипных экспериментальных данных [Текст] / Г.С. Лбов. - Новосибирск: Наука, 1981. - 157 с.

8. Рао, С.Р. Линейные статистические методы [Текст] / С.Р. Рао. - М.: Наука, 1968. - 548 с.

9. Уоссермен, Ф. Нейрокомпьютерная техника [Текст] / Ф. Уоссермен - М.: Мир, 1992.

Размещено на Allbest.ru