Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Автореферат

диссертации на соискание ученой степени

доктора технических наук

Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей

Специальность 25.00.27 - гидрология суши, водные ресурсы и гидрохимия

Кузьмин В.А.

Санкт-Петербург - 2009

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Российский государственный гидрометеорологический университет» на кафедре гидрологии суши

Официальные оппоненты: доктор географических наук, профессор, член-корреспондент РАН

Румянцев Владислав Александрович

доктор технических наук

Болгов Михаил Васильевич

доктор технических наук

Бузин Владимир Александрович

Ведущая организация: Научно-исследовательский гидрометеорологический центр Российской Федерации (г. Москва)

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Точное и своевременное прогнозирование катастрофических наводнений является одной из наиболее актуальных задач, стоящих перед международным гидрологическим сообществом. В первую очередь, это вызвано стремительными темпами роста ущерба от паводков и половодий как в Российской Федерации, так и в других странах мира. Например, если в начале ХХ века среднегодовой ущерб от наводнений в США составил 100 млн. долларов, то в его второй половине он превышал 1 млрд. долларов, а в отдельные годы последнего десятилетия - 10 млрд. долларов; прямой экономический ущерб от наводнений в Китае за первые 8 месяцев 2009 года составил 71,1 миллиарда юаней (около 10,5 миллиарда долларов), пострадали 91,88 миллиона человек и 7,1 миллиона гектар сельхозугодий; тайфун "Кетсана", вызвавший масштабные наводнения во Вьетнаме и на Филиппинах в 2009 г., повлек смерть более 1000 человек, повредил или уничтожил 360 тыс. домов, школ и других учреждений, 73 тыс. га урожая; наводнение на Кубани вызвало гибель 10 человек и материальный ущерб на сумму около 2 млрд. руб.

В условиях изменения климата и возрастающей антропогенной нагрузки на речные водосборы статистические методы прогнозирования теряют свою эффективность, и единственным методом качественного прогнозирования паводков и половодий становится математическое моделирование, эффективность которого во многом зависит от калибровки (параметризации) используемых гидрологических моделей. Однако сравнительно простые модели с небольшим количеством параметров, калибровка которых больших трудностей не вызывает, обычно не в состоянии адекватно описать весь спектр природных процессов, определяющих формирование паводков и половодий. Более сложные модели с большим числом параметров являются достаточно гибкими для моделирования катастрофических паводков и половодий в различных условиях, но их эффективная калибровка связана со значительными техническими трудностями, обусловленными ограниченностью процессорных ресурсов. Кроме того, в результате выполнения диссертационной работы было установлено, что существующие методы оптимизации параметров сложных моделей не в состоянии учесть ряд свойств многомерной поверхности целевой функции, на которой отыскиваются оптимальные наборы параметров, и по этой причине не могут применяться при автоматической калибровке оперативных гидрологических моделей.

Особую теоретическую и практическую значимость проведенным исследованиям придает возможность их непосредственного использования для усовершенствования системы прогнозирования катастрофических паводков и половодий в рамках программы «Модернизация и техническое перевооружение учреждений и организаций Росгидромета», реализация которой начата в соотвествии с Соглашением о займе (№4769 RU) между Российской Федерацией и Международным Банком Реконструкции и Развития.

Цель работы. Разработка усовершенствованных методов автоматической калибровки многопараметрических гидрологических моделей, используемых для оперативного прогнозирования опасных гидрологических явлений при различном уровне обеспеченности исходными гидрометеорологическими данными, а также повышение точности прогнозирования дождевых паводков и половодий в условиях изменения климата и переменной антропогенной нагрузки на водосборы.

Задачи исследования.

1. Анализ поведения поверхности многомерной целевой функции при изменении внешних условий, включая изменение «входа» модели и длины временных рядов, используемых для калибровки гидрологической модели;

2. Выявление причин низкой эффективности существующих методов автоматической калибровки гидрологических моделей, связанных с особенностями эволюции поверхности целевой функции;

3. Разработка фундаментального подхода к идентификации оптимальных наборов параметров оперативных гидрологических моделей на основе результатов анализа причин и особенностей эволюции поверхности целевой функции;

4. Разработка практически применимых алгоритмов автоматической калибровки многопараметрических моделей при различном уровне обеспеченности исходными данными: а) отсутствии данных об осадках; б) при низкой пространственно-временной дискретности данных об осадках; в) при низкой пространственно-временной дискретности данных о стоке; г) при отсутствии или низкой пространственной дискретности данных о типах и водоудерживающих характеристиках доминирующих почвогрунтов;

5. Выявление причин низкой эффективности существующих критериев качества гидрологических прогнозов, применяемых в качестве оптимизируемых функционалов при калибровке многопараметрических гидрологических моделей, которые используются для прогнозирования опасных гидрологических явлений (на примере дождевых паводков);

6. Разработка универсальных типов целевой функции, которая может быть использована для автоматической калибровки гидрологических моделей при технической невозможности или экономической нецелесообразности построения матрицы потерь;

7. Создание автоматизированной системы прогнозирования паводков при различном уровне обеспеченности исходной гидрометеорологической информацией на основе разработанной методологии автоматической калибровки многопараметрических моделей;

8. Создание аппаратно-программного комплекса по поиску, передаче и архивированию гидрометеорологических данных, необходимых для прогнозирования опасных гидрологических явлений;

9. Апробация разработанной методологии калибровки моделей для моделирования паводков на реальных водных объектах.

Объект исследования. Эффективность оперативных многопараметрических моделей, применяемых для прогнозирования дождевых паводков, половодий и других опасных гидрологических явлений в условиях изменения климата и при различном уровне обеспеченности исходными гидрометеорологическими данными.

Предмет исследования. Многомерная невыпуклая поверхность целевой функции, пространственно-временная изменчивость которой является ключевым фактором автоматической калибровки гидрологических моделей, используемых для прогнозирования паводков и половодий.

Методы исследований. Работа выполнена на основе классических и усовершенствованных методов гидрологического моделирования, теории оптимизации, статистического и вероятностного анализа стохастических природных процессов. Анализ и обработка результатов численных экспериментов по определению вероятностных характеристик свойств моделируемых гидрологических процессов проводились как классическими, так и разработанными соискателем статистическими методами с привлечением современной компьютерной техники.

Научная новизна. Научная новизна выполненных исследований заключается:

1. В разработке новых мультимасштабных целевых функций ASOF и MISOF;

2. В выполнении детального анализа поведения поверхности многомерной целевой функции при незначительных изменениях обучающих выборок и установлении особенностей ее эволюции во времени;

3. В разработке целого ряда фундаментальных методов параметризации многопараметрических прогностических моделей, основанных на квазилокальной оптимизации в физически предопределенном районе области определения параметров (SLS, SLS-F, SLS-2L, SLS-E и др.);

4. В разработке концепции естественной трансформации целевой функции, позволяющей повысить стабильность и надежность определяемых параметров, основанной на вычислении показателей F-робастности (нового статистического подхода, также разработанного соискателем);

5. В создании автоматизированной системы прогнозирования (АСП) «SLS+», позволяющей выполнять фоновое прогнозирование паводков в полностью автоматическом режиме (при различном уровне обеспеченности исходными данными, а также при их различной пространственно-временной дискретности);

6. В создании методологии постобработки прогнозов на основе параллельного выполнения калибровки модели и генерирования случайных ансамблей «входа» модели путем использования алгоритма SLS-E;

7. В разработке методологии и программного обеспечения по определению трансферабельных параметров гидрологических моделей, которые могут быть использованы для моделирования стока с неизученных водосборов;

8. В создании аппаратно-программного комплекса (АПК) «INWADA», предназначенного для автоматического поиска, копирования, усвоения и архивирования гидрометеорологических данных;

9. В создании концепции и программного обеспечения динамической базы данных (в рамках АПК «INWADA»).

Приведенные фундаментальные и прикладные разработки реализованы в виде учебно-оперативной автоматизированной системы прогнозирования паводков «SLS+».

Достоверность полученных результатов обеспечивается корректностью постановки задач исследования, большим объемом использованных данных гидрометеорологических наблюдений, применением апробированных аналитических и численных методов анализа и расчета, реализацией алгоритмов и процедур расчета на современной вычислительной технике, корректным заданием исходных данных, объективным анализом полученных результатов и внедрением разработанных методов в оперативное прогнозирование паводков.

На защиту выносятся:

1. Концепция и методология калибровки гидрологических моделей на основе сглаженных естественным образом поверхностей мультимасштабных целевых функций MSOF, ASOF и MISOF;

2. Метод анализа временной изменчивости многомерных поверхностей многопараметрических целевых функций;

3. Концепция F-робастности - нового статистического метода учета стабильности локальных и глобальных оптимумов;

4. Метод текущей трансформации многомерной поверхности целевой функции путем расчета локальных индексов F-робастности в районе выполнения оптимизации;

5. Принцип повышения эффективности автоматической калибровки многопараметрических гидрологических моделей за счет квазилокальной оптимизации в физически предопределенном районе области определения параметров;

6. Методы автоматической калибровки многопараметрических моделей группы SLS (базовый алгоритм SLS и его модификации, применяемые при недостаточности исходных данных - алгоритмы SLS-F, SLS-2L, SLS-E, SLS-2LF, SLS-2LE, SLS-EF и SLS-2LEF);

7. Метод текущей постобработки прогнозов паводков на основе алгоритма SLS-E;

8. Метод идентификации трансферабельных параметров (то есть параметров, которые можно использовать для моделирования стока с неизученных водосборов);

9. Концепция аппаратно-программного комплекса по автоматическому поиску, передаче, усвоению и архивированию гидрометеорологических данных («INWADA»);

10. Концепция и методология оптимизации гидрологических моделей с полураспределенными параметрами;

11. Результаты апробации предложенных методов автоматической калибровки гидрологических моделей (выполненных на примере модели «Сакраменто»), используемых для прогнозирования дождевых паводков.

Практическая значимость проведенных в диссертационной работе исследований заключается в следующем:

1. Разработанный метод анализа поведения многомерной поверхности целевой функции позволяет установить причину низкой эффективности существующих оптимизационных процедур, применяемых для калибровки гидрологических моделей;

2. Разработанные алгоритмы квазилокальной оптимизации в физически предопределенном районе многомерной области определения параметров позволяют выполнять автоматическую калибровку и рекалибровку гидрологических моделей для большого числа гидрологических объектов (например, водотоков целой страны или крупного региона);

3. Разработанные оптимизационные процедуры группы SLS позволяют выполнять прогнозирование паводков в регионах с недостаточно развитой сетью или с низкой пространственно-временной дискретностью гидрометеорологических наблюдений;

4. Разработанные методы автоматической калибровки гидрологических моделей позволяют прогнозировать паводочный сток с малых и средних водосборов при отсутствии или низкой точности геологических и морфологических данных;

5. Разработанный метод рекалибровки модели и постобработки прогнозов позволяет повысить точность прогнозирования катастрофических паводков;

6. Разработанная автоматизированная система прогнозирования паводков «SLS+» может быть использована для фонового и точного прогнозирования паводков при любом уровне обеспеченности гидрометеорологической информацией;

7. Созданные методы, методики, алгоритмы и процедуры являются методической основой для совершенствования системы прогнозирования паводков в Российской Федерации; сделанные выводы и полученные рекомендации могут быть использованы при планировании и выполнении мероприятий по модернизации и техническому перевооружению учреждений и организаций Росгидромета.

Реализация результатов работы. Представленный в работе метод автоматической калибровки гидрологической модели «Сакраменто» (SLS) внедрен в оперативное прогнозирование дождевых паводков Национальной Службой Погоды США (National Weather Service) и включен в план развития системы гидрологического прогнозирования Австралии.

Разработанная соискателем автоматизированная система прогнозирования паводков «SLS+» используется в ГОУ ВПО «Российский государственный гидрометеорологический университет» при подготовке студентов по специальности 000000 - «гидрометеорология».

Аппаратно-программный комплекс «INWADA» используется в ГОУ ВПО «Российский государственный гидрометеорологический университет» для пополнения и обслуживания динамической базы гидрометеорологических данных.

Методические разработки, алгоритмы и процедуры, предложенные соискателем, могут быть использованы при модернизации и техническом перевооружении учреждений и организаций Росгидромета

Апробация работы. Основные результаты работы докладывались на научно-технических конференциях, совещаниях и симпозиумах: Международном совещании «Stochastic models of hydrological processes and their applications to problems of environmental preservations» (Москва, РФ, 1998 г.), Европейской конференции по инновациям в исследовании наводнений (Потсдам, Германия, 2000), Международном симпозиуме «River flood defence» (Кассель, Германия, 2000 г.), совещаниях в Техническом Университете г. Дельфт (Нидерланды, 2000 и 2001 гг.), Международной конференции «Современные проблемы стохастической гидрологии» (Москва, 2001 г.), Международном симпозиуме «Hydrological challenges in transboundary water resources management» (Кобленц, Германия, 2001 г.), весенних конференциях Американского Геофизического Союза (Бостон, США, 2001 г., Вашингтон, США, 2002 г., Ницца, Франция, 2003 г., Монреаль, Канада, 2004 г., Балтимор, США, 2006 г.), Международном совещании «River runoff: minima and maxima» (Санкт-Петербург, РФ, 2001 г.), Международном семинаре «Extreme value theory and applications» (Гетеборг, Швеция, 2001 г.), 5-ом Международном совещании «Application of remote sensing in hydrology» (Монпелье, Франция, 2001 г.), Международном симпозиуме «The extremes of the extremes» (Рейкьявик, Исландия, 2003 г.), конференции Международного союза геодезии и геофизики (Саппоро, Япония, 2003 г.), Международной конференции «Hydrology, water resources and environment» (Нанкин, КНР, 2003 г.), Международном совещании по проекту «The distributed models inter-comparison project (DMIP)» (Силвер-Спринг, США, 2004 г.), совещаниях и ежегодных конференциях проекта «eWater» (Голд-Кост, Австралия, 2007 и 2008 гг.), Международном совещании «The catchment-scale hydrological modelling & data assimilation (CAHMDA III)» (Мельбурн, Австралия, 2008 г.), 31-ом Международном симпозиуме по водным ресурсам и 4-ой Международной конференции по водным ресурсам и экологическим исследованиям «Water down under 2008» (Аделаида, Австралия, 2008 г.), 2-ой Международной конференции «HydroEco 2009» (Вена, Австрия, 2009 г.), Генеральной Ассамблее Европейского геофизического союза (Вена, Австрия, 2009 г.), семинарах в Институте водных проблем РАН, Гидрометцентре РФ, Государственном гидрологическом институте, Санкт-Петербургском государственном университете и Институте озероведения РАН (2009 г.).

Публикации. По теме диссертации опубликованы 48 работ (в том числе 8 в изданиях, определенных ВАК РФ, и 26 работ в зарубежных изданиях на английском языке).

Структура и объем работы. Диссертация состоит из введения, шести глав, основных результатов и выводов, списка используемой литературы из 208 наименований и приложений. Работа содержит 253 страницы текста, включая 32 рисунка и 25 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, сформулированы цель и задачи диссертационной работы, обоснована научная новизна и дается краткое описание содержания разделов диссертации.

Глава 1 посвящена фундаментальным основам прогнозирования опасных гидрологических явлений (ОГЯ). В первую очередь, в этом разделе изложены основные принципы прогнозирования опасных гидрологических явлений и базирующаяся на них последовательность действий при разработке прогностических методов, представляющая собой комплекс процедур, выполнение которых обязательно для достижения максимальной экономической эффективности прогнозирования данной гидрологической переменной в данном месте при данных условиях.

Во-первых, необходимо четко определить цель прогноза (то есть пару «прогнозируемая переменная -- водный объект»). Чем крупнее объект, тем универсальнее должна быть модель. Если объектом является один небольшой водосбор или водоток, модель может быть весьма простой (но при этом она должна адекватно описывать процессы, в результате которых формируется ОГЯ) и обладать сравнительно небольшим числом параметров, которые легко идентифицировать, поэтому при выборе объекта не следует замахиваться неоправданно большие территории.

Во-вторых, нужно определить целевую функцию, являющуюся формализованным критерием качества выпускаемых прогнозов. Почти идеальным видом целевой функции при оценивании выпущенных прогнозов является матрица потерь, отражающая размер материального ущерба как функции от погрешности прогноза при различных фактических значениях прогнозируемой переменной : . Потери, проинтегрированные за весь период прогнозирования, и просуммированные с общей стоимостью прогнозирования , выражают общие затраты :

. (1)

Таким образом, даже при абсолютно точном прогнозировании затраты на выпуск прогнозов равны стоимости прогнозирования , которая складывается из стоимости получения, передачи и обработки данных , стоимости моделирования (включая стоимость самой модели, расходы на ее калибровку, стоимость постобработки прогнозов и заработную плату персонала) и стоимости представления результатов прогнозирования. Экономическая эффективность прогнозирования выражается через размер уменьшения потерь в результате использования прогнозов:

, (2)

где - ущерб, нанесенный ОГЯ в случае, если никакого прогнозирования не было, и превентивные меры не принимались. Построение матрицы потерь требует определенных затрат, поэтому при прогнозировании ОГЯ на больших территориях этот шаг значительно повышает расходы на прогнозирование. Кроме того, матрица потерь является неэффективной при моделировании низких уровней или расходов воды при которых потери, вызванные почти любой погрешностью, малы (по этой причине модель может достаточно точно описать пиковые расходы или уровни, но, например, кривая спада будет рассчитана неточно; в свою очередь, это приведет к заданию неверных начальных условий перед очередным катастрофическим паводком, который будет спрогнозирован также неверно). В этом случае в качестве целевой функции нужно выбрать некое математическое выражение , отражающее уровень неопределенности прогнозов (т.е. ), минимизация которого будет означать повышение точности прогнозов. Ниже, в разделе, посвященном параметризации прогностической модели, будет рассмотрена мультимасштабная целевая функция MSOF, Позволяющая добиваться высокой эффективности прогнозирования в тех случаях, когда определение матрицы потерь технически невозможно или экономически нецелесообразно.

В-третьих, нужно сформулировать критерии целесообразности прогнозирования данной гидрологической переменной с различной заблаговременностью в данном месте. Очевидно, что чем больше заблаговременность точного прогноза , тем меньше потери . Но при увеличении заблаговременности неминуемо увеличивается уровень неопределенности прогнозов , и в какой-то момент затраты на прогнозирование становятся больше, чем размер потерь, которых можно избежать в результате использования прогнозов. Поэтому каждое значение заблаговременности прогноза можно сопоставить с его экономической эффективностью:

. (3)

Прогнозирование целесообразно, если расходы на прогнозирование меньше потерь, понесенных в случае, если результаты прогнозирования не использовались.

В-четвертых, необходимо определить оптимальную заблаговременность прогнозирования , при которой достигается максимальная экономическая эффективность прогнозирования : . Реальная заблаговременность прогноза складывается из:

1. Заблаговременности получения прогнозистом или моделью информации о предикторах , которая состоит из естественной заблаговременности (то есть инерционности самого быстроразвивающегося предиктора из ) и времени передачи информации обо всем наборе предикторов : (например, если решение о паводочном водосбросе с гидроэлектростанции было принято за 3 суток, а информация о его объеме дошла до прогнозиста через 2 суток после принятия этого решения, заблаговременность получения информации о предикторах составляет 1 сутки; если в качестве предиктора используются данные наблюдений (), то величина может быть отрицательной, поскольку время передачи информации всегда неотрицательно);

2. Времени обработки информации о предикторах (например, процедуры усвоения полученных данных - data assimilation), взятого со знаком «минус»;

3. Времени формирования прогнозируемого процесса ;

4. Времени расчета по какой-либо модели или методике (включая их текущую настройку или калибровку), взятого со знаком «минус»;

5. Времени постобработки выпущенного прогноза (post-processing time) , взятого со знаком «минус»;

6. Естественной инерционности прогнозируемого процесса , которая определяет верхнюю и нижнюю границу заблаговременности (например, если паводок начинается через 1 час после выпадения осадков на водосборе и полностью прекращается через 10 часов, то инерционность процесса составляет 9 часов, а время формирования ч). Таким образом, общее уравнение для расчета реальной заблаговременности прогноза выглядит так:

. (4)

Наконец, в-пятых, выбирается оптимальная модель , обеспечивающая максимальную экономическую эффектвность прогнозирования (при заданной целевой функции и оптимальной заблаговременности , оцененной для некой обучающей выборки , которая описывает моделируемый процесс с момента времени до момента времени ):

. (5)

Таким образом, уравнение (5) выражает общий принцип выбора модели, целевой функции и обучающих временных рядов при прогнозировании ОГЯ, который учитывался при выполнении исследований, описанных в последующих разделах.

В Главе 2 приводится подробное описание проблемы автоматической калибровки многопараметрических гидрологических моделей, применяемых для прогнозирования паводков и половодий, излагаются основные принципы выбора целевой функции и их виды. Особое внимание уделяется мультимасштабным целевым функции, которые наиболее эффективны для прогнозирования катастрофических паводков и половодий.

При параметризации прогностической модели необходимо обратить внимание на символ , обозначающий в уравнении (5) обучающую выборку - временные ряды предикторов и предиктанта за период времени с до . Дело в том, что модель, оказавшаяся оптимальной (то есть, наиболее эффективной) за период времени может отличаться от модели, наилучшим образом описывающий прогнозируемый процесс за период времени . Поэтому, как это ни парадоксально, уравнение (5) можно использовать для выбора лучшей модели за некий промежуток времени в прошлом (при условии, что используемые временные ряды достаточно репрезентативны по отношению к описываемому процессу), но при намерении моделировать экстремальные значения, например, расхода воды , использование этого уравнение не станет наилучшим способом определения параметров. В частности, идентификация параметров модели, основанная на максимизации экономической эффективности может привести к тому, что периоды спада высоких расходов и уровней и периоды низкого стока, мало влияющие на величину будут смоделированы плохо (в отличие от нескольких паводков или половодий, определяющих размер потерь и, следовательно, эффективность прогнозирования). Это означает, что, например, степень увлажненности рассматриваемой территории перед началом очередного паводка будет задана неверно, поэтому этот паводок, который вполне может оказаться катастрофическим, также будет спрогнозирован неверно. В строгом смысле слова, говорить об оптимальности модели для прогнозирования данного катастрофического явления можно лишь постериорно: даже если исследуемая модель блестяще описала все предыдущие паводки, она может подвести при прогнозировании следующего. Поэтому при калибровке модели необходимо помнить, что метод калибровки, вид целевой функции и выбранные обучающие выборки должны обеспечивать максимально точное отражение разных фаз гидрологического режима (включая подъем уровней, пик паводка или половодья, спад уровней и низкий сток) при различном порядке их чередования (например, единичный паводок после засухи, серия из нескольких паводков и т.д.). Именно по этой причине наиболее перспективным видом целевой функции является мультимасштабная целевая функция MSOF (от англ. «Multi-Scale Objective Function»), предложенная В. И. Корнем с целью сымитировать такой «мультимасштабный» характер «ручной» калибровки и отразить разные частоты стока. В проведенных экспериментах была использована целевая функция, отражающая дисперсию погрешностей относительно разных периодов осреднения:

, (6)

где и -- измеренные и смоделированные расходы воды, осредненные за интервал времени , -- среднеквадратические отклонения расхода воды масштаба , -- общее число масштабов, -- число элементов каждого масштаба . Для калибровки тестовых водосборов, расположенных в США, использовался критерий MSOF с часовым, суточным, недельным и месячным масштабами (). При калибровке австралийских водосборов часовой масштаб был исключен (). Заметим, что каждый из элементов суммы в уравнении (6) имеет весовой коэффициент, равный среднеквадратическому отклонению измеренных расходов соответствующих масштабов. Подобная схема «взвешивания» основана на предположении, что неопределенность моделируемого стока в пределах каждого из масштабов пропорциональна естественной изменчивости стока для этих масштабов. Другая причина использования критерия MSOF -- это дополнительное сглаживание поверхности целевой функции, которое уменьшаем вероятность «застревания» процесса поиска оптимума в незначительных «ямках». Необходимо подчеркнуть, что описанный вид целевой функции MSOF - это лишь частный случай некой идеализированной «всемасштабной» целевой функции ASOF (от англ. «All-Scale Objective Function»), которая отражает все возможные частоты от, например 1 часа (при часовой дискретности) до количества часов, составляющих интервал :

. (7)

В качестве альтернативы ASOF можно также рассмотреть целевую функцию MISOF (от англ. «Most Informative Scales Objective Function»), которая отражает только наиболее информативные частоты моделируемого процесса:

. (8)

В целевой функции MISOF масштабы отражают только наиболее информативные частоты, которые могут быть назначены субъективно (например, 1 час, 24 часа, 240 часов и 720 часов, как в примере с MSOF) или идентифицированы с использованием какого-либо формального признака (например, можно выбрать фиксированное число масштабов, обладающих наибольшими значениями отношения дисперсии к коэффициенту автокорреляции с шагом длины масштаба или радиусу корреляции ). Нетрудно заметить, что в передельных случаях целевая функция MISOF может выродиться либо в среднеквадратическое отклонение 1-часовых ошибок (только один 1-часовой или 1-суточный масштаб), либо в разность средних значений моделируемого и фактического гидрографов (один масштаб, равный длине периода калибровки ), либо в ASOF (все масштабы) и т.д., что делает целевую функцию MISOF искючительно удобной для использования при автоматической калибровке моделей в различных условиях формирования стока и при различных стохастических особенностях моделируемого гидрографа. Однако необходимо подчеркнуть, что разработка критериев ASOF и MISOF не входила в первоначальный план исследований, поэтому они для калибровки модели не использовались. Дальнейшее применение этих видов целевой функции требует тщательного экспериментального подтверждения и нуждается в апробации.

Выбор целевой функции - это лишь первая ключевая составляющая оптимизации параметров. Второй ключевой составляющей является выбор эффективной оптимизационной процедуры. При моделировании опасных гидрологических явлений крайне важно, чтобы используемые параметры имели физически реалистичные значения. Наличие нереальных или значительно искаженных параметров, во-первых, является свидетельством неадекватности модели по отношению к прогнозируемому процессу и, во-вторых, как следствие, снижает практическую уверенность в прогнозе. Поэтому калибровку модели целесообразно производить на основе квазилокальной оптимизации в физически предопределенном районе области определения параметров. Для этой цели можно использовать, например, алгоритм SLS (от англ. «Stepwise Line Search»), формально относящийся к так называемым шаблонным оптимизационным процедурам. (Оптимизационные процедуры группы SLS подробно описаны в Главе 4).

Необходимо подчеркнуть, что если модель (имеется в виду ее базовая версия c сосредоточенными параметрами) сравнительно проста и содержит не более 3-4 параметров, для ее калибровки можно использовать такие классические алгоритмы, как метод координатного спуска, градиентный метод, метод Розенброка и т.п. Если число параметров равняется 5-6, то тестирование целесообразно начать с метода SCE, а при большем числе параметров целесообразно использовать методы группы SLS.

При калибровке моделей с распределенными и полураспределенными параметрами необходимо исходить из имеющихся в распоряжении прогнозиста ресурсов процессора, которые определяют предельно допустимое число запусков модели (и, следовательно, сравниваемых наборов параметров) и предельную длительность калибровки (где - длительность одного запуска модели), которая влияет на экономическую эффективность прогнозирования. Далее определяется дискретность рассредоточения параметров. Число частей водосбора или элементарных площадок с индивидуальным набором параметров в первом приближении оценивается по формуле

, (9)

где - среднее время оптимизации одного набора параметров. Необходимо заметить, что при калибровке моделей с распределенными и полураспределенными параметрами выполняется последовательный «шаблонный» перебор каждого вида параметров по всем ячейкам (элементарным площадкам). В случае, если отдельные части водосбора оснащены гидрологическими постами, то их параметризацию следует производить независимо от других частей.

В заключение Главы 2 рассматриваются наиболее известные и широко используемые оптимизационные процедуры, применяемые для калибровки гидрологических моделей: градиентный метод, метод координатного спуска, метод Розенброка, шаблонный алгоритм и алгоритм SCE.

В Главе 3 описан анализ свойств многомерной поверхности целевой функции (на примере модели «Сакраменто» - «The Sacramento Soil Moisture Accounting Model»), которые, во-первых, позволяют понять причину низкой эффективности существующих оптимизационных процедур, и, во-вторых, являются фундаментом для разработки оптимизационной процедуры, учитывающей эти свойства и поэтому более эффективной - SLS (эта процедура подробно описана в Главе 4).

В ходе проведения численных экспериментов по идентификации модели «Сакраменто» было установлено, что многомерные поверхности таких широко используемых в гидрологии целевых функций как среднеквадратическое отклонение или средняя абсолютная погрешность являются существенно невыпуклыми и весьма чувствительными по отношению даже к незначительному удлинению () обучающих выборок. Поверхности мультимасштабных целевых функций MSOF, ASOF и MISOF являются более сглаженными, но и они чувствительны по отношению к длине обучающих выборок. Поскольку модель «Сакраменто» имеет как минимум 11 калибруемых параметров (еше 5 параметров обычно принимаются постоянными), и, следовательно, поверхность целевой функции является 12-мерной, представить изображение такой поверхности технически невозможно. Поэтому эволюция этой поверхности при незначительном удлинении обучаюших выборок с, например, 70100 элементов до 70101 элемента показана в виде схемы на рисунке 1. Как показали многочисленные эксперименты, добавление даже небольшого числа новых значений приводит к смещению «критической массы» (целевой функции ); общая картина локальных оптимумов при этом почти не меняется, а вот местоположение «глобального» оптимума может существенно сместиться. Более того, во многих случаях «глобальные» оптимумы не имеют никакого физического смысла, и их использование для прогнозирования паводков ведет к неудовлетворительному результату, поскольку физически некорректные параметры не позволяют точно рассчитать начальные условия (например, содержание влаги в почве) перед началом очередного паводка. Подобное поведение многомерной поверхности целевой функции подтверждается экспериментами, выводы которых проиллюстрированы на рисунках 2-4.

На рисунке 2 показана чувствительность квазилокальных (т.е. найденных в физически предопределенном районе области определения параметров методом SLS) и глобальных оптимумов, найденных методом SCE. Нетрудно заметить, что «квазилокальные» параметры значительно стабильнее «глобальных».

На рисунке 3 приведен пример ситуации, когда «глобальный» алгоритм SCE «не заметил» очевидного и весьма глубокого оптимума, находящегося рядом с предопределенным регионом поиска, поскольку алгоритм SCE при технически целесообразных настройках поиска не может исследовать точки в «углах» -мерного параллелепипеда. Действительно, при оптимизации, например, 11 параметров и при лимитирующем числе запусков модели в 30 тысяч раз, средний шаг оптимизации чуть больше 1,5: , и . Это говорит о том, что «глобальность» алгоритма SCE, подтверждаемая более широкой полосой поиска, показанной на рисунке 4, достигается за счет существенного увеличения шага оптимизации и, следовательно, огрубления поиска.

Рисунок 1 -- Схема «дна» поверхности целевой функции. Изменение «критической массы» приводит к значительному изменению местоположения «глобального» оптимума.



Рисунок 2 -- Устойчивость во времени параметров модели «Сакраменто», определенных методами «глобальной» и квазилокальной оптимизации (буква «L» обозначает параметры, оптимизированные квазилокально, а «G» - глобально).

автоматическая калибровка прогнозирование гидрологический

Рисунок 3 -- Пример, иллюстрирующий тот факт, что «глобальность» оптимизации достигается в ущерб детальности поиска



Рисунок 4 -- (а) «Роза параметров», (б) результаты параметризации и верификации

Выполненные численные эксперименты по моделированию стока с водосборов, расположенных в штатах Техас (США) и Новый Южный Уэльс (Австралия) показали, что при калибровке модели «Сакраменто» метод глобальной оптимизации в большинстве случаев позволяет получить меньшие значения целевой функции MSOF, однако проверка (валидация) найденных параметров на независимом материале (т.е. в режиме прогнозирования стока) показывает бьльшую (более 60% случаев) эффективность параметров, определенных в физически предопределенном районе 12-мерной области определения параметров методом SLS. Также было установлено, что в отдельных случаях метод глобальной оптимизации не позволяет обнаружить более глубокие и, что самое главное, физически корректные оптимумы (они подчеркнуты в Таблице 2). Учитывая тот факт, что калибровка модели при помощи метода SCE занимает до 70 до 500 раз больше времени, чем при использовании метода SLS и более высокую эффективность последнего при прогнозировании паводков, этот алгоритм был признан более подходящим для автоматической калибровки оперативных гидрологических моделей.

Кроме того, был сделан вывод о том, что помимо оптимальности параметров с точки зрения целевой функции и их физической реалистичности важно найти параметры, максимально стабильные во времени (и, следовательно, надежные при выпуске прогнозов паводков). Временная стабильность может быть отражена косвенно при помощи F-робастной целевой функции (буква «F» может обозначать «forecast», «feasibility», «fluctuations» - «прогноз», «обоснованность», «флуктуации» и т.д.). В общем случае, термин «F-робастность» отражает способность поверхности минимизируемого функционала приводить к достаточно хорошему результату прогнозирования даже после некоторого смещения этой поверхности в области определения параметров (обычно на 1-2 шага в обоих направлениях). Следовательно, это означает и временную стабильность, робастность по отношению к небольшим изменениям длины временного ряда, что автоматически ведет к прогностической эффективности модели и ее параметров. Модель или набор параметров считаются наиболее F-робастными, если n-параметрический относительный индекс является наименьшим из сравниваемых:

 (10)

где -- минимизируемый функционал (например, среднеквадратическая погрешность прогноза, или мультимасштабная целевая функция MSOF), или любой другой критерий оценивания качества прогнозов в зависимости от параметров , и -- верхняя и нижняя граница параметра , и -- наибольшее и наименьшее значения параметра , при которых значение критерия остается приемлемым, -- наибольшее приемлемое значение критерия (например, в России широко используется отношение , представляющее собой отношение среднеквадратической погрешности прогнозов к среднеквадратической погрешности «природного»(или инерционного) прогноза, .

Этот индекс показывает, насколько точность модели зависит от погрешности определения параметров. Чем меньше , тем шире пределы допустимых значений параметров , тем робастнее модель. В случае, если величина предельно допустимой неточности не определена или же если стоит задача сравнения нескольких оптимумов из одного и того же пространства (например, при автоматической калибровке гидрологических моделей), индекс может быть найден по упрощенному уравнению:

, (11)

где -- это радиус осреднения значений целевой функции (F-радиус). В практических задачах, когда целевая функция дискретна, индекс определяется именно по уравнению (2а), как среднее значение в пределах определенного количества шагов по всем направлениям от исследуемого вектора параметров (например, 1, 2, 3 или более):

, (12)

где - целевая функция для параметров и -шагового радиуса вокруг каждого из них.

Оптимизируя трансформированную целевую функцию или , можно найти наиболее стабильные параметры. Этот способ практически применим при сравнительно небольшом числе параметров. Впрочем, это зависит от имеющихся ресурсов процессора. Например, если уравнение (12) используется для оценивания индексов или в точках по обе стороны и в центре исследуемого вектора параметров, то число расчетов по модели (число выполненных оценок ) равно . Пусть - число сравниваемоых наборов параметров. Тогда общее число запусков модели равно . Если время одного запуска обозначить через , то общее время расчета F-индекса равно

. (13)

Это уравнение может быть использовано для определения подходящего количества точек , необходимых для осреднения, исходя из имеющегося времени:

. (14)

Отсюда легко найти величину приращения по каждому из параметров . Заметим, что независимые параметры можно оценивать отдельно, поэтому общее число параметров при отдельном оценивании F-индекса может быть уменьшено. Сэкономленное время можно использовать для сравнения большего числа наборов параметров, уменьшения шага и т.д. В заключение заметим, что в простейшем случае (т.е. если F-радиус равен 0), уравнения (2a) и (2b) вырождаются до . Таким образом, F-индексы представляют собой расширение обычной целевой функции (и наоборот, значение целевой функции в точке равно F-index с радиусом ).

Таблица 1 - Сравнение значений целевой функции MSOF при калибровке модели «Сакраменто» (за 4 года) и проверке найденных параметров на независимом материале (за 1 год)

Водоток	Метод SCE	Метод SLS
	Годы, использованные для оценивания MSOF
	1	2	3	4	5	1	2	3	4	5
Калибровка с использованием данных за 4 года (кроме указанного в соответствующей колонке)
GBHT2	14.1*	14.0	13.8	14.3	13.8	14.3	14.4	14.0	14.6	14.1
GETT2	18.3	18.6	18.9	12.6	18.3	18.8	18.9	19.5	12.9	18.8
HBMT2	31.9	33.5	32.9	33.3	32.1	33.4	35.4	34.8	35.0	33.0
HNTT2	36.8	38.8	28.3	34.2	36.5	36.9	38.8	28.6	34.5	36.7
JTBT2	11.7	12.6	7.21	15.7	13.2	12.6	12.2	7.15	15.6	13.8
KNLT2	15.0	18.7	18.0	18.7	10.9	17.3	20.1	19.8	19.7	11.2
LYNT2	12.7	12.8	12.3	12.2	8.54	12.7	13.0	12.4	12.3	8.69
MTPT2	38.0	41.7	41.3	40.0	38.0	37.9	41.5	41.3	40.1	37.9
Проверка на независимом материале (за год, указанный в соответствующей колонке)
GBHT2	13.0	14.6	15.4	10.3	15.0	14.8	14.3	15.7	11.4	15.4
GETT2	14.2	9.73	3.57	27.7	13.9	14.1	8.71	3.50	26.2	13.0
HBMT2	29.9	27.9	25.1	21.5	35.9	27.0	34.6	27.6	25.2	47.1
HNTT2	33.3	4.81	66.1	47.4	32.0	32.0	4.51	66.3	44.1	32.0
JTBT2	12.4	4.32	25.9	9.59	26.2	4.96	3.79	24.7	6.47	17.6
KNLT2	31.9	4.38	13.7	18.0	47.9	28.5	11.1	10.8	15.3	43.1
LYNT2	11.4	5.89	11.0	11.4	36.9	11.8	4.92	10.3	11.1	37.3
MTPT2	45.1	16.2	20.9	34.2	52.4	45.4	14.5	19.6	33.7	52.0

В Главе 4 представлены оптимизационные процедуры группы SLS, которые были разработаны таким образом, чтобы свойства многомерных поверхностей целевых функций были учтены наилучшим образом.

Базовый оптимизационный алгоритм SLS, представляющий собой алгоритм «шаблонной» оптимизации, производит отыскание оптимумов в направлении уменьшения значения целевой функции, последовательно продвигаясь вдоль направления каждого параметра на определенное количество шагов (в нашем примере -- на 1 шаг). Алгоритмически, процедура SLS состоит из следующих операций:

1. Старт заключается в оценивании (вычислении) значения целевой функции , соответствующего предопределенному набору (вектору) параметров (здесь и далее по тексту символ вектор опускается);

2. Значения всех параметров, кроме первого, фиксируются. Значение первого -- увеличивается или уменьшается на один шаг, при этом определяется направление понижения значения целевой функции ;

3. Первому параметру присваивается новое значение, соответствующее уменьшенной величине (или сохраняется старое, если целевая функция не изменилась), затем это значение фиксируется, и операция, описанная в п.1, выполняется в отношении второго параметра;

4. Операция из п. 3 повторяется в отношении всех остальных параметров, пока все параметры не будут испытаны и, если нужно, исправлены;

5. Операции из пп. 2-4 выполняются до тех пор, пока уменьшение значения не прекратится. Следует подчеркнуть, что многочисленные эксперименты с моделью «Сакраменто», проведенные соискателем в 2002-2006 гг. позволили упростить базовый алгоритм следующим образом: если значение параметра не меняется на протяжении трех последовательных итераций (то есть трех последовательных корректировок всех оставшихся параметров), этот параметр исключается из дальнейшего рассмотрения (это объясняется локальной ортогональностью параметров вблизи оптимума, вызванной дискретностью поиска). Это упрощение позволяет сократить число запусков модели примерно в 4 раза. Набор наименее чувствительных параметров может изменяться от водосбора к водосбору и во времени и отражает взаимозависимость параметров, которая также изменяется во времени и пространстве.

Если шаг изменения параметров чересчур велик, алгоритм SLS может пропустить минимум (который мог бы быть обнаружен при более мелком шаге). В ходе выполнения экспериментов было установлено, что размер шага, равный амплитуды параметра, является вполне универсальным, хотя в некоторых случаях было бы интересно оптимизировать и его. Условие остановки оптимизации -- исключение всех параметров. Результаты параметризации модели «Сакраменто» на основе метода SLS с постоянным шагом оптимизации равным 5% показаны в работе.

Таблица 2 - Сравнение результатов оптимизации различными способами на основе SLS

Водоток-створ	Код	Площадь водосбора, км2	Нач. значение критерия MSOF (метод Корня)	Окончательное значение MSOF
				SCE	SLS	SLS-F	SLS-2L	SLS-E
Верховые водосборы, находящиеся в штате Техас (США)*
Onion Creek -Austin	ATIT2	844	23.21	19.36	20.84	20.85	24.01	16.24
Denton Creek - Justin	DCJT2	1039	18.47	16.13	16.57	16.57	18.88	14.99
Greens Bayou - Houston	GBHT2	137	13.82	11.35	11.65	11.66	14.12	9.51
South Fork San Gabriel - Georgetown	GETT2	334	17.39	16.22	16.52	16.54	17.32	16.03
Cowleech Creek - Greenville	GNVT2	212	16.89	14.39	14.60	14.60	17.90	11.72
Brays Bayou - Houston	HBMT2	246	35.69	27.02	28.52	28.53	42.48	24.18
Guadalupe River - Hunt	HNTT2	769	39.50	30.99	31.01	31.02	37.00	28.12
Double Mount Fork - Justiceburg	JTBT2	945	13.73	12.19	12.86	12.89	15.97	10.67
Sandy Creek - Kingsland	KNLT2	904	18.38	11.55	13.67	13.67	13.88	9.66
Davidson Creek - Lyons	LYNT2	508	10.51	10.22	10.37	10.37	10.41	9.10
East Fork Trinity - McKinney	MCKT2	427	16.84	13.87	14.18	14.19	15.31	12.42
Bedias Creek - Madisonville	MDST2	870	33.92	25.79	28.56	28.56	32.50	23.42
Midfield - Tres Palacios	MTPT2	435	35.43	33.92	33.83	33.83	34.00	29.45
Cowhouse Creek -Pidcoke	PICT2	1178	38.99	38.00	37.68	37.70	38.12	22.90
Navidad River - Sublime	SBMT2	896	56.66	53.92	54.57	54.57	55.73	48.83
Верховые водосборы, находящиеся в штате Новый Южный Уэльс**
Kyeabma Creek - Book Book	KCBB1	145	3.55	0.926	0.914	0.914	1.472	0.798
Kyeamba Creek - Lady Smith	KCLS1	530	3.31	1.140	1.140	1.140	1.272	0.824
Hillis Creek - Mount Adrah	HCMA1	568	2.99	0.991	0.988	0.988	1.045	0.744
Billabong Creek - Aberfeldy	BCAB1	331	1.90	0.786	0.786	0.787	0.800	0.523

* Гидрологические посты, находящиеся в ведении регионального речного прогностического центра Национальной Службы Погоды США (NWS West Gulf RFC)

** Гидрологические посты, находящиеся в ведении Департамента природных ресурсов штата Новый Южный Уэльс (Австралия)

Алгоритм SLS-F (SLS плюс F-робастность) -- это еще один полезный инструмент для калибровки оперативных гидрологических моделей. Его не следует рассматривать как альтернативу методу SLS-2L, поскольку эти два подхода предназначены для решения разных проблем. Задача метода SLS-F -- поиск наиболее надежных и стабильных во времени параметров. Данное исследование носит пилотный характер, поэтому метод SLS-F использовался при (см. уравнение (12)). Это объясняется тем, что «обычный» метод SLS, в любом случае, предполагает расчет целевой функции в двух или трех точках вокруг исследуемого набора параметров. При использовании метода SLS-F (при ) такой расчет всегда осуществляется ровно в трех точках (за исключением самой первой итерации, которая выполняется в обычном режиме). Общее число запусков модели при этом может возрасти в 5-10 раз, что все равно меньше, чем требуется для «глобального» алгоритма SCE. Увеличение числа шагов осреднения до 2 ведет к дальнейшему увеличению числа запусков модели (до трех порядков) и, следовательно, в таком случае на оптимизацию расходуются ресурсы процессора, соизмеримые с затрачиваемыми при использовании метода «глобальной» оптимизации SCE. Однако практическое использование метода SLS-F все равно имеет смысл, так как при такой же загрузке...