Динамическое программирование

Размещено на http://www.allbest.ru/

2

Содержание

оптимальность динамический программирование управление

Введение

1. Динамическое программирование

1.1 Задача динамического программирование

1.2 Общая структура динамического программирования

1.3 Решение задачи

Заключение

Список использованных источников

Введение

Я считаю, что изучение динамического программирования весьма актуально, так как в настоящее время наука уделяет все больше внимания вопросам организации и управления, это приводит к необходимости анализа сложных целенаправленных процессов под углом зрения их структуры и организации, а динамическое программирование позволяет провести этот анализ.

Динамическое программирование представляет собой аппарат, позволяющий находить оптимальное решение, когда анализируемая ситуация не содержит факторов неопределённости, но имеет большое количество вариантов поведения, приносящих различные результаты, среди которых необходимо выбрать наилучший. Возникло и сформировалось в 1950-1953 гг. благодаря работам Р. Беллмана над динамическими задачами управления запасами.

Целью исследования операций является выявление наилучшего способа действия при решении той или иной задачи. Главная роль при этом отводится математическому моделированию. Для построения математической модели необходимо иметь строгое представление о цели функционирования исследуемой системы и располагать информацией об ограничениях, которые определяют область допустимых значений.

Целью курсовой работы является изучение динамического программирования.

Задачами курсовой работы являются:

1. изучение основных понятий динамического программирования;

2. изучение основных методов динамического программирования;

3. изучение основных характеристик динамического программирования;

4. рассмотрение принципа оптимальности

1. Динамическое программирование

1.1 Задача динамического программирования

Большинство методов исследования операций связано в первую очередь с задачами вполне определенного содержания. Классический аппарат математики оказался малопригодным для решения многих задач оптимизации, включающих большое число переменных и ограничений в виде неравенств. Несомненна привлекательность идеи разбиения задачи большой размерности на подзадачи меньшей размерности, включающие всего понескольких переменных, и последующего решения общей задачи по частям. Именно на этой идее основан метод динамического программирования.

Динамическое программирование (ДП) представляет собой математический метод, заслуга создания и развития которого принадлежит прежде всего Беллману. Метод можно использовать для решения весьма широкого круга задач, включая задачи распределения ресурсов, замены и управления запасами, задачи о загрузке.

Характерным для динамического программирования является подход к решению задачи по этапам, с каждым из которых ассоциирована одна управляемая переменная. Набор рекуррентных вычислительных процедур, связывающих различные этапы, обеспечивает получение допустимого оптимального решения задачи в целом при достижении последнего этапа.

Происхождение названия динамическое программирование, вероятно, связано с использованием методов ДП в задачах принятия решений через фиксированные промежутки времени (например, в задачах управления запасами). Однако методы ДП успешно применяются также для решения задач, в которых фактор времени не учитывается. По этой причине более удачным представляется термин многоэтапное программирование, отражающий пошаговый характер процесса решения задачи.

Фундаментальным принципом, положенным в основу теории ДП, является принцип оптимальности. По существу, он определяет порядок поэтапного решения допускающей декомпозицию задачи (это более приемлемый путь, чем непосредственное решение задачи в исходной постановке) с помощью рекуррентных вычислительных процедур.

Динамическое программирование позволяет осуществлять оптимальное планирование управляемых процессов. Под «управляемыми» понимаются процессы, на ход которых мы можем в той или другой степени влиять. Пусть предполагается к осуществлению некоторое мероприятие или серия мероприятий («операция»), преследующая определенную цель. Спрашивается: как нужно организовать (спланировать) операцию для того, чтобы она была наиболее эффективной? Для того, чтобы поставленная задача приобрела количественный, математический характер, необходимо ввести в рассмотрение некоторый численный критерий W, которым мы будем характеризовать качество, успешность, эффективность операции. Критерий эффективности в каждом конкретном случаи выбирается исходя из целевой направленности операции и задачи исследования (какой элемент управления оптимизируется и для чего). Сформулируем общий принцип, лежащий в основе решения всех задач динамического программирования («принцип оптимальности»): «Каково бы ни было состояние системы S перед очередным шагом, надо выбрать управление на этом шаге так, чтобы выигрыш на данном шаге плюс оптимальный выигрыш на всех последующих шагах был максимальным».

Динамическое программирование - это поэтапное планирование многошагового процесса, при котором на каждом этапе оптимизируется только один шаг. Управление на каждом шаге должно выбираться с учетом всех его последствий в будущем.

При постановке задач динамического программирования следует руководствоваться следующими принципами:

1. Выбрать параметры (фазовые координаты), характеризующие состояние S

управляемой системы перед каждым шагом.

2. Расчленить операцию на этапы (шаги).

3. Выяснить набор шаговых управлений xi для каждого шага и налагаемые на них ограничения.

4. Определить какой выигрыш приносит на i-ом шаге управление xi, если перед этим система была в состоянии S, т.е. записать «функцию выигрыша»:

Wi=ѓi(S,xi)

5. Определить, как изменяется состояние S системы S под влиянием управление xi на i-ом шаге: оно переходит в новое состояние

Њ=цi(S,xi) (1.1.1)

6.Записать основное рекуррентное уравнение динамического программирования, выражающее условный оптимальный выигрыш Wi(S) (начиная с i-го шага и до конца) через уже известную функцию

Wi +1(S): Wi(S)=mах{ѓi(S,xi)+Wi+1(цi(S,xi))} (1.1.2)

Этому выигрышу соответствует условное оптимальное управление на i-м шаге xi (S) (причем в уже известную функцию Wi +1(S) надо вместо S подставить измененное состояние Њ=цi(S,xi).

7. Произвести условную оптимизацию последнего (m-го) шага, задаваясь гаммой состояний S, из которых можно за один шаг дойти до конечного состояния, вычисляя для каждого из них условный оптимальный выигрыш по формуле

Wm(S)=mах{ѓm(S,xm)} (1.1.3)

8. Произвести условную оптимизацию (m-1)-го, (m-2)-го и т.д. шагов по формуле (1.2), полагая в ней i=(m-1),(m-2),., и для каждого из шагов указать условное оптимальное управление xi(S), при котором максимум достигается.

Заметим, что если состояние системы в начальный момент известно (а это обычно бывает так), то на первом шаге варьировать состояние системы не нужно - прямо находим оптимальный выигрыш для данного начального состояния S0. Это и есть оптимальный выигрыш за всю операцию WЅ=W1(S0)

9.Произвести безусловную оптимизацию управления, «читая» соответствующие рекомендации на каждом шаге. Взять найденное оптимальное управление на первом шаге ; изменить состояние системы по формуле (1.1); для вновь найденного состояния найти оптимальное управление на втором шаге х2* и т.д. до конца. Данные этапы рассматривались для аддитивных задач, в которых выигрыш за всю операцию равен сумме выигрышей на отдельных шагах.

Метод динамического программирования применим также и к задачам с так называемым «мультипликативным» критерием, имеющим вид произведения: W=Рwi (если только выигрыши wiположительны). Эти задачи решаются точно так же, как задачи с аддитивным критерием, с той единственной разницей, что в основном уравнении (1.1.2) вместо знака «плюс» ставится знак «умножения»:Wi(S)=mах{ѓi(S,xi)*Wi+1(цi(S,xi))}

1.2 Общая структура динамического программирования

Отыскание оптимальной стратегии принятия набора последовательных решений, в большинстве случаях, производится следующим образом: сначала осуществляется выбор последнего во времени решения, затем при движении в направлении, обратном течению времени, выбираются все остальные решения вплоть до исходного. Для реализации такого метода необходимо выяснить все ситуации, в которых может происходить выбор последнего решения. Обычно условия, в которых принимается решение, называют «состоянием» системы. Состояние системы - это описание системы, позволяющее, учитывая будущие решения, предсказать ее поведение. Нет необходимости выяснять, как возникло то ил иное состояние или каковы были предшествующие решения. Это позволяет последовательно выбирать всего по одному решению в каждый момент времени. Независимо от того, отыскивают оптимальные решения с помощью табличного метода и последующего поиска или аналитическим путем, обычно быстрее и выгоднее производить выбор по одному решению в один момент времени, переходя затем к следующему моменту и т.д. К сожалению, таким методом можно исследовать не все процессы принятия решений.

Необходимым условием применения метода динамического программирования является аддитивность цен всех решений, а также независимость будущих результатов от предыстории того или иного состояния.

Если число решений очень велико, то можно построить относительные оценки состояний так, чтобы оценки, отвечающие каждой паре последовательных решений, отличались друг от друга на постоянную величину, представляющую собой средний «доход» на решение. Также можно выполнять дисконтирование доходов от будущих решений. Необходимость в этом иногда появляется в том случае, когда решение принимаются редко, скажем раз в году. Тогда уже не нужно рассматривать последовательно 1,2,3.решения, чтобы достичь решения с большим номером.

Вместо этого можно непосредственно оперировать функциональным уравнением, что, как правило, дает существенную выгоду с точки зрения сокращения объема вычислений.

1.3 Решение задачи

В начале планового периода продолжительностью N лет имеется оборудование возраста t лет. Известны: стоимость r(t) продукции, производимой в течение года с использованием этого оборудования; ежегодные расходы v(t), связанные с эксплуатацией оборудования; его остаточная стоимость s; стоимость p нового оборудования (сюда же включены расходы, связанные с установкой, наладкой и запуском оборудования). Требуется:

1)пользуясь функциональными управлениями, составить матрицу максимальных прибылей за N лет;

2)сформировать по матрице максимальных прибылей оптимальные стратегии замены оборудования данных возрастов t и лет в плановом периоде продолжительностью соответственно N и лет.

Анализ 10-го шага Для 1-го шага возможные состояния системы t = 1,2,3,4,5,6,7,8,9,10, а функциональные уравнения имеют вид:

F10(t) = max(r(t), (C); S(t) - P + r(0), (З) )

Анализ 9-го года Для 2-го шага возможные состояния системы t = 1,2,3,4,5,6,7,8,9, а функциональные уравнения имеют вид:

F9(t) = max(r(t) + F10(t+1) ; S(t) - P + r(0) + F10(1))

Анализ 8-го года Для 3-го шага возможные состояния системы t = 1,2,3,4,5,6,7,8, а функциональные уравнения имеют вид:

F8(t) = max(r(t) + F9(t+1) ; S(t) - P + r(0) + F9(1))

Анализ 7-го года Для 4-го шага возможные состояния системы t = 1,2,3,4,5,6,7, а функциональные уравнения имеют вид:

F7(t) = max(r(t) + F8(t+1) ; S(t) - P + r(0) + F8(1))

Анализ 6-го года. Для 5-го шага возможные состояния системы t = 1,2,3,4,5,6, а функциональные уравнения имеют вид:

F6(t) = max(r(t) + F7(t+1) ; S(t) - P + r(0) + F7(1))

Анализ 5-го года Для 6-го шага возможные состояния системы t = 1,2,3,4,5, а функциональные уравнения имеют вид:

F5(t) = max(r(t) + F6(t+1) ; S(t) - P + r(0) + F6(1))

Анализ 4-го года Для 7-го шага возможные состояния системы t = 1,2,3,4, а функциональные уравнения имеют вид:

F4(t) = max(r(t) + F5(t+1) ; S(t) - P + r(0) + F5(1))

Анализ 3-го года Для 8-го шага возможные состояния системы t = 1,2,3, а функциональные уравнения имеют вид:

F3(t) = max(r(t) + F4(t+1) ; S(t) - P + r(0) + F4(1))

Анализ 2-го года Для 9-го шага возможные состояния системы t = 1,2, а функциональные уравнения имеют вид:

F2(t) = max(r(t) + F3(t+1) ; S(t) - P + r(0) + F3(1))

Анализ 1-го года. Для 10-го шага возможные состояния системы t = 1, а функциональные уравнения имеют вид:

F1(t) = max(r(t) + F2(t+1) ; S(t) - P + r(0) + F2(1))

Составим матрицу максимальной прибыли

2) З=>С=>С=>С=>С=>З=>С=>С=>С=>С

С=>С=>С=>З=>С=>С=>С

Безусловная оптимизация (k = 10,9,8,7,6,5,4,3,2,1)

Безусловная оптимизация начинается с шага при k = 1. Максимальной возможный доход от эксплуатации оборудования за годы с 1-го по 11-й составляет F1(1) = 71. Этот оптимальный выигрыш достигается, если на первом году не производить замены оборудования.

К началу 2-го года возраст оборудования увеличится на единицу и составит: t2 = t1 + 1 = 1 + 1 = 2.

Оптимальное управление при k = 2, x2(2) = (C), т.е. максимум дохода за годы с 2-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 3-го года возраст оборудования увеличится на единицу и составит: t3 = t2 + 1 = 2 + 1 = 3.

Безусловное оптимальное управление при k = 3, x3(3) = (C/З), т.е. для получения максимума прибыли за оставшиеся годы необходимо в этом году провести замену оборудования.

К началу 4-го года возраст оборудования увеличится на единицу и составит: t4 = t3 + 1 = 0 + 1 = 1.

Оптимальное управление при k = 4, x4(1) = (C), т.е. максимум дохода за годы с 4-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 5-го года возраст оборудования увеличится на единицу и составит: t5 = t4 + 1 = 1 + 1 = 2.

Оптимальное управление при k = 5, x5(2) = (C), т.е. максимум дохода за годы с 5-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 6-го года возраст оборудования увеличится на единицу и составит: t6 = t5 + 1 = 2 + 1 = 3.

Оптимальное управление при k = 6, x6(3) = (C), т.е. максимум дохода за годы с 6-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 7-го года возраст оборудования увеличится на единицу и составит: t7 = t6 + 1 = 3 + 1 = 4.

Безусловное оптимальное управление при k = 7, x7(4) = (З), т.е. для получения максимума прибыли за оставшиеся годы необходимо в этом году провести замену оборудования.

К началу 8-го года возраст оборудования увеличится на единицу и составит: t8 = t7 + 1 = 0 + 1 = 1.

Оптимальное управление при k = 8, x8(1) = (C), т.е. максимум дохода за годы с 8-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 9-го года возраст оборудования увеличится на единицу и составит: t9 = t8 + 1 = 1 + 1 = 2.

Оптимальное управление при k = 9, x9(2) = (C), т.е. максимум дохода за годы с 9-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

К началу 10-го года возраст оборудования увеличится на единицу и составит: t10 = t9 + 1 = 2 + 1 = 3.

Оптимальное управление при k = 10, x10(3) = (C), т.е. максимум дохода за годы с 10-го по 10-й достигается, если оборудование сохраняется, т.е. не заменяется.

Таким образом, за 10 лет эксплуатации оборудования замену надо произвести:

- в начале 3-го года эксплуатации

- в начале 7-го года эксплуатации

Заключение

В процессе написания курсовой работы была достигнута цель - изучение задачи динамического программирования. Динамическое программирование представляет собой аппарат, позволяющий находить оптимальное решение, когда анализируемая ситуация не содержит факторов неопределённости, но имеет большое количество вариантов поведения, приносящих различные результаты, среди которых необходимо выбрать наилучший. Я считаю, что это безусловно нужно будет мне в дальнейшем.

Были осуществлены следующие задачи:

1) изучение основных понятий динамического программирования;

2) изучение основных методов динамического программирования;

3) изучение основных характеристик динамического программирования;

4) рассмотрение принципа оптимальности.

Список использованных источников

1. Алесинская Т.В. Учебное пособие по решению задач по курсу "Экономико-математические методы и модели". - Таганрог: Изд-во ТРТУ, 2004. - 153с.

2. Афанасьев М.Ю., Суворов Б.П. Исследование операций в экономике: модели, задачи, решения. - М.: ИНФРА, 2005. - 444c.

3. Бережная Е.В., Бережной В.И. Математические методы моделирования экономических систем. Учебное пособие. - М.: финансы и статистика, 2005. - 386с.

4. Кормен, Т., Лейзерсон, Ч., Ривест, Р., Штайн, К. Глава 15. Динамическое программирование // Алгоритмы: построение и анализ / Под ред. И. В. Красикова. -- 2-е изд. -- М.: Вильямс, 2005. -- 1296 с.

5. Тынкевич М.А. Экономико-математические методы (исследование операций). - Кемерово, 2006. - 177с.

6. Хазанова Л.Э. Математические методы в экономике: Учебное пособие. - М.: Издательство БЕК, 2006. - 144с.

7. Щербина О. А. Методологические аспекты динамического программирования // Динамические системы, 2007, вып. 22. -- c.21-36

Размещено на Allbest.ru