Потокові моделі та дворівневі методи управління трафіком в IP/MPLS-мережах з підтримкою технології Traffic Engineering

8

Размещено на http://www.allbest.ru/

Харківський національний університет радіоелектроніки

УДК 621.391

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

Потокові моделі та дворівневі методи управління трафіком в IP/MPLS-мережах з підтримкою технології Traffic Engineering

05.12.02 - Телекомунікаційні системи та мережі

Ахмад Махсин Хайлан

Харків 2011

Загальна характеристика роботи

Актуальність теми. Проблема забезпечення якості обслуговування (Quality of Service, QoS) в сучасних мультисервісних телекомунікаційних мережах (ТКМ), які розвиваються у напрямку створення мереж наступного покоління (Next Generation Network, NGN), є все ще досить гострою та потребує кропіткої проробки множини задач, що виникають практично на всіх рівнях еталонної моделі взаємодії відкритих систем (ЕМВВС). У зв'язку з цим все більше уваги приділяється засобам управління трафіком, що реалізуються на мережному рівні ЕМВВС, до яких, перш за все, варто віднести протоколи маршрутизації, механізми розподілу канального та буферного ресурсів ТКМ.

На роль транспортної основи NGN обґрунтовано претендує, завойовуючи все більше визнання, технологія багатопротокольної комутації міток - MPLS (MultiProtocol Label Switching), яка увібрала в себе переваги технологій IP (Internet Protocol) та ATM (Asynchronous Transfer Mode). Проведений аналіз дозволив сформулювати важливі вимоги, що висуваються до управління трафіком в MPLS-мережах, до яких варто віднести, перш за все, погоджене розв'язання окремих задач щодо управління трафіком; підтримку якості обслуговування; реалізацію багатошляхових стратегій маршрутизації «від джерела»; високу масштабованість результуючих рішень.

На жаль відомі технологічні та протокольні рішення у цій галузі не забезпечують задоволення перерахованих вимог в необхідному об'ємі. Тому чисельні передові концепції та технології, такі як Traffic Engineering (TE), Traffic Engineering DiffServ, Fast ReRouting та ін., не можуть в повній мірі реалізувати потенціал закладених в них можливостей, пов'язаних з підвищенням якості обслуговування в ТКМ. Причина цього багато в чому полягає у недосконалості математичних моделей і методів, які закладені в протоколи маршрутизації, механізми управління чергами та ін. Графові моделі пошуку найкоротшого шляху, що використовуються в сучасних протоколах маршрутизації, а також засновані переважно на адміністративному впливі механізми управління чергами мають досить обмежені можливості щодо врахування характеристик трафіка й вимог, що стосуються якості обслуговування та масштабованості. Крім того, окремі задачі щодо управління трафіком розв'язуються, як правило, розрізнено, що, в результаті, не сприяє зростанню продуктивності ТКМ. У зв'язку з цим тематика дисертаційної роботи, яка присвячена розв'язанню наукової задачі, пов'язаної з вдосконаленням засобів управління трафіком в IP/MPLS-мережах в умовах реалізації багатошляхових стратегій маршрутизації від джерела шляхом розробки відповідних математичних моделей та методів для підвищення продуктивності та масштабованості ТКМ в цілому, є актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційні дослідження тісно пов'язані з положеннями „Концепції Національної інформаційної політики”, „Концепції Національної програми інформатизації”, „Основних засад розвитку інформаційного суспільства в Україні на 2007-2015 роки” та „Концепції конвергенції телефонних мереж та мереж з пакетною комутацією в Україні”. Матеріали дисертації реалізовано в ході виконання науково-дослідної роботи № 235-1 „Методи проектування телекомунікаційних мереж NGN та управління їх мережними ресурсами”, яка виконувалась кафедрою ТКС ХНУРЕ, в якій дисертант був виконавцем. Запропоновані потокові моделі та методи управління трафіком використано у навчальному процесі кафедри ТКС ХНУРЕ. Впровадження результатів дисертаційної роботи підтверджено відповідними актами.

Метою досліджень є підвищення продуктивності ТКС шляхом удосконалення засобів управління трафіком. У ході розв'язання поставленої наукової задачі сформульовано та вирішено наступні завдання дослідження:

- аналіз сучасного стану розв'язання задач щодо управління трафіком в IP/MPLS-мережах;

- огляд відомих математичних моделей і методів маршрутизації в мережах, орієнтованих на віртуальні з'єднання;

- розробка потокових моделей управління трафіком в IP/MPLS-мережах з підтримкою технології Traffic Engineering;

- розробка методів ієрархічно-координаційного управління трафіком в IP/MPLS-мережах з підтримкою технології Traffic Engineering;

- оцінка ефективності та розробка рекомендацій щодо практичного використання запропонованих у дисертації рішень.

Об'єкт дослідження: процес управління трафіком в IP/MPLS-мережах.

Предмет дослідження: моделі та методи управління трафіком в IP/MPLS-мережах.

Методи дослідження. В роботі знайшли своє застосування як математичні методи дослідження, так і методи лабораторного експерименту. При розробці потокових моделей управління трафіком в IP/MPLS-мережах було використано апарат дослідження операцій та теорія множин. При розробці методів ієрархічно-координаційного управління трафіком використано методи оптимізації ієрархічних багаторівневих систем. У ході перевірки адекватності запропонованих моделей та оцінки ефективності розроблених методів використовувалися методи лабораторного експерименту.

Наукова новизна отриманих результатів. Під час розв'язання поставлених задач були отримані наступні нові наукові результати:

1. Отримала подальший розвиток потокова модель і вдосконалено дворівневий метод ієрархічно-координаційної маршрутизації в MPLS-мережі за підтримки технології Traffic Engineering. Новизна моделі та методу полягає в декомпозиційному поданні умов запобігання перевантаженню трактів передачі мережі; у виборі квадратичної вартісної функції та використанні принципу цільової координації при оптимізації процесу багатошляхової маршрутизації в MPLS-мережі. Це дозволило забезпечити більш ефективне балансування навантаження в мережі, а також підвищити показники продуктивності і масштабованості одержуваних рішень в MPLS-мережі в умовах реалізації багатошляхової стратегії маршрутизації «від джерела».

2. Отримала подальший розвиток потокова модель, і вдосконалено дворівневий метод ієрархічно-координаційного управління трафіком в MPLS-мережі за підтримки технології Traffic Engineering DiffServ. Новизна моделі та методу полягає у забезпеченні узгодженого розрахунку маршрутних змінних і змінних, що відповідають за розподіл пропускної здатності трактів передачі в інтересах трафіка користувача того чи іншого класу обслуговування; у використанні принципу прогнозування взаємодій при оптимізації процесу багаторівневого управління трафіком в мережі. Це дозволило більш повно описати особливості процесу управління трафіком у рамках технології Traffic Engineering DiffServ в MPLS-мережі, закріпивши за приграничними маршрутизаторами функції маршрутизації, а за координатором мережі - політику призначення пріоритетів і розподілу на їх основі пропускної здатності трактів передачі мережі, що в результаті забезпечило більш високі показники продуктивності і масштабованості MPLS-мережі при управлінні трафіком.

3. Отримала подальший розвиток потокова модель і вдосконалено дворівневий метод ієрархічної-координаційної маршрутизації на основі резервування ресурсів у мережі IP/IntServ. Новизна моделі та методу полягає в узгодженому розв'язанні задач маршрутизації і резервування мережних ресурсів (пропускної спроможності трактів передачі мережі), що забезпечувалося на основі спільного опису цих мережних процесів в рамках єдиної математичної моделі. У методі використано принцип цільової координації. Це пов'язано з тим, що задачі маршрутизації і резервування ресурсів вирішувалися на приграничних вузлах, на відміну від підходу, запропонованого для мережі MPLS-TE DiffServ, де відповідно до технологічних особливостей розрахунок частини керуючих змінних «перекладався» на верхній рівень управління.

Обґрунтованість та достовірність отриманих у роботі нових наукових результатів забезпечувалась та підтверджувалась коректним використанням ключових положень відомого та добре апробованого математичного апарату - теорії множин, математичного програмування, теорії управління багаторівневими системами, а також ретельним аналітичним та числовим обґрунтуванням прийнятих наближень, ясним фізичним трактуванням отриманих результатів дослідження. Крім того, достовірність результатів дисертаційної роботи визначалась допустимим співпаданням результатів аналітичного, імітаційного моделювання та лабораторного експерименту. Результати розв'язання задач управління трафіком в IP/MPLS-мережі за допомогою запропонованих моделей та методів в окремих, але важливих випадках співпадали з раніше відомими результатами досліджень.

Наукове значення результатів роботи полягає в узагальненні та подальшому розвитку теорії та методів управління трафіком та мережними ресурсами ТКМ шляхом розробки та вдосконалення відповідних потокових моделей та багаторівневих методів. Використання запропонованих моделей та методів дозволило більш системно підійти до формулювання та розв'язання окремих задач управління трафіком - маршрутизації, пріоритезації та розподілу пропускної здатності каналів зв'язку, резервування ресурсів, оскільки використання існуючих моделей та методів не забезпечувало комплексного врахування особливостей багатошляхової маршрутизації, динамічних стратегій призначення пріоритетів та управління канальними ресурсами при маршрутизації в ТКМ «від джерела».

Практичне значення результатів роботи полягає у тому, що запропоновані в ній математичні моделі і методи можуть бути використані при вирішенні важливих прикладних задач управління трафіком в ТКС, можуть бути покладені в основу перспективних протоколів маршрутизації, алгоритмів пріоритезації, розподілу і резервування пропускної здатності каналів зв'язку в MPLS-мережі за підтримки технологій Traffic Engineering і Traffic Engineering DiffServ. Крім того, результати дисертації використані у ході виконання науково-дослідної роботи № 235-1 «Методи проектування телекомунікаційних мереж NGN та управління їх ресурсами»(№ ДР 0109U000662), в якій автор виступав співвиконавцем. Матеріали дисертаційної роботи також використані у навчальному процесі кафедри телекомунікаційних систем ХНУРЕ в дисциплінах «Управління та маршрутизація в ТКС», «Системи розподілу інформації, частина 2». За результатами роботи отримано позитивний висновок про видачу деклараційного патенту на корисну модель (u 2011 01301).

Особистий вклад здобувача. Усі основні наукові результати, висвітлені в дисертаційній роботі, здобувач отримав самостійно. Крім того, в роботі [1] автором зроблено порівняльний аналіз різних моделей управління мережними ресурсами ТКС з динамічним розподілом пропускної здатності каналів зв'язку; в статті [2] здобувачем запропоновано потокову модель і вдосконалено дворівневий метод ієрархічно-координаційної маршрутизації в MPLS-мережі з підтримкою технології Traffic Engineering; в роботі [3] автором запропоновано потокову модель і вдосконалено дворівневий метод ієрархічно-координаційного управління трафіком в MPLS-мережі з підтримкою технології Traffic Engineering DiffServ; в роботі [4] автором отримані результати дослідження методу ієрархічно-координаційної маршрутизації в MPLS-мережі для різних цільових функцій, які використано у ході оптимізації процесу маршрутизації; у статті [5] здобувачем отримано потокову модель і вдосконалено дворівневий метод ієрархічно-координаційної маршрутизації на основі резервування ресурсів у мережі IP/IntServ.

Апробація. Результати роботи доповідались на п'яти наукових конференціях, чотирьох форумах, двох симпозіумах та одному семінарі, а саме на ХІІІ, XIV, XV Міжнародних молодіжних форумах «Радиоэлектроника и молодежь в ХХІ веке» (2009-2011 рр. м. Харків, ХНУРЕ), VIII Міжнародній науково-технічній конференції «Перспективные технологии в средствах передачи информации - ПТСПИ'2009» (2009 р., м. Володимир, ВлГУ), III и IV науково-технічних симпозіумах "Нові технології в телекомунікаціях" (2010-2011 рр., м. Київ, ДУІКТ), Міжнародній конференції «Modern Problems of Radio Engineering, Telecommunications and Computer Science. Proceedings of the international Conference TCSET'2010» (2010 р., м. Львів-Славське, Національний університет «Львівська політехніка»), науково-практичному семінарі молодих вчених «Сучасні телекомунікаційні та інформаційні технології» (2010 р., м. Київ, УНДІЗ), науково-технічній конференції з міжнародною участю «Компьютерное моделирование в наукоемких технологиях - КМНТ-2010» (2010 р., м. Харків, ХНУ ім. В. Каразіна), науково-практичній конференції "Сучасні проблеми телекомунікацій - 2010" (2010 р., м. Львів, Національний університет «Львівська політехніка»), 11-й Міжнародній конференції «The experience of designing and application of CAD systems in microelectronics» (2011 р., м. Львів-Поляна, Національний університет «Львівська політехніка»).

Публікації. Основні результати дисертаційної роботи викладено в 17 наукових працях, з них 5 статей опубліковані в спеціалізованих фахових виданнях, затверджених ВАК України. Крім того, результати досліджень викладено в одинадцяти тезах доповідей на наукових конференціях, симпозіумах, форумах и семінарах. Отримано позитивний висновок на один деклараційний патент на корисну модель.

Структура та обсяг дисертації. Дисертація складається із вступу та п'яти розділів. Загальний обсяг роботи становить 150 сторінок, у тому числі 133 сторінки основного тексту, 25 малюнків, 3 таблиці усього на 17 сторінках. Список використаних джерел містить 95 найменувань, викладених на 10 сторінках.

Зміст роботи

У вступі розкрито основний зміст та загальний стан проблеми та окремих задач щодо управління трафіком в IP/MPLS-мережах, обґрунтовано актуальність теми дослідження, зазначено зв'язок роботи з науковими програмами і темами, сформульовано мету та задачі дослідження, визначено об'єкт, предмет та методи дослідження, розкрито наукову новизну та практичне значення отриманих у дисертаційній роботі результатів.

У першому розділі показано, що ключовою проблемою в сучасних мультисервісних телекомунікаційних мережах є проблема забезпечення якості обслуговування. Причому із зростанням гетерогенності мереж і різнорідності трафіку ця проблема стає все гостріше, вимагаючи серйозного та узгодженого опрацювання множини мережних задач різних рівнів еталонної моделі взаємодії відкритих систем. У зв'язку із потребою у послугах якості обслуговування «з кінця в кінець» все більше уваги приділяється засобам управління трафіком, реалізованим на мережевому рівні ЕМВВС, до яких, перш за все, варто віднести протоколи маршрутизації, механізми профілювання трафіку і розподілу канального та буферного ресурсів ТКС.

Встановлено, що, завдяки закладеним в ній широким можливостям, на практиці все частіше як транспортна платформа NGN використовується технологія багатопротокольної комутації міток - MPLS. Проведений аналіз дозволив сформулювати такі важливі вимоги, які висуваються до рішень з управління трафіком в MPLS-мережах; а саме:

ь узгоджене розв'язання окремих задач щодо управління трафіком;

ь підтримка якості обслуговування;

ь реалізація багатошляхових стратегій маршрутизації «від джерела»;

ь висока масштабованість результуючих рішень, під якою розумілась здатність технологій та протоколів управління виконувати покладені на них функції без істотного зниження ефективності своєї роботи в умовах зростання розміру мережі - кількості маршрутизаторів та трактів передачі, збільшення числа трафіків та розширення переліку показників QoS.

Проведений у роботі аналіз дозволив констатувати, що через недосконалість математичних моделей і методів, закладених у протоколи маршрутизації, механізми управління чергами та інші, відомі технологічні та протокольні рішення при управлінні трафіком не забезпечують повною мірою узгодженого задоволення перелічених вимог. Графові моделі пошуку найкоротшого шляху, що використовуються в сучасних протоколах маршрутизації, не забезпечують відповідного обліку вимог щодо множини показників QoS, а механізми управління чергами і профілювання трафіку не підтримують врахування динаміки стану мережі (характеристик трафіку і вимог, що стосуються якості обслуговування) і засновані переважно на адміністративному втручанні. Крім того, окремі задачі щодо управління трафіком розв'язуються, як правило, розрізнено, з використанням різних протоколів, що, у підсумку, не сприяє зростанню продуктивності ТКС.

У зв'язку з цим встановлено, що актуальною є наукова задача, пов'язана з удосконаленням моделей і методів управління трафіком в IP/MPLS-мережах на основі задоволення перерахованих вище вимог. При цьому важливо не допустити надмірного ускладнення використовуваних моделей і методів, що на практиці може спричинити зниження масштабованості протокольних рішень. Також необхідно забезпечити початкову «прив'язку» моделі до тієї чи іншої транспортної технології, в даному випадку IP/MPLS, для більш повного врахування особливостей її структурно-функціонального побудови.

У другому розділі відповідно до сформульованих у першому розділі роботи вимог запропонована потокова модель багатошляхової маршрутизації в MPLS-мережі за підтримки технології Traffic Engineering. Модель заснована на структурному описі MPLS-мережі (рис. 1 а) за допомогою графу , де - множина MPLS-маршрутизаторів, - множина трактів передачі (ТП) в мережі (рис. 1 б).

А)

Б)

а) структура MPLS-мережі б) граф мережі

Рис. 1. Приклад структурного опису MPLS-мережі

Тоді потужність множини визначає загальну кількість маршрутизаторів мережі, а - число трактів передачі. Всю множину маршрутизаторів відповідно до принципів побудови мережі MPLS можна розбити на дві підмножини:

- підмножина приграничних маршрутизаторів (LER);

- підмножина транзитних маршрутизаторів (LSR).

Кожній дузі графа поставимо у відповідність її пропускну здатність . Всю множину трафіків було розділено на підмножини

,

де - множина трафіків, що надходять на -й LER. Тоді кожному трафіку з множини можна співставити ряд параметрів: - -й LER, на який надходить -й трафік; - -й LER, через який -й трафік виходить з MPLS-мережі; - інтенсивність -го трафіку. Тоді для кожного -го LER як шукані виступають маршрутні змінні , які характеризують інтенсивність -го трафіку в тракті . Має місце умова збереження потоку у вузлах та мережі в цілому:

(1)

Крім того, важливо забезпечити виконання умови щодо запобігання можливого перевантаження трактів передачі MPLS-мережі:

; , . (2)

При реалізації одношляхової стратегії маршрутизації має місце умова , а при організації багатошляхової маршрутизації - . У подальшому умови (2) використовувались у векторно-матричній формі:

, (3)

де - вектор пропускних здатностей трактів передачі MPLS-мережі; - вектор інтенсивностей трафіку, який надходить через -й LSR, в трактах передачі MPLS-мережі; , () - матриці, координати яких обираються відповідно до виразу (2).

Як критерій оптимальності виступала квадратична форма від змінних стану

при , (4)

де - діагональна додатньовизначена матриця метрик трактів передачі. Сепарабельність квадратичного критерію (4) забезпечується його адитивною формою, за якою можна диференціювати вплив трафіку з різних приграничних маршрутизаторів MPLS-мережі на чисельне значення критерію. Застосування форми (4) дозволило наблизити якість балансування трафіку до централізованої маршрутизації. Формалізовані умови збереження потоку (1), умови запобігання перевантаження (2) та (3), а також умови реалізації одно- або багатошляхової маршрутизації та критерій (4) визначили структуру запропонованої потокової моделі маршрутизації в MPLS-мережі за підтримки технології Traffic Engineering. Сама ж задача маршрутизації сформульована як оптимізаційна.

У розділі запропоновано дворівневий метод ієрархічно-координаційної маршрутизації в MPLS-мережі за підтримки технології Traffic Engineering. В основу методу покладено розв'язання задачі багаторівневої оптимізації з мінімізації квадратичної функції (4) при обмеженнях (1)-(3). Сама задача (4) представлена як двоїста задача з максимізації лагранжіану за множниками Лагранжа ():

, при

. (5)

Для розв'язання сформульованої оптимізаційної задачі використано принцип цільової координації, в рамках якого лагранжіан (5) представлено у вигляді:

, де . (6)

Таким чином, функція (5) набула сепарабельної форми, а загальна проблема маршрутизації в MPLS-мережі виявилася декомпозіційованою на ряд маршрутних задач (за кількістю приграничних маршрутизаторів), де кожна задача маршрутизації на -му LER, що полягала в розрахунку вектору , звелась до оптимізації лагранжіана (6).

Розв'язання задачі щодо мінімізації виразу (6) визначила нижній рівень розрахунків - LER-рівень, результатом якого є формування маршрутів «з кінця в кінець» на кожному LER-маршрутизаторі згідно зі вмістом вектора . На верхньому рівні (LSR-рівні) здійснювалась координація рішень, отриманих на нижньому рівні, з метою недопущення перевантаження трактів передачі мережі (3) шляхом модифікації вектора множників Лагранжа в ході виконання наступної градієнтної процедури:

, , (7)

де - градієнт функції, що розраховується, виходячи з одержуваних на нижньому рівні результатів розв'язання задач маршрутизації ().

Використанні принципу цільової координації (5)-(7) при оптимізації процесу маршрутизації в MPLS-мережі дозволило забезпечити більш ефективне балансування навантаження в мережі, а також підвищити показники продуктивності і масштабованості одержуваних рішень в MPLS-мережі в умовах реалізації багатошляхової стратегії маршрутизації «від джерела», тому що використання централізованих схем досить інерційне і ресурсозатратне в умовах зростання розмірності MPLS-мережі.

Перевагою принципу цільової координації є простота розрахункових задач на LSR-рівні, тому що відповідно до парадигми «stupid network», підтримуваної в MPLS-мережах, всі «інтелектуальні» функції зосереджено на приграничних маршрутизаторах (LER-рівень). Результати дослідження запропонованих моделі та методу ієрархічно-координаційної маршрутизації показали залежність їх ефективності від зміни структурних характеристик MPLS-мережі, інтенсивності трафіку, що надходить до мережі, і використовуваних процедур балансування навантаження за множиною шляхів. Використання квадратичної цільової функції в ході оптимізації процесу маршрутизації дозволило підвищити масштабованість одержуваних рішень через зниження числа ітерацій координуючої процедури, пов'язаної з контролем перевантаження трактів передачі мережі.

У третьому розділі запропоновано підхід до оптимізації процесів управління трафіком в мережі MPLS-TE DiffServ на основі погодженої дворівневої ієрархії окремих задач - маршрутизації та пріоритетного розподілу канального ресурсу. В рамках моделі вся множина трафіків відповідно до номеру приграничного маршрутизатора та класу обслуговування розбита на підмножини

,

де - множина трафіків -го класу обслуговування (CoS), що надходять на -й LER, а - загальне число підтримуваних класів обслуговування. Кожному трафіку з множини співставимо його інтенсивність (). Тоді для кожного -го LER як шукані виступали такі маршрутні змінні , які характеризували інтенсивність -го трафіка в ТП . Умова зберігання потоку мала наступний вигляд:

(). (8)

Умови запобігання перевантаженню ТП також змінили свій зміст:

(,, ), (9)

де - доля пропускної здатності ТП , яка виділена для трафіків -го класу (додаткова керуюча змінна). Згідно з фізичним змістом шуканих змінних мають місце умови:

, (10) и . (11)

В умовах забезпечення погодженого управління маршрутизацією та канальним ресурсом MPLS-мережі як шуканий виступав наступний вектор:

(), (12)

де координатами вектора є змінні , що віднесені до -го LER, а вектор має координати

(, ).

В матричні формі систему умов (9) представлено у наступному вигляді:

, (13)

де - діагональна матриця, координатами якої є величини .

У ході розрахунку вектора шуканих змінних (12) як критерій оптимальності одержуваних рішень обрано екстремум цільової функції

при , (14)

де - діагональна матриця вагових коефіцієнтів, які характеризують умовну важливість того чи іншого класу обслуговування. Використання цільової функції (14) дозволило забезпечити, по перше, мінімізацію використання канального ресурсу і завантаженості трактів передачі мережі, по друге, організувати процес балансування навантаження відразу по всій множині доступних шляхів, що більш повно відповідає вимогам концепції Traffic Engineering в MPLS-мережі, по третє, врахувати основні закономірності процесу управління трафіком на основі пріоритетів, що відповідає особливостям побудови мереж MPLS-TE DiffServ.

Декомпозиційне подання умов запобігання перевантаження (13)з метою підвищення масштабованості одержуваних рішень дозволило обґрунтувати до застосування координаційний принцип прогнозування взаємодій. В його рамках здійснено перехід до задачі на безумовний екстремум з максимізації за множниками Лагранжа () функції

, де

. (15)

Лагранжіан (15) було представлено у вигляді

, де

. (16)

При цьому маршрутні змінні, тобто вектори (), реалізуючи стратегію «від джерела», розраховуються на нижньому рівні - на приграничних маршрутизаторах (LER) шляхом мінімізації виразу (16) при фіксованому (попередньо розрахованому) порядку розподілу пропускної здатності ТП між класами трафіків користувачів (СoS), що задається вектором , а функції координації (з метою недопущення перевантаження трактів передачі мережі) та визначення політик пріоритетного розподілу канального ресурсу покладаються на координатор мережі верхнього рівня ієрархії на підставі мінімізації виразу (15) вже при фіксованих маршрутних змінних.

Виграш у масштабованості кінцевих рішень полягав у зниженні розмірності загальної задачі управління трафіком шляхом її декомпозиції по приграничних маршрутизаторах, що, в результаті, дозволило знизити обсяги службової інформації про стан MPLS-мережі, а також підвищити надійність і оперативність управління. Крім того, цьому також може сприяти можливість реалізації секвенційної (послідовної) координації, спрямованої на мінімізацію числа координуючих процедур в мережі при оптимізації управління трафіком в ній.

У четвертому розділі запропоновано підхід до узгодженої оптимізації процесів маршрутизації і резервування канальних ресурсів в мережі IP/IntServ на основі дворівневої ієрархії функціональних завдань - маршрутизації з резервуванням ресурсів і запобігання перевантаження трактів передачі мережі. В рамках запропонованого підходу вся множина трафіків декомпозиційована на підмножини

,

де - множина трафіків, які надходять на -й приграничний маршрутизатор и будуть обслужені у відповідності до -го типу фільтра резервування, а - загальне число таких фільтрів.

Нехай - інтенсивність -го трафіку, тобто -го трафіку, який надходить на -й приграничний маршрутизатор, для обслуговування якого використовується -й фільтр резервування (FF, SE або WF). Тоді для кожного -го маршрутизатора як маршрутні змінні виступали інтенсивності -го трафіка в ТП . На відміну від моделі, розглянутої у третьому розділі, як додаткові керуючі змінні на цьому ж -му приграничному маршрутизаторі підлягають розрахунку змінні , тобто долі пропускної здатності ТП , виділеної для обслуговування трафіків з -м фільтром резервування.

Умова зберігання потоку для цього випадку має вигляд, як і вираз (8). Умови недопущення можливого перевантаження трактів передачі ТКС мають такий вид:

(, , ), (17)

в рамках яких враховується децентралізація рішень та можливість резервування на основі декількох фільтрів. Крім того, на керуючі змінні накладаються додаткові умови:

, (18) , (19) . (20)

Як шуканий виступав вектор:

(,, ), (21)

який в декомпозиційованому вигляді набував вигляду

; ,

де координатами підвектора є змінні , підвектор має координати , віднесені до -го приграничного маршрутизатора (, ).

В матричній формі система умов (17) була представлена наступним чином:

, (22)

де - квадратна матриця, а - одинична матриця розміру .

За критерій оптимальних рішень обрано мінімум квадратичної форми , при

, (23)

де - діагональна матриця вагових коефіцієнтів, що характеризують умовну важливість того чи іншого стилю резервування.

Таким чином, в рамках запропонованої моделі маршрутизації на основі резервування мережних ресурсів (8), (17)-(23) формалізовані основні закономірності процесів багатошляхової маршрутизації та розподілу і резервування пропускної здатності ТП мережі в інтересах користувача трафіка, що обслуговується в рамках того або іншого стилю резервування. Модель за своїм змістом відповідає особливостям побудови мереж IP/IntServ, для розв'язання сформульованої на її виході оптимізаційної задачі (23) обрано принцип цільової координації. В рамках цього принципу здійснено перехід до задачі на безумовний екстремум з максимізації за множниками Лагранжа () функції

, де

. (24)

Тоді лагранжіан (24) з врахуванням видозміненого запису виразу (24)

,

можна записати як

, де

. (25)

Таким чином, загальна проблема маршрутизації із забезпеченням гарантій щодо якості обслуговування в ТКС виявилася членованою на ряд маршрутних задач, де кожна задача маршрутизації з резервуванням ресурсів на -му приграничному маршрутизаторі (нижній рівень ієрархії), що полягає в розрахунку векторів і , звелась до мінімізації лагранжіана . На верхньому рівні, основним завданням якого є координація рішень, отриманих на нижньому рівні, з метою недопущення перевантаження трактів передачі мережі при резервуванні канальних ресурсів, здійснюється модифікація вектора множників Лагранжа в ході виконання наступної градієнтної наступної процедури:

, , (26)

управління трафік traffic engineering

де - градієнт функції, що розраховується, виходячи з одержуваних на нижньому рівні результатів рішення задач маршрутизації () і резервування ресурсів (). Отримані на нижньому рівні рішення реалізуються на практиці лише в тому випадку, коли градієнт функції (26) наблизиться до нуля, тобто тоді, коли в ході резервування канальні ресурси ТКС будуть розподілені коректно, не викликаючи їх перевантаження.

У п'ятому розділі здійснено аналіз показників ефективності, за якими оцінювалася якість отримуваних рішень з управління трафіком в рамках запропонованих моделей і методів. Як основні показники ефективності обрані середня затримка, джиттер пакетів і коефіцієнт використання окремих трактів передачі ТКС. Ефективність та масштабованість ієрархічних рішень також оцінювалась за числом змінних управління в задачах на різних рівнях ієрархії розрахунків та за кількістю ітерацій координуючих процедур (7), (26), так як оперативність управління трафіком та об'єм створюваного службового навантаження напряму визначались цими показниками.

Проведено експериментальні дослідження розроблених моделей та методів управління трафіком з використанням як можливостей пакету аналітичного моделювання (MatLab v.7 R.14), так і засобів лабораторного експерименту на реальному телекомунікаційному обладнанні. Адекватність запропонованих моделей управління трафіком і достовірність отриманих результатів моделювання була підтверджена необхідним збігом теоретичних досліджень з результатами лабораторного експерименту (в середньому до 11-14%)

З метою оцінки ефективності запропонованих моделей і методів управління трафіком здійснено їх порівняння з раніше відомими рішеннями, які вже отримали протокольну реалізацію, а також з теоретичними рішеннями, які розглядаються в якості найближчої перспективи, переважно з централізованими та розподіленими (децентралізованими). В ході проведення порівняльного аналізу отримані результати свідчать про те, що використання розроблених моделей управління трафіком дозволяє забезпечити якість обслуговування приблизно централізованих рішень (розбіжність до 6-9%) при зниженні об'ємів створюваного службового навантаження до 17-28% в залежності від розміру, зв'язності та завантаженості мережі.

Встановлено, що запропоновані моделі та методи управління трафіком в межах малого та середнього завантаження мережі забезпечують ту ж якість обслуговування, що і розподілені рішення без створення додаткового службового навантаження (координація не проводилась). В межах великого та критичного завантаження мережі використання ієрархічних рішень дозволило поліпшити якість обслуговування за середньою затримкою в середньому на 12-35%, а також забезпечити підвищення продуктивності ТКС в середньому на 15-27% зі зростанням об'єму службового навантаження на 8-12%.

У розділі розроблено рекомендації щодо практичної реалізації результатів роботи, в основу яких покладені підсумки експериментального дослідження розроблених моделей і методів управління трафіком в мультисервісних ТКС. Запропоновані моделі і методи з управління трафіком в ТКС відповідають вимогам сучасних концепцій управління трафіком (Traffic Engineering, Load Balancing Routing, Constrained-based Routing), розширюючи сферу їх застосування в умовах узгодженої реалізації багатошляхових стратегій маршрутизації від джерела та динамічного управління канальними ресурсами ТКС. Практична реалізація розроблених моделей і методів управління трафіком не пов'язана з докорінним переглядом принципів побудови і функціонування існуючих телекомунікаційних систем і систем мережевого управління.

Висновки по роботі

В дисертаційній роботі розв'язана актуальна науково-прикладна задача, яка пов'язана з вдосконаленням засобів управління трафіком в IP/MPLS-мережах в умовах реалізації багатошляхових стратегій маршрутизації від джерела шляхом розробки відповідних математичних моделей та методів для підвищення продуктивності та масштабованості ТКМ в цілому. За результатами рішення поставленої прикладної задачі можна зробити ряд важливих висновків.

1. У ході проведеного аналізу встановлено, що ключовим завданням сучасних телекомунікаційних технологій, що функціонують в рамках архітектури NGN, є забезпечення гарантованої якості обслуговування запитів користувачів. При цьому визначено, що важлива роль у вирішенні цього завдання відводиться засобам управління трафіком, до числа яких відносяться протоколи маршрутизації, механізми пріоритетного розподілу канального і буферного ресурсів ТКС.

2. Відповідно до рекомендацій ITU-T і ситуації, що склалася в області телекомунікацій, в якості транспортної платформи мереж наступного покоління виступають технології пакетної передачі IP і MPLS. З метою мінімізації властивих цим технологіям недоліків у роботі сформульовано ряд вимог до перспективних рішень з управління трафіком в IP/MPLS-мережах: погоджене розв'язання окремих задач щодо управління трафіком; підтримка якості обслуговування; реалізація багатошляхових стратегій маршрутизації «від джерела»; висока масштабованість результуючих рішень, під якою розумілась здатність технологій та протоколів управління виконувати покладені на них функції без істотного зниження ефективності їх роботи в умовах зростання розміру мережі - кількості маршрутизаторів та трактів передачі, збільшення числа трафіків та розширення переліку показників QoS.

3. У ході досліджень встановлено, що причина не завжди задовільної якості роботи технологій Traffic Engineering (TE), Traffic Engineering DiffServ, Fast ReRouting та ін. криється в недосконалості математичних моделей і методів, закладених в протоколи маршрутизації, механізми управління чергами та ін..

4. Отримала подальший розвиток потокова модель і вдосконалено дворівневий метод ієрархічно-координаційної маршрутизації в MPLS-мережі за підтримки технології Traffic Engineering. Новизна моделі та методу полягає в декомпозиційному поданні умов запобігання перевантаженню трактів передачі мережі; у виборі квадратичної вартісної функції та використанні принципу цільової координації при оптимізації процесу багатошляхової маршрутизації в MPLS-мережі. Це дозволило забезпечити більш ефективне балансування навантаження в мережі, а також підвищити показники продуктивності і масштабованості одержуваних рішень в MPLS-мережі в умовах реалізації багатошляхової стратегії маршрутизації «від джерела».

5. Отримала подальший розвиток потокова модель, і вдосконалено дворівневий метод ієрархічно-координаційного управління трафіком в MPLS-мережі за підтримки технології Traffic Engineering DiffServ. Новизна моделі та методу полягає у забезпеченні узгодженого розрахунку маршрутних змінних і змінних, що відповідають за розподіл пропускної здатності трактів передачі в інтересах трафіка користувача того чи іншого класу обслуговування; у використанні принципу прогнозування взаємодій при оптимізації процесу багаторівневого управління трафіком в мережі. Це дозволило більш повно описати особливості процесу управління трафіком у рамках технології Traffic Engineering DiffServ в MPLS-мережі, закріпивши за приграничними маршрутизаторами функції маршрутизації, а за координатором мережі - політику призначення пріоритетів і розподілу на їх основі пропускної здатності трактів передачі мережі, що в результаті забезпечило більш високі показники продуктивності і масштабованості MPLS-мережі при управлінні трафіком.

6. Отримала подальший розвиток потокова модель і вдосконалено дворівневий метод ієрархічної-координаційної маршрутизації на основі резервування ресурсів у мережі IP/IntServ. Новизна моделі та методу полягає в узгодженому розв'язанні задач маршрутизації і резервування мережних ресурсів (пропускної спроможності трактів передачі мережі), що забезпечувалося на основі спільного опису цих мережних процесів в рамках єдиної математичної моделі. У методі використано принцип цільової координації. Це пов'язано з тим, що задачі маршрутизації і резервування ресурсів вирішувалися на приграничних вузлах, на відміну від підходу, запропонованого для мережі MPLS-TE DiffServ, де відповідно до технологічних особливостей розрахунок частини керуючих змінних «перекладався» на верхній рівень управління.

7. Дисертаційна робота виконана згідно з положенями „Концепції Національної інформаційної політики”, „Концепції Національної програми інформатизації” та „Концепції конвергенції телефонних мереж та мереж з пакетною комутацією в Україні”. Матеріали дисертації реалізовано в науково-дослідній роботі № 235-1 „Методи проектування телекомунікаційних мереж NGN та управління їх мережними ресурсами”, яка виконувалась кафедрою ТКС ХНУРЕ, в якій дисертант був виконавцем. Запропоновані потокові моделі та методи управління трафіком використано в навчальному процесі кафедри ТКС ХНУРЕ. Впровадження результатів дисертаційної роботи підтверджено відповідними актами. Запропоновані в дисертації математичні моделі та методи доцільно використовувати при розв'язанні важливих прикладних задач щодо управління трафіком в ТКС, вони можуть бути покладені в основу перспективних протоколів маршрутизації, алгоритмів пріоритезації, розподілу і резервування пропускної здатності трактів передачі в IP/MPLS-мережах за підтримки технологій Traffic Engineering і Traffic Engineering DiffServ.

8. Основні результати дисертаційної роботи викладено в 16 наукових працях, з них 5 статей опубліковані в спеціалізованих фахових виданнях, затверджених ВАК України. Крім того, результати досліджень викладено в одинадцяти тезах доповідей на наукових конференціях, симпозіумах, форумах и семінарах. Отримано позитивний висновок про видачу деклараційного патенту на корисну модель (u 2011 01301).

Список опублікованих праць здобувача за темою дисертації

1. Симоненко А.В. Модель динамического управления очередями и пропускной способностью канала связи на маршрутизаторах мультисервисной сети / А.В. Симоненко, Ахмад Хайлан, Али Али // Радиотехника. - 2008. - Вып. 155. - С. 164-168.

2. Лемешко А.В. Целевая координация двухуровневой маршрутизации в MPLS-сети/ А.В. Лемешко, Ахмад М. Хайлан, Али С. Али // Радиотехника. 2009. - Вып. 159. - С. 41-45.

3. Лемешко А.В. Многоуровневое управление трафиком в сети MPLS-TE DiffServ на основе координационного принципа прогнозирования взаимодействий [Електронний ресурс] / А.В. Лемешко, Ахмад М. Хайлан // Проблеми телекомунікацій. - 2010. - No.1 (1). - C. 35-44. - Режим доступу до журн.: http://www.nbuv.gov.ua/e-journals/prtel/2010_1/10lavppv.pdf.

4. Лемешко А.В. Результаты исследования метода иерархическо-координационной маршрутизации в MPLS-сети / А.В. Лемешко, Ахмад М. Хайлан // Наукові записки УНДІЗ. - Вип. 3(15). - 2010. - С. 57-62.

5. Лемешко А.В. Модель и метод иерархической маршрутизации на основе резервирования ресурсов в сети IP/IntSev / А.В. Лемешко, Ахмад М. Хайлан, М.В. Семеняка // Радиотехника. - 2010. - Вып. 163. - С. 79-84.

6. Симоненко А.В. Модель управления буферным и канальным ресурсом мультисервисной сети / А.В. Симоненко, Ахмад Хайлан, Али Али // Материалы ХІІІ Международного молодежного форума «Радиоэлектроника и молодежь в ХХІ веке»., 30 марта - 1 апреля 2009 года. Часть 1. - Х.: ХНУРЭ, 2009. - С. 161.

7. Симоненко А.В. Потоковая модель внутриузлового управления сетевыми ресурсами в мультисервисной телекоммуникационной системе / А.В. Симоненко, Ахмад М. Хайлан, Али С. Али // Материалы VIII Международной научно-технической конференции «Перспективные технологии в средствах передачи информации - ПТСПИ'2009», 21-22 мая 2009 года. - Владимир: ВлГУ. - Том.2. - С. 94-97.

8. Ахмад М. Хайлан. Иерархическо-координационная маршрутизация в MPLS-сети / Ахмад М. Хайлан, В.А. Саенко, С.В. Марунич // Материалы 14-го Международного молодежного форума «Радиоэлектроника и молодежь в ХХІ веке», 18-20 марта 2010 года. Часть 1. - Х.: ХНУРЭ, 2010. - С. 134.

9. Лемешко А.В., Ахмад М. Хайлан, Али С. Али. Модель и метод многопутевой двухуровневой маршрутизации в MPLS-сети // Збірник тез доповідей науково-технічного симпозіуму "Нові технології в телекомунікаціях". - К.: ДУІКТ, 2010. - С. 28-30.

10. Lemeshko O. A flow-based model of two-level routing in multiservice network / O. Lemeshko, Ahmad M. Hailan, Ali S. Ali. // Modern Problems of Radio Engineering, Telecommunications and Computer Science. Proceedings of the international Conference TCSET'2010. - Lviv-Slavsko: Publishing House of Lviv Polytechnic, 2010. - P. 225.

11. Ахмад М. Хайлан. Метод двухуровневой маршрутизации в MPLS-сети / Ахмад М. Хайлан, Али С. Али, С.В. Марунич // Матеріали науково-практичного семінару молодих науковців «Сучасні телекомунікаційні та інформаційні технології» м. Київ, травень-червень 2010 р. - К.: УНДІЗ. - С. 64-68.

12. Лемешко А.В. Потоковая модель иерархическо-координационной маршрутизации в MPLS-сети / А.В. Лемешко, Ахмад М. Хайлан, С.В. Марунич // Программа научно-технической конференции с международным участием «Компьютерное моделирование в наукоемких технологиях - КМНТ-2010», 18-21 мая 2010 года. - Х.: ХНУ им. В.Н. Каразина. - С. 11.

13. Лемешко О.В. Математична модель ієрархічно-координаційної маршрутизації в MPLS-мережі на основі принципу цільової координації / О.В. Лемешко, Д.В. Агеєв, Ахмад М. Хайлан // Матеріали науково-практичної конференції "Сучасні проблеми телекомунікацій - 2010". - Львів: НУ "Львівська політехніка", 2010. - С. 34-37.

14. Лемешко А.В. Иерархическая маршрутизация на основе резервирования ресурсов в сети IP/IntServ / А.В. Лемешко, Ахмад М. Хайлан, М.В. Семеняка // Збірник тез доповідей IV Міжнародного науково-технічного симпозіуму "Нові технології в телекомунікаціях". - К.: ДУІКТ, 2011. - С. 32-34.

15. Lemeshko O.V. Multi-level traffic management in the MPLS-TE DiffServ network / O.V. Lemeshko, Ahmad M. Hailan, O.V. Starkova // 11-th International Conference «The experience of designing and application of CAD systems in microelectronics» Polyana-Svalyava-(Zakarpattya), UKRAINE 23 - 25 February 2011: Publishing House of Lviv Polytechnic, 2011. - P. 118-120.

16. Ахмад М. Хайлан. Многоуровневая маршрутизация на основе резервирования ресурсов в сети IP/IntServ // Материалы 15-го Международного молодежного форума «Радиоэлектроника и молодежь в ХХІ веке», 18-20 апреля 2011 года. Том 4. - Х.: ХНУРЭ, 2011. - С. 8-9.

Анотація

Ахмад Махсин Хайлан. Потокові моделі та дворівневі методи управління трафіком в IP/MPLS-мережах з підтримкою технології Traffic Engineering. - Рукопис. Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.12.02 - телекомунікаційні системи та мережі. Харківський національний університет радіоелектроніки, Харків, 2011.

Дисертаційна робота присвячена розв'язанню актуальної наукової задачі, пов'язаної зі вдосконаленням засобів управління трафіком в IP/MPLS-мережах в умовах реалізації багатошляхових стратегій маршрутизації від джерела шляхом розробки відповідних математичних моделей та методів для підвищення продуктивності та масштабованості ТКМ в цілому.

Розроблено потокові моделі та дворівневі методи ієрархічно-координаційного управління трафіком в MPLS-мережі за підтримки технології Traffic Engineering, Traffic Engineering DiffServ та IP/IntServ. Новизна результатів полягає у забезпеченні узгодженого розрахунку маршрутних змінних і змінних, що відповідають за розподіл та резервування пропускної здатності трактів передачі в інтересах трафіка користувача того чи іншого класу обслуговування; у використанні координаційних принципів - принципу цільової координації та принципу прогнозування взаємодій при оптимізації процесу багаторівневого управління трафіком в мережі. Запропоновані рішення можуть бути покладені в основу перспективних протоколів маршрутизації, алгоритмів пріоритезації, розподілу і резервування пропускної здатності трактів передачі в IP/MPLS-мережах.

Ключові слова: трафік, мережа, управління, маршрутизація, канальний ресурс, пропускна здатність, модель, метод.

Аннотация

Ахмад Махсин Хайлан. Потоковые модели и двухуровневые методы управления трафиком в IP/MPLS-сетях с поддержкой технологии Traffic Engineering. - Рукопись. Диссертация на соискание ученой степени кандидата технических наук по специальности 05.12.02 - телекоммуникационные системы и сети. Харьковский национальный университет радиоэлектроники, Харьков, 2011.

Диссертационная работа посвящена решению актуальной научной задачи, состоящей в усовершенствовании средств управления трафиком в IP/MPLS-сетях в условиях реализации многопутевых стратегий маршрутизации от источника путем разработки соответствующих математических моделей и методов для повышения производительности и масштабируемости ТКС в целом.

В ходе проведенного анализа установлено, что ключевой задачей современных телекоммуникационных технологий, функционирующих в рамках архитектуры NGN, является обеспечение гарантированного качества обслуживания запросов пользователей. При этом установлено, что важная роль в решении этой задачи отводится средствам управления трафиком, к числу которых относятся протоколы маршрутизации, механизмы приоритетного распределения канального и буферного ресурса ТКС.

В соответствии с рекомендациями ITU-T и сложившейся ситуацией в области телекоммуникаций в качестве транспортной платформы сетей следующего поколения выступают технологии пакетной передачи IP и MPLS. С целью минимизации свойственных этим технологиям недостатков в работе сформулирован ряд требований к перспективным решениям по управлению трафиком в IP/MPLS-сетях:

ь согласованное решение отдельных задач управления трафиком (маршрутизации, приоритетной обработки очередей, резервирования ресурсов и т.д.);

ь поддержка качества обслуживания;

ь реализация многопутевых стратегий маршрутизации «от источника»;

ь высокая масштабируемость результирующих решений, под которой в данном случае понимают способность технологий и протоколов управления выполнять возложенные на них функции без существенного снижения эффективности своей работы в условиях роста размерности сети - числа маршрутизаторов и трактов передачи, увеличения числа трафиков и расширения перечня показателей QoS.

В ходе исследований установлено, что причина не всегда удовлетворительного качества работы технологий Traffic Engineering (TE), Traffic Engineering DiffServ, Fast ReRouting и др. кроется в несовершенстве математических моделей и методов, заложенных в маршрутизирующие протоколы, механизмы управления очередями и др.

Получила дальнейшее развитие потоковая модель и усовершенствован двухуровневый метод иерархическо-координационной маршрутизации в MPLS-сети с поддержкой технологии Traffic Engineering. Новизна модели и метода состоит в декомпозиционном представлении условий предотвращения перегрузки трактов передачи сети; в выборе квадратичной стоимостной функции и использовании принципа целевой координации при оптимизации процесса многопутевой маршрутизации в MPLS-сети. Это позволило обеспечить более эффективную балансировку нагрузки в сети, а также повысить показатели производительности и масштабируемости получаемых решений в MPLS-сети в условиях реализации многопутевой стратегии маршрутизации «от источника».

Получила дальнейшее развитие потоковая модель и усовершенствован двухуровневый метод иерархическо-координационного управления трафиком управления трафиком в MPLS-сети с поддержкой технологии Traffic Engineering DiffServ. Новизна модели и метода состоит в обеспечении согласованного расчета маршрутных переменных и переменных, отвечающих за распределение пропускной способности трактов передачи в интересах пользовательского трафика того или иного класса обслуживания; в использовании принципа прогнозирования взаимодействий при оптимизации процесса многоуровневого управления трафиком в сети. Это позволило более полно описать особенности процесса управления трафиком в рамках технологии Traffic Engineering DiffServ в MPLS-сети, закрепив за приграничными маршрутизаторами функции маршрутизации, а за координатором сети - политики назначения приоритетов и распределения на их основе пропускной способности каналов связи сети, что, в результате, обеспечило более высокие показатели производительности и масштабируемости MPLS-сети при управлении трафиком.

Получила дальнейшее развитие потоковая модель и усовершенствован двухуровневый метод иерархическо-координационной маршрутизации на основе резервирования ресурсов в сети IP/IntServ. Новизна модели и метода заключается в согласованном решении задач маршрутизации и резервирования сетевых ресурсов (пропускной способности трактов передачи сети), что обеспечивалось на основе совместного описания этих сетевых процессов в рамках единой математической модели. В методе использован принцип целевой координации, что связано с тем, что задачи маршрутизации и резервирования ресурсов решались на приграничных узлах, в отличие от подхода, предложенного для сети MPLS-TE DiffServ, где в соответствии с технологическими особенностями расчет части управляющих переменных «перекладывался» на верхний уровень управления.

...