Канали зв’язку, інформація та ансамбль повідомлень

Размещено на http://www.allbest.ru/

Самостійна робота №1. Математичні моделі каналів зв'язку

План

1. Повідомлення та інформація.

2. Моделі інформаційних систем.

3. Математичні моделі каналу зв'язку.

4. Предмет теорії інформації та кодування.

Теоретичні відомості.

Під даними розуміють усі відомості, здобуті від навколишнього світу та подані у формалізованому вигляді (літерами, цифрами, символами тощо). Дані, що підлягають передачі,називаються повідомленнями. Повідомлення стають інформацією тільки в момент їх застосування, тобто інформація - це використовувані повідомлення, причому такі, які відзначаються новизною і раніше не були відомі одержувачеві (оператору ЕОМ).Є й інше, більш широке визначення інформації, згідно з яким інформація - це відомості, що є об'єктом зберігання, передавання та перетворення.

Для можливості технічного оброблення (передачі, запису та ін.) повідомлення має бути перетворене на сигнал - матеріальний носій, що відображує повідомлення.

Відрізняють сигнали:

· звукові (акустичні)

· електричні

· оптичні

· гідравлічні

Один вид сигналу можна перетворювати на інший (електричний на звуковий, оптичний на електричний тощо).

Будь-який сигнал характеризується такими основними параметрами:

· тривалістю

· шириною частотного спектра

· динамічним діапазоном

Під тривалістю Т _с сигналу розуміють час, протягом якого він знаходиться в каналі зв'язку.

Частотний спектр F _c сигналу визначає смугу частот, яку він охоплював під час передачі по каналу зв'язку. Залежно від виду сигналу (аналоговий, дискретний) частотний спектр може бути і нескінченним; тому на практиці його обмежують для можливості передачі по каналам з обмеженою смугою частот.

Середньою потужністю Р _с сигналу є потужність, яка забезпечується апаратурою під час його находження до каналу зв'язку.

Частіше замість Р _с користуються поняттям динамічного діапазону D _с , що визначається логарифмом відношення найбільшої (максимальної) миттєвої потужності сигналу (P_{c max}=P_c ) до найменшої (мінімальної) P _{c min} , дозволене значення якої дорівнює потужності завад

(P _{c min}=Р ₃):

D _с=log (Р _с / Р ₃).

Усі ці параметри сигналу є його обсягом:

V _c =T _c F _c D _c.

Повідомлення та відповідні сигнали можуть бути неперервними (аналоговими) та дискретними (знаковими). Перші описуються неперервною функцією часу. До них належать такі повідомлення, як музика, телевізійне зображення, радіомовлення.

Дискретне повідомлення - скінченна послідовність окремих символів (знаків, літер) з обмеженою тривалістю. Для перетворення дискретного повідомлення на сигнал потрібна операція кодування.

Неперервні повідомлення можна передавати дискретними способами: неперервні сигнали, якими передаються ці повідомлення, перетворюються на дискретні за допомогою операцій квантування за рівнем та дискретизації в часі. На приймальному боці виконується обернене перетворення: за прийнятими дискретними сигналами відновлюються передані неперервні сигнали.

Дискретні сигнали як засіб передачі повідомлень більш поширені, ніж неперервні,завдяки тому що вони меншою мірою зазнають впливу завад і спотворень в каналах зв'язку,а в разі спотворення їх легше відновити.

Моделі інформаційних систем

Під інформаційною розумітимемо будь-яку систему, яка за допомогою технічних засобів виконує одну або кілька таких функцій,як збирання, передавання, перетворення, накопичення, зберігання та оброблення інформації.

Розподіл систем за функціональною ознакою:

- системи електрозв'язку

- системи передачі даних

- інформаційно-вимірювальні системи

- системи перетворення інформації

- інформаційно-пошукові системи

- системи зберігання інформації

- автоматизовані системи управління

- системи експериментальних досліджень.

Найпоширенішими в повсякденному житті є системи електрозв'язку та передачі даних,які можна об'єднати назвою систем передачі інформації (СПІ).

Лінія зв'язку - це фізичне середовище, в якому поширюються сигнали.

Каналом зв'язку називається сукупність технічних засобів, що забезпечує передачу повідомлень від джерела до одержувача.

Сукупність лінії зв'язку, модулятора та демодулятора (пристроїв перетворення сигналів) утворює неперервний канал передачі інформації,а якщо до цієї сукупності додати ще кодер і декодер, то дістанемо дискретний канал цієї передачі.

Модулятор і демодулятор, конструктивно об'єднані в одному блоці, називаються модемом, а конструктивне об'єднання кодера та декодера - кодеком.

Під способом передачі сигналів розуміють сукупність операцій перетворення повідомлення на сигнал, яку можна подати так:

інформація повідомлення зв'язок

{ y _{к .зі}(t)}=Л _прд {x _i}= Л _м Л _к {x i},

де Л _прд - оператор способу передачі сигналів; Л _м - оператор їх модуляції; Л _к- оператор кодування сигналів.

Сигнали при передачі по лінії зв'язку загасають, піддаючись дії завад і спотворень, що спричинює значні відхилення послідовності сигналів на вході приймача { y _{п.з і} (t)} від переданої в лінію послідовності сигналів { y _{к.з і} (t)}, тобто

{ y _{п.з і} (t)} = Л _л { y _{к.з і} (t)}= Л _л Л _прд {x i}

Де Л _л - оператор лінії зв'язку.

Якщо в лінії є адитивна завада у вигляді випадкового процесу щ(t), то на виході приймача діятиме неперервний випадковий процес

у і (t)-{y _п.з(t)} + щ(t).

Сукупність операцій перетворення сигналів на повідомлення називається способом їх приймання, який можна відобразити так:

Де

Л _прд = Л _дм Л _дк

- оператор способу приймання сигналів; Л _дм - оператор їх демодуляції; Л _дк - оператор декодування сигналів.

Процес передавання дискретної інформації можна подати у вигляді:

Математичні моделі каналу зв'язку

Від вибору каналу зв'язку залежить не тільки кількість інформації, яку можна передавати від передавача до одержувача повідомлень, а й швидкість передачі інформації та її вірогідність.

Розрізняють математичні моделі неперервних і дискретних каналів зв'язку :

Ідеальний канал зв'язку без завад - це лінійне коло зі сталою функцією передачі, що звичайно зосереджена в обмеженій смузі частот, де завади будь-якого виду відсутні. Вихідний сигнал такого каналу визначається виразом

Де S(t) - вхідний сигнал; К _п - коефіцієнт передачі; T - час затримки сигналу в каналі ; щ(t) - гауссовий адитивний шум з нульовим математичним сподіванням і заданою кореляційною функцією. Якщо змінити початок відліку часу на виході каналу, то запізнення T сигналу можна не враховувати. Модель застосовується для опису реальних проводових каналів зв'язку й однопроменевих радіоканалів без завмирань на метрових хвилях для зв'язку в межах прямої видимості, а також радіоканалів з повільними завмираннями, для яких можна надійно передбачити значення k _n та T.

Канал з невизначеною фазою сигналу - це канал, який відрізняється від попереднього тим, що в ньому запізнення T є випадковою величиною.

и k= щ ₀ T

-випадкова початкова фаза. Модель використовується для опису тих самих каналів зв'язку, що й попередня, якщо фаза сигналу в них змінюється. Ця флуктуація фази пояснюється незначними змінами довжини каналу, фазовою нестабільністю генераторів носійної частоти, а також незначними змінами властивостей середовища, через яке передається сигнал.

Однопроменевий гауссовий канал із загальними завмираннями також описується виразом :

,

але тут, крім запізнення T, випадковими вважаються також коефіцієнт передачі K _n та фаза и _k, тобто випадковими є квадратурні компоненти:

Тоді, якщо врахувати зміну квадратурних компонентів Х(t) i Y(t) в часі, вихідний сигнал каналу визначиться виразом:

Модель досить добре описує більшість радіоканалів різних хвильових діапазонів і проводових каналів з випадковими та змінними параметрами.

Гауссовий багатопроменевий канал з завмираннями та адитивним шумом є каналом, у якому сигнали від передавача до приймача поширюються кількома шляхами (каналами), причому тривалість проходження їх і коефіцієнти передачі каналів є неоднаковими та випадковими. Крім того, в таких каналах випадкова імпульсна реакція G(t, T) від часу t не залежить, так що розсіяння за частотою практично не спостерігається.

Вихідний сигнал такого каналу визначається виразом:

- сигнал між символьної інтерференції.

W(t) - адитивний шум у каналі; S₀(t)- сигнал, обумовлений елементом, який аналізується.

модель застосовується для опису радіоканалів з багатопроменевим поширенням сигналів, а також проводових каналів значної довжини, де відчувається вплив фазочастотних спотворень їх.

Моделі дискретного каналу.

Для визначення вхідних сигналів досить указати кількість q різних символів, то величина н=1/T визначатиме кількість символів, які передаються за одиницю часу. Ця величина називається технічною швидкістю передачі (швидкістю модуляції сигналів) і виражається в бодах.

Для оцінки правильності прийнятої послідовності символів визначають різницю між прийнятою та переданою послідовностями порозрядним відніманням їх за модулем q. При цьому дістають вектор помилки.

Для будь-якої моделі дискретного каналу можна записати:

Де А(n)(cverxy) I A(n)-випадкові послідовності n символів на вході та виході каналу;

Е(n)-випадковий вектор помилки, який у загальному випадку залежить від А(n).

Відомості моделі дискретних каналів різняться розподілом імовірностей вектора Е(n).Розглянемо деякі з них:

Симетричний канал без пам'яті - це дискретний канал, у якому ймовірність помилкового приймання символу не залежить від передісторії, тобто від того, які символи передавалися раніше та як вони буди прийняті.

Симетричний канал без пам`яті зі стиранням відрізняється від попереднього тільки введенням у початкову послідовність символів додаткового символу,що позначається «?», який використовується тоді,коли розв`язувальна схема демодулятора не може надійно розпізнати переданий символ.Завдяки введенню цього додаткового елемента стирання досягається значне зменшення ймовірності помилки.

Несиметричний канал без пам`яті відрізняється від симетричного тим, що помилки виникають у ньому

Незалежно одна від одної,але ймовірність їх залежить від того, який символ передається.

Марківська модель є найпростішою моделлю дискретного каналу з пам`яттю. Ймовірність виникнення помилки в цій моделі утворює просте коло Маркова,тобто залежить від того,правильно чи помилково прийнято попередній символ,але в той же час не залежить від того, який символ передається.Ця модель застосовується тоді, коли в неперервному каналі з гаусовим шумом використовується відносна фазова модуляція.

Канал з адитивним дискретним шумом є узагальненою моделлю дискретних каналів, де ймовірність виникнення вектора помилки E⁽ⁿ⁾ не залежить від послідовності символів, які передаються .При цьому ймовірність виникнення кожного вектора помилки вважається заданою і взагалі не визначається його вагою.

Предмет теорії інформації та кодування

Теорія інформації - це розділ кібернетики, в якому за допомогою математичних методів вивчаються способи вимірювання кількості інформації, що міститься в будь-яких повідомленнях, способи кодування для економічного подання повідомлень і надійної передачі їх по каналах зв`язку з завадами.

Курс теорії інформації об`єднює такі теоретичні напрями:

- кількісна оцінка інформації

- кодування повідомлень,їх стиснення

- оцінка ефективності та завадостійкості передачі кодованих повідомлень.

Завдання теорії кодування - здобуття ефективних алгоритмів кодування для джерел повідомлень і передачі даних по каналах зв`язку.

Контрольні запитання

1. Дискретне повідомлення - це?

2. Лінія зв'язку - це?

3. Каналом зв'язку називається?

4. Сукупність операцій перетворення сигналів на повідомлення називається способом їх приймання, який можна відобразити так?

5. Симетричний канал без пам'яті - це?

Самостійна робота №2. Ансамблі та джерела повідомлень

Ансамбль повідомлень

Дискретне джерело повідомлень за одиницю часу створює одне з n можливих повідомлень a₁, а₂,..., а_n . Множина А = {a₁, ..., а_n} називається дискретною множиною повідомлень або просто множиною повідомлень А.Таким чином, дискретне джерело за одиницю часу створює певне повідомлення a_i О А з імовірністю

р(a_i) = р_iОР.

Дві множини А та Р дають достатньо повний опис дискретного джерела повідомлень у вигляді його ймовірнісної моделі, а тому разом вони утворюють ансамбль повідомлень дискретного джерела.

Вважається, що повідомлення передаються за допомогою деякого числа символів n, які надсилаються послідовно. Якщо кожен із символів може приймати m різних значень, то це m складає алфавіт, а n - довжина повідомлення. Тоді кількість повідомлень визначається як

- експоненціальний закон.

При m=2 (“0” або “1”) та n=3, M = 2³ = 8 (тобто, 000,001,010,011,100,101,110,111).

Інформація та ймовірності

Якщо є набір М повідомлень, сформульованих у відповідності з експоненційним законом, тобто із рівномірних рівноправних символів, то всі ці повідомлення володіють однаковою ймовірністю. Тобто сума ймовірністей по цьому набору повідомлень рівна 1; тоді ймовірність одного повідомлення

,

і тоді

;

Тобто

Знак “-“ поставлений щоб зробити значення від логарифму додатнім log числа меншого 1, відємний. Таким чином ще одне формування закону Хартлі таке:

Кількість інформації рівна логарифму ймовірності повідомлення з протилежним знаком.

Статистична міра інформації. Формула Шенона

Якщо ймовірності повідомлень Р не є рівним, тобто при формуванні повідомлень враховуються їх певна статистична структура, тоді кожний символ у повідомленні володіє ймовірністю Р_і.

Шенон вводить поняття про середню інформацію на одне повідомлення:

,

де Р_(с) деяка середня ймовірність одного повідомлення.

Середня кількість інформації у повідомленні знаходиться як

При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.

,

де P_i - відносна частота появи сигналу зі значенням I ;

n_i - число символів зі значенням і ;

n - загальна довжина повідомлення.

Приклади виконання завдань

Приклад_1. Дослід X має два результати з відповідними ймовірностями, Знайти кількість інформації та середню кількість інформації, які виходять з . Обчислити дисперсію випадкової величини і величину відхилення від свого середнього значення

Розв'язання. Середня кількість інформації для , рівна:

біт;

біт;

Так як числа і з'являються до відповідності ймовірностей 0,7 і 0,3, середня кількість інформації по Шеннону

біт

Дисперсію випадкової величини вирахуємо з виразу

Таким чином, випадкова величина виключає з свого значення в середньоквадратичному на величину

Приклад_2. Задано три повідомлення А, B, С - множини літер прізвища, імені, по-батькові українською та англійською мовою відповідно. Визначити кількість інформації, що містить кожне повідомлення.

Розв'язання. Джерело повідомлень вибирає повідомлення з множини літер прізвища, імені, по-батькові українською мовою

ІВАНОВ_ІВАН_ІВАНОВИЧ N=20

Розрахунок ансамблю джерела повідомлень

A={І, В, А, Н, О, И, Ч, _}

Кількість різних повідомлень k=8.

літера	І	В	А	Н	О	И	Ч	_
ai	1	2	3	4	5	6	7	8
ni	3	5	3	3	2	1	1	2
pi	0.15	0.25	0.15	0.15	0.10	0.05	0.05	0.10

Кількість інформації, що містить кожне повідомлення

ai	1	2	3	4	5	6	7	8
pi	0.15	0.25	0.15	0.15	0.10	0.05	0.05	0.10
І(ai)	2.737	2.000	2.737	2.737	3.322	4.322	4.322	3.322

Контрольні запитання

1. Ансамбль повідомлень -?

2. Інформація та ймовірності -?

3. Формула Шенона- ?

Самостійна робота 3. Безумовна ентропія,умовна ентропія

Безумовна ентропія:

Термін «безумовна ентропія» запозичений з математичної статистики за аналогією з безумовною ймовірністю, що стосується статистично незалежних подій, тут -- повідомлень. Отже, безумовна ентропія -- це кількість інформації, яка припадає на одне повідомлення джерела із статистично незалежними повідомленнями.

Зупинимося докладніше на безумовній ентропії та її властивостях.

Якщо є дискретне джерело статистично незалежних повідомлень з ансамблем

та ,

то кількість інформації (середня), що припадає на одне повідомлення й визначається формулою Шеннона

(3.3)

є характеристикою цього джерела в цілому. Вона має фізичний зміст середньої за ансамблем невизначеності вибору джерелом повідомлення з А, причому байдуже, якого саме повідомлення, оскільки обчислення ентропії (3.3) «поглинає» індекс і. Наприклад, джерело з к = 8 незалежними та рівноймовірними повідомленнями має ентропію

біт/повідомлення.

Тут враховано, що р= 1/8. Для нерівноймовірних повідомлень у цьому разі біт/повідомлення.

Безумовна ентропія К рівноймовірних повідомлень завжди максимальна й визначається виразом

(3.4)

який називається формулою Хартлі. Її легко дістати з формули Шеннона (3.3), поклавши , хоча хронологічно першою булв запропонована формула (3.4).

Корисно дослідити вплив ймовірності на складові

формули (3.3). Наочне подання цього впливу показує графік - крива 1 на рис. 1.

Рис. 1

Крім того, за графіком прослідковується екстремум цих складових: якщо вони мають його, то й сума їх теж матиме екстремум.

Для прикладу розглянемо безумовну ентропію двійкового джерела, коли

Та

.

Тоді

(3.5)

Оскільки

Графік першої складової відображено на рис. 1 кривою 1, графік другої складової -- кривою 3, а графік ентропії

-- кривою 2. Бачимо, що остання є симетричною і має максимум при р = 0,5, тобто максимальна невизначеність повідомлень джерела при р=0,5 спричинює його максимальну безумовну ентропію.

Дослідження недвійкових джерел (К > 2) дають результат з тією самою тенденцією: безумовна ентропія їх максимальна при рівноймовірності повідомлень, коли

для всіх

Таким чином, основними властивостями безумовної ентропії дискретних повідомлень є такі:

· ентропія -- величина дійсна, обмежена та невід'ємна;

· ентропія максимальна, якщо повідомлення рівноймовірні та статистично незалежні;

· ентропія джерела з двома альтернативними подіями може змінюватися від 0 до 1;

· ентропія складеного джерела, повідомлення якого складаються з часткових повідомлень кількох статистично незалежних джерел, дорівнює сумі ентропії цих джерел.

Умовна ентропія:

Раніше отримана формула ентропії визначалася її середньою кількістю інформації, що припадає на одне повідомлення джерела статистично незалежних повідомлень. Така ентропія називається безумовною.

Як відомо з відповідного розділу математичної статистики, мірою порушення статистичної незалежності повідомлень x і у є умовна ймовірність p(x/y) появи повідомлення x_i за умови, що вже вибрано повідомленняy_j або умовна ймовірність появи повідомлення y_j, якщо вже отримане повідомлення x_i, причому в загальному випадку p(x/y)№p(y/x).

Умовну ймовірність можна отримати з безумовної ймовірності p(x) чи p(y) та сумісної ймовірності системи в. в. p(x, y) за формулою множення ймовірностей:

p(x, y)=p(x)Чp(y/x), (4.1)

p(x, y)=p(y)Чp(y/x), (4.2)

звідси

,

.

В окремому випадку для статистично незалежних повідомлень маємо:

p(y/x)=p(y), p(x/y)=p(x).

При існуванні статистичної залежності між повідомленнями джерела факт вибору одного з повідомлень зменшує або збільшує ймовірності вибору інших повідомлень до умовних ймовірностей. Відповідно змінюється й кількість інформації, що міститься в кожному з цих повідомлень. Ентропія такого джерела також змінюється відповідним чином, причому обчислюється ентропія за тією самою формулою, але вже зурахуванням умовних ймовірностей. Така ентропія називається умовною.

Контрольні запитання:

1. безумовна ентропія - ?

2. формула Хартлі - ?

3. Умовна ентропія - ?

4. формула множення ймовірностей - ?

Размещено на Allbest.ru

...