Контрольна робота
По курсу: Теорія інформації і кодування
На тему: Ентропія сигналів
1. ЕНТРОПІЯ ОБ'ЄДНАННЯ
Об'єднання - сукупність двох і більше ансамблів дискретних, випадкових подій. З об'єднанням пов'язані поняття умовної, безумовної, спільної та взаємної ентропії.
1. Безумовна ентропія - середня кількість інформації, що припадає на один символ (рис. 1). Якщо Х - передаване, а У - прийняте повідомлення, то можна записати наступні співвідношення:
H (X) = H (X/Y) + H (X Г— Y),
H (Y) = H (Y/X) + H (X Г— Y).
X Y X Y
Рис. 1. Безумовна ентропія
2. Умовна ентропія - кількість інформації про джерело, коли відомо, що приймається Y, або міра кількості інформації в приймачі коли відомо, що передається X (рис. 2).
H (X/Y) = H (X)-H (X? Г— Y)
H (Y/X) = H (Y)-H (X? Г— Y).
X Y X Y
Рис. 2. Умовна ентропія
3. Спільна ентропія - середня кількість інформації на пару пе-Реда і прийнятих символів (рис. 3).
H (X, Y) = H (Y, X) = H (X) + H (Y/X) = H (Y) + H (X/Y) = H (X) + H (Y)-H (X Г— Y).
4. Взаємна ентропія - ентропія спільного появи статистично-залежних повідомлень (рис. 4).
H (X Г—? Y) = H (Y Г— X) = H (X)-H (X/Y) = H (Y)-H (Y/X) = H (X, Y)-H (X/Y) - H (Y/X).
X Y
Рис. 3 Спільна ентропія
X Y
Рис. 4. Взаємна ентропія
На практиці найчастіше зустрічаються взаємозалежні символи і повідомлення. Наприклад, при передачі текстових повідомлень передаються не просто букви, а слова, що мають певні смислові значення. При цьому, кожна буква, і поєднання букв мають різні ймовірності появи в тексті. Умовна ентропія враховує взаємозв'язок подій через їх умовні ймовірності.
Розглянемо схему рис. 5:
Приймач
повідомлень
Джерело
повідомлень
X Y
Рис. 5. Передача повідомлень
Джерело повідомлень X - виробляє повідомлення, елементами якого є символи алфавіту джерела {x 1 , x 2 , ..., x m } , ймовірності появи на виході яких дорівнюють p (x 1 ), p (x 2 ), ..., P (x m ), при цьому:
Ентропія джерела являє собою невизначеність появи на виході джерела повідомлень символу первинного алфавіту і визначається співвідношенням:
()
Приймач повідомлень Y - приймає повідомлення, елементами якого є символи алфавіту приймача {y 1 , y 2 , ..., y m } , ймовірності появи на вході яких дорівнюють p (y 1 ), p (y 2 ), ..., p (y m ), при цьому:
Ентропія приймача являє собою невизначеність появи на вході приймача повідомлень символу після його появи на виході джерела і визначається співвідношенням:
(2)
Якщо в каналі зв'язку відсутні втрати інформації (немає перешкод, ис-каженій і т. д.), то символу x i відповідає символ y i . В іншому випадку x i може бути прийнятий як будь-який з можливих y 1 , y 2 , ..., y m , З відповідними ймовірностями.
При відсутності втрат: H (X) = H (Y). При наявності перешкод вони знищити-жають частина інформації. При цьому втрати інформації можна визначити через приватні та загальну умовну ентропію.
Обчислення загальної умовної ентропії зручно проводити за допомогою канальних матриць (матрицею перехідних станів).
Втрати інформації в каналі можна оцінювати з боку джерела або приймача повідомлень.
Розглянемо порядок визначення втрат зі боку джерела (відомий передаваний сигнал). При цьому, умовна ймовірність p (y j /x i ) означає ймовірність того, що при передачі повідомлення x i отримано повідомлення y j . Канальна матриця має вигляд, наведений в табл. 1.
Таблиця 1
Y
X
y 1 y 2 y m
x 1
x 2
x m
p (y 1 /x 1 ) p (y 2 /x 1 ). . . p (y m /x 1 )
p (y 1 /x 2 ) p (y 2 /x 2 ). . . p (y m /x 2 )
p (y 1 /x m ) p (y 2 /x m ). . . p (y m /x m )
При цьому:
.
Ймовірності, розташовані на діагоналі характеризує ймовірність правильного прийому, решта - помилкового, ніж вони розташовані далі від діагоналі, тим вони менше. При відсутності перешкод в каналі зв'язку елементи матриці, розташовані по діагоналі, дорівнюють одиниці, а всі інші дорівнюють нулю. Канальні матриці завжди квадратні, тому що кількість переданих сигналів, дорівнює кількості прийнятих, хоча ймовірність проходження окремих сигналів може бути дорівнює нулю.
Втрати інформації, викликані впливом перешкод, визначаються за допомогою умовної ентропії. Для рівноймовірно сигналів на виході джерела загальна умовна ентропія обчислюється за формулою:
. (3)
Для не рівноймовірно сигналів на виході джерела загальна умовна ентропія обчислюється за формулою:
(4)
Приватна умовна ентропія визначає втрати інформації, що припадають на частку якого - небудь конкретного сигналу (Наприклад, втрати для сигналу x 1 )
. (5)
При відсутності перешкод ймовірність отримання правильного сигналу стане безумовною, а умовна ентропія буде дорівнювати нулю.
Для дослідження каналу з боку приймача (відомий отриманий сигнал) - умовна ймовірність p (x i /Y i ) означає ймовірність того, що при прийомі повідомлення y i було передано повідомлення x i .
Канальна матриця має вигляд, наведений в табл. 2.
Таблиця 2
Y
X
y 1 y 2 y m
x 1
x 2
...
