Лекції з Теорії інформації
Підготував В.С. Прохоров
Зміст
Введення
1. Поняття інформації. Завдання та постулати прикладної теорії інформації
1.1 Що таке інформація
1.2 Етапи обігу інформації
1.3 Інформаційні системи
1.4 Система передачі інформації
1.5 Завдання та постулати прикладної теорії інформації
2. Кількісна оцінка інформації
2.1 Властивості ентропії
2.2 Ентропія при безперервному повідомленні
2.3 Умовна ентропія
2.4 Взаємна ентропія
2.5 Надмірність повідомлень
3. Ефективне кодування
4. Кодування інформації для каналу з перешкодами
4.1 Різновиди завадостійких кодів
4.2 Загальні принципи використання надмірності
4.3 Зв'язок інформаційної здатності коду з кодовою відстанню
4.4 Поняття якості коригуючого коду
4.5 Лінійні коди
4.6 Математичне введення до лінійних кодами
4.7 Лінійні коди як простір лінійного векторного простору
4.8 Побудова двійкового групового коду
4.8.1. Складання таблиці опізнавач
4.8.2. Визначення перевірочних рівностей
4.8.3. Мажоритарне декодування групових кодів
4.8.4. Матричне подання лінійних кодів
<p> 4.8.5. Технічні засоби кодування і декодування для групових кодів
4.9 Побудова циклічних кодів
4.9.1. Загальні поняття та визначення
4.9.2. Математичне введення до циклічних кодах
4.9.3. Вимоги, що пред'являються до многочленами
4.10 Вибір утворює многочлена за заданим обсягом коду та заданої коректує здатності
4.10.1. Виявлення одиночних помилок
4.10.2. Виправлення одиночних або виявлення подвійних помилок
4.10.3. Виявлення помилок кратності три і нижче
4.10.4. Виявлення і виправлення незалежних помилок довільної кратності
4.10.5. Виявлення і виправлення пачок помилок
4.10.6. Методи утворення циклічного коду
4.10.7. Матрична запис циклічного коду
4.10.8. Укорочені циклічні коди
4.11. Технічні засоби кодування і декодування для циклічних кодів
4.11.1. Лінійні перемикальні схеми
4.11.2. Кодують пристрої
4.11.3. Декодуючі пристрої
Список літератури
Зміст
Введення
Теорія інформації є одним з курсів при підготовці інженерів, спеціалізуються в області автоматизованих систем управління та обробки інформації. Функціонування таких систем істотно пов'язане з отриманням, підготовкою, передачею, зберіганням і обробкою інформації, оскільки без здійснення цих етапів неможливо прийняти правильне рішення і здійснити необхідну управляє вплив, що є кінцевою метою функціонування будь-якої системи.
Виникнення теорії інформації пов'язують зазвичай з появою фундаментальної роботи американського вченого К. Шеннона В«Математична теорія зв'язку В»(1948). Однак в теорію інформації органічно увійшли і результати, отримані іншими вченими. Наприклад, Р. Хартлі, вперше запропонував кількісну міру інформації (1928), акад. В. А. Котельников, сформулював найважливішу теорему про можливість представлення безперервної функції сукупністю її значень в окремих точках відліку (1933) і розробив оптимальні методи прийому сигналів на тлі перешкод (1946). Акад. А. Н. Колмогоров, вніс величезний внесок в статистичну теорію коливань, що є математичною основою теорії інформації (1941). У наступні роки теорія інформації отримала подальший розвиток в працях радянських учених (А. Н. Колмогорова, А. Я. Хінчина, В. І. Сіфорова, Р. Л. Добрушино, М. С. Пінскера, А. Н. Железнова, Л. М. Фінка та ін), а також ряду зарубіжних вчених (В. Макміллана, А. Файнстейна, Д. Габора, Р. М. Фано, Ф. М. Вудворт, С. Гольдмана, Л. Бріллюена та ін.)
До теорії інформації, в її вузькій класичній постановці, відносять результати вирішення ряду фундаментальних теоретичних питань. Це в першу чергу: аналіз питань оцінки В«кількості інформаціїВ»; аналіз інформаційних характеристик джерел повідомлень і каналів зв'язку та обгрунтування принципової можливості кодування і декодування повідомлень, що забезпечують гранично допустиму швидкість передачі повідомлень по каналу зв'язку, як при відсутності, так і при наявності перешкод.
Якщо розглядають проблеми розробки конкретних методів і засобів кодування повідомлень, то сукупність викладаються питань називають теорією інформації та кодування або прикладною теорією інформації.
Спроби широкого використання ідей теорії інформації в різних областях науки пов'язані з тим, що в основі своїй ця теорія математична. Основні її поняття (ентропія, кількість інформації, пропускна здатність) визначаються тільки через вірогідність подій, яким може бути приписано саме різне фізичне утримання. Підхід до досліджень в інших областях науки з позицій використання основних ідей теорії інформації отримав назву теоретико-інформаційного підходу. Його застосування в ряді випадків дозволило отримати нові теоретичні результати і цінні практичні рекомендації. Однак не рідко такий підхід призводить до створення моделей процесів, далеко не адекватних реальної дійсності. Тому в будь-яких дослідженнях, що виходять за рамки чисто технічних проблем передачі і зберігання повідомлень, теорією інформації слід користуватися з великою обережністю. Особливо це стосується моделювання розумової діяльності людини, процесів сприйняття і обробки їм інформації.
Зміст конспекту лекцій обмежується рассмотреніемвопросов теорії і практики кодування.
1. Поняття інформації. Завдання та постулати прикладної теорії інформації
1.1 Що таке інформація
З початку 1950-х років робляться спроби використовувати поняття інформації (що не має до теперішнього часу єдиного визначення) для пояснення і опису найрізноманітніших явищ і процесів.
У деяких підручниках дається таке визначення інформації:
Інформація - це сукупність відомостей, підлягають зберіганню, передачі, обробки та використання в людській діяльності .
Таке визначення не є повністю даремним, тому воно допомагає хоча б смутно уявити, про що йде мова. Але з точки зору логіки воно безглуздо. Визначуване поняття ( інформація ) тут підміняється іншим поняттям ( сукупність відомостей) , яке саме потребує визначення.
При всіх відмінностях у трактуванні поняття інформації, безперечно, те, що проявляється інформація завжди в матеріально-енергетичній формі у вигляді сигналів.
Інформацію, представлену в формалізованому вигляді, що дозволяє здійснювати її обробку з допомогою технічних засобів, називають даними .
1.2 Етапи обігу інформації
Можна виділити наступні етапи обігу інформації:
1) сприйняття інформації;
2) підготовка інформації;
3) передача і зберігання інформації;
4) обробка інформації;
5) відображення інформації;
6) вплив інформації.
Рис.1.1 Етапи обігу інформації
На етапі сприйняття інформації здійснюється цілеспрямоване вилучення та аналіз інформації про якомусь об'єкті (процесі), в результаті чого формується образ об'єкта, проводиться його впізнання і оцінка. При цьому відокремлюють цікаву інформацію від шумів.
На етапі підготовки інформації отримують сигнал у формі, зручній для передачі або обробки (Нормалізація, аналого-цифрове перетворення і т.д.).
На етапі передачі та зберігання інформація пересилається або з одного місця в інше, або від одного моменту часу до іншого.
На етапі обробки інформації виділяються її загальні й істотні взаємозалежності для вибору управляючих ...
