Реферат
За інформатики
Кількість інформації
Зміст
Введення
1. Біт
2. Невизначеність, кількість інформації та ентропія
3. Формула Шеннона
4. Формула Хартлі
5. Кількість інформації, одержуваної в процесі повідомлення
Список використаної літератури
Введення
За визначенню А.Д. Урсула - В«інформація є відбите різноманітністьВ». Кількість інформації є кількісна міра різноманітності. Це може бути різноманітність сукупного вмісту пам'яті; різноманітність сигналу, сприйнятого в процесі конкретного повідомлення; різноманітність результатів конкретної ситуації; різноманітність елементів деякої системи ... - це оцінка різноманітності в самому широкому сенсі слова.
Будь сполучення між джерелом і приймачем інформації має деяку тривалість у часі, але кількість інформації сприйнятої приймачем в Внаслідок повідомлення, характеризується в підсумку зовсім не довжиною повідомлення, а різноманітністю сигналу породженого в приймачі цим повідомленням.
Пам'ять носія інформації має деяку фізичну ємність, в якій вона здатна накопичувати образи, і кількість накопиченої в пам'яті інформації, характеризується в підсумку саме різноманітністю заповнення цієї ємності. Для об'єктів неживої природи це різноманітність їх історії, для живих організмів це різноманітність їх досвіду.
1.Біт
Різноманітність необхідно при передачі інформації. Не можна намалювати білим по білому, одного стану недостатньо. Якщо комірка пам'яті здатна перебувати тільки в одному (Вихідному) стані і не здатна змінювати свій стан під зовнішнім впливом, це означає, що вона не здатна сприймати і запам'ятовувати інформацію. Інформаційна ємність такого осередку дорівнює 0.
Мінімальна різноманітність забезпечується наявністю двох станів. Якщо комірка пам'яті здатна, в залежності від зовнішнього впливу, приймати одне з двох станів, які умовно позначаються звичайно як В«0В» і В«1В», вона володіє мінімальної інформаційною ємністю.
Інформаційна ємність однієї комірки пам'яті, здатної знаходитися в двох різних станах, прийнята за одиницю виміру кількості інформації - 1 біт.
1 біт (bit - скорочення від англ. binary digit - двійкове число) - одиниця виміру інформаційної ємності і кількості інформації, а також і ще однієї величини - інформаційної ентропії, з якою ми познайомимося пізніше. Біт, одна з найбільш безумовних одиниць виміру. Якщо одиницю вимірювання довжини можна було покласти довільної: лікоть, фут, метр, то одиниця виміру інформації не могла бути по суті ніякої іншої.
На фізичному рівні біт є осередком пам'яті, яка в кожний момент часу знаходиться в одному з двох станів: В«0В» або В«1В».
Якщо кожна точка деякого зображення може бути тільки або чорною, або білою, таке зображення називають бітовим, тому що кожна точка являє собою комірку пам'яті ємністю 1 біт. Лампочка, яка може або В«горітиВ», або В«не горіти В»також символізує біт. Класичний приклад, який ілюструє 1 біт інформації - кількість інформації, що отримується в результаті підкидання монети - "орел" чи "решка".
Кількість інформації рівне 1 біту можна отримати у відповіді на питання типу В«такВ»/В«ніВ». Якщо спочатку варіантів відповідей було більше двох, кількість одержуваної в конкретному відповіді інформації буде більше, ніж 1 біт, якщо варіантів відповідей менше двох, тобто один, то це не питання, а твердження, отже, отримання інформації не вимагається, раз невизначеності немає.
Інформаційна ємність комірки пам'яті, здатної сприймати інформацію, не може бути менше 1 біта, але кількість одержуваної інформації може бути і менше, ніж 1 біт. Це відбувається тоді, коли варіанти відповідей В«такВ» і В«ніВ» не рівноймовірно. Неравновероятность в свою чергу є наслідком того, що деяка попередня (апріорна) інформація з цього питання вже є, отримана, припустимо, на підставі попереднього життєвого досвіду. Таким чином, у всіх міркуваннях попереднього абзацу слід враховувати одну дуже важливу обмовку: вони справедливі тільки для рівноймовірно випадку.
Кількість інформації ми будемо позначати символом I, ймовірність позначається символом P. Нагадаємо, що сумарна ймовірність повної групи подій дорівнює 1.
2.Неопределенность, кількість інформації та ентропія
Основоположник теорії інформації Клод Шеннон визначив інформацію, як зняту невизначеність. Точніше сказати, отримання інформації - необхідна умова для зняття невизначеності. Невизначеність виникає в ситуації вибору. Завдання, яке вирішується в ході зняття невизначеності - зменшення кількості розглянутих варіантів (зменшення різноманітності), і в підсумку вибір одного відповідного ситуації варіанта з числа можливих. Зняття невизначеності дає можливість приймати обгрунтовані рішення і діяти. У цьому керуюча роль інформації.
Ситуація максимальної невизначеності передбачає наявність кількох рівноймовірно альтернатив (варіантів), тобто жоден з варіантів не є більш кращим. Причому, чим більше рівноймовірно варіантів спостерігається, тим більше невизначеність, тим складніше зробити однозначний вибір і тим більше інформації вимагається для цього отримати. Для N варіантів ця ситуація описується таким розподілом ймовірностей: {1/N, 1/N, ... 1/N}.
Мінімальна невизначеність дорівнює 0, тобто ця ситуація повної визначеності, що означає що вибір зроблено, і вся необхідна інформація отримана. Розподіл ймовірностей для ситуації повної визначеності виглядає так: {1, 0, ... 0}.
Величина, характеризує кількість невизначеності в теорії інформації позначається символом H і має назву ентропія, точніше інформаційна ентропія.
Ентропія (H) - міра невизначеності, виражена в бітах. Так само ентропію можна розглядати як міру рівномірності розподілу випадкової величини.
Рис. 1. Поведінка ентропії
для випадку двох альтернатив.
На малюнку 1. показано поведінку ентропії для випадку двох альтернатив, при зміні співвідношення їх ймовірностей (p, (1-p)).
Максимального значення ентропія досягає в даному випадку тоді, коли обидві ймовірності рівні між собою і дорівнюють ВЅ, нульове значення ентропії відповідає випадкам (p 0 = 0, p 1 = 1) і (p 0 = 1 , p 1 = 0).
Рис. 2. Зв'язок між ентропією і кількістю інформації.
Кількість інформації I і ентропія H характеризують одну і ту ж ситуацію, але з якісно протиставлених сторін. I - це кількість інформації, яка потрібна для зняття невизначеності H. За визначенням Леона Бріллюена інформація є негативна ентропія (негентропії).
Коли невизначеність знята повністю, кількість отриманої інформації I одно спочатку існувала невизначеності H.
При часткове зняття невизначеності, отримана кількість інформації і залишилася незнятої невизначеність складають в сумі вихідну невизначеність. H t + I t = H.
За цієї причини, формули, які будуть представлені нижче для розрахунку ентропії H є і формулами для розрахунку кількості інформації I, тобто коли мова йде про повне зняття невизначеності, H в них може замінюватися на I.
3.Формула Шеннона
В загальному випадку, ентропія H і кількість одержуваної в результаті зняття невизначеності інформації I залежать від вихідної кількості розглянутих варіантів N і апріорних імовірностей реалізації кожного з них P: {p 0 , p 1 , ... p N -1 }, т. тобто H = F (N, P)....
