рівноімовірні події
Розглядається наступна ситуація:
1) людина отримує повідомлення про деяке подію; при цьому заздалегідь відома невизначеність знання людини про очікувану подію. Невизначеність знання може бути виражена або числом можливих варіантів події, або ймовірністю очікуваних варіантів події;
2) в результаті отримання повідомлення невизначеність знання знімається: з деякого можливої кількості варіантів виявився обраним один;
3) за формулою обчислюється кількість інформації в отриманому повідомленні, виражене в бітах.
Формула, яка використовується для обчислення кількості інформації, залежить від ситуацій, яких може бути дві:
1. Всі можливі варіанти події рівноймовірно. Їх число звичайно і дорівнює N.
2. Вірогідність (p) можливих варіантів події різні і вони заздалегідь відомі:
Тут як і раніше N - число можливих варіантів події.
Вводячи поняття ймовірності, слід повідомити, що ймовірність деякої події - це величина, яка може приймати значення від нуля до одиниці. Імовірність неможливого події дорівнює нулю (наприклад: "завтра Сонце не сходить воно над горизонтом"), ймовірність достовірної події дорівнює одиниці (наприклад: "Завтра сонце зійде над горизонтом").
Імовірність деякого події визначається шляхом багаторазових спостережень (вимірювань, випробувань). Такі вимірювання називають статистичними. І чим більша кількість вимірювань виконано, тим точніше визначається ймовірність події.
Математичне визначення ймовірності звучить так: вероятностьравна відношенню числа випадків, що сприяють даної події, до загального числа рівно можливих випадків.
Події різновірогідні, якщо жодна з них не має переваги перед іншими.
Якщо позначити буквою i кількість інформації в повідомленні про те, що сталося одне з N рівноймовірно подій, то величини i і N пов'язані між собою формулою Хартлі: