Неравновероятние події
Головна | Про нас | Зворотній зв'язок
Тема: Підходи до поняття інформації та її вимірювання. Принципи обробки інформації комп'ютером. Алгоритми і способи їх опису
Інформація. Інформаційні об'єкти різних видів
Інформація (в перекладі з латинської informatio - роз'яснення, виклад) - це ключове поняття сучасної науки, яке стоїть в одному ряду з такими як "речовина" і "енергія". Існує три основні інтерпретації поняття "інформація".
Абстрактна інтерпретація. Інформація - деяка послідовність символів, які несуть як разом, так окремо деяку смислове навантаження для виконавця.
Конкретна інтерпретація. У цій площині розглядаються конкретні виконавці з урахуванням специфіки їх систем команд і семантики мови. Так, наприклад, для машини інформація - нулі і одиниці; для людини - звуки, образи, і т.п.
Існують кілька концепцій (теорій) інформації.
Перша концепція (концепція К. Шеннона), відображаючи кількісно-інформаційний підхід, визначає інформацію як міру невизначеності (ентропію) події. Кількість інформації в тому чи іншому випадку залежить від ймовірності його отримання: чим більш імовірним є повідомлення, тим менше інформації міститься в ньому.
Друга концепція розглядає інформацію як властивість (атрибут) матерії. Її поява пов'язана з розвитком кібернетики і засноване на твердженні, що інформацію містять будь-які повідомлення, які сприймаються людиною або приладами. Найбільш яскраво і образно ця концепція інформації виражена академіком В.М. Глушковим.
Третя концепція заснована на логіко-семантичному (семантика - вивчення тексту з точки зору сенсу) підході, при якому інформація трактується як знання, причому не будь-яке знання, а та його частина, яка використовується для орієнтування, для активної дії, для управління і самоврядування. Іншими словами, інформація - це діюча, корисна, "працююча" частина знань. Представник цієї концепції В.Г. Афанасьєв.
В даний час термін інформація має глибокий і багатогранний сенс. Багато в чому, залишаючись інтуїтивним, він отримує різні смислові наповнення в різних галузях людської діяльності:
- в життєвому аспекті під інформацією розуміють відомості про навколишній світ і що протікають у ньому, сприймаються людиною або спеціальними пристроями;
- в техніці під інформацією розуміють повідомлення, передані у формі знаків або сигналів;
- в теорії інформації (по К.Шеннона) важливі не будь-які відомості, а лише ті, які знімають повністю або зменшують існуючу невизначеність;
- в кібернетиці, за визначенням Н. Вінера, інформація - це та частина знань, яка використовується для орієнтування, активної дії, управління, тобто з метою збереження, вдосконалення, розвитку системи;
- в семантичної теорії (зміст повідомлення) - це відомості, що володіють новизною, і так далі.
Така різноманітність підходів не випадковість, а наслідок того, що виявилася необхідність усвідомленої організації процесів руху і обробки того, що має загальну назву - інформація.
Імовірнісний підхід до визначення кількості інформації
В основі нашого світу лежать три склад-рами - речовина, енергія та інформація. А як багато в світі речовини, енергії та інформації.
- Чи можна виміряти кількість речовини і як саме? (Речовина можна зважити (в кілограмах, гамах і т.д.) на вагах, визначити його довжину (в сантиметрах, в метрах і т.д.) за допомогою лінійки, знайти його обсяг, застосувавши відповідні вимірювання і т.д.)
- Чи можна визначити кількість енергії? (Можна, наприклад, знайти кількість теплової енергії в Дж, електроенергії в кВт / ч, і т.д.)
- Чи можна виміряти кількість інформації і як це зробити?
Виявляється, інформацію також можна вимірювати і знаходити її кіль-кість.
Існують два підходи до вимірювання інформації.
Один з них називається змістовний або імовірнісний. З назва-ня підходу можна зробити висновок, що кількість інформації залежить від її змісту.
Визначте кількість інформації в наступних повідомленнях з позиції «багато» або «мало».
1) СтоліцаУкаіни - Київ.
2) Сума квадратів катетів дорівнює квадрату гіпотенузи.
3) Дифракцією світла називається сукупність явищ, які обумовлені хвильової природою світла і спостерігаються при його поширенні в середовищі з різко вираженою оптичної неоднорідністю.
4) Ейфелева вежа має висоту 300 метрів і вагу 9000 тонн.
Пояснення. чи містить повідомлення нові і зрозумілі відомості.
Повідомлення несе більше інформації, якщо в ньому містяться нові і зрозумілі відомості. Таке повідомлення називається інформативним.
Необхідно розрізняти поняття інформація і інформативність.
- Чи містить інформацію підручник фізики за 10 клас? (Так).
- Для кого він буде інформативним - для учня 10 класу або 1 класу? (Для учня 10 класу він буде інформативним, так як в ньому міститься нова і зрозуміла йому інформація, а для учня 1 класу вона інформативною не буде, тому що інформація для нього незрозуміла.)
Висновок: кількість інформації залежить від інформативності.
Кількість інформації в деякому повідомленні дорівнює нулю, якщо воно з точки зору конкретної людини не інформативно. Кількість інформації в інформативному повідомленні більше нуля.
Але інформативність повідомлення сама по собі не дає точного визначенні-ня кількості інформації. За інформативності можна судити тільки про те, багато інформації або мало.
3. Введення поняття імовірнісного підходу в вимірі інфор-мації
Розглянемо поняття інформативності з іншого боку. Якщо Незнач-рої повідомлення є інформативним, отже, воно поповнює нас знаннями або зменшує невизначеність наших знань. Іншими словами повідомлення містить інформацію, якщо воно призводить до уменьше-нию невизначеності наших знань.
Ми кидаємо монету і намагаємося вгадати, яким боком вона впаде на поверхню. Можливий один результат з двох: монета виявиться в положенні «орел» або «решка». Кожне з цих двох подій виявиться рівно можливих, тобто жодне з них не має переваги перед іншим.
Перед кидком монети ми точно не знає, як вона впаде. Ця подія передбачити неможливо, тобто перед кидком існує невизначеність нашого знання (можливо одна подія з двох). Після кидка настає повна визначеність знання, тому що ми отримуємо зорове повідомлення про становище монети. Це зорове повідомлення зменшує невизначений-ність нашого знання в два рази, тому що з двох рівноймовірно подій відбулася одна.
Якщо ми кидаємо шестигранний кубик, то ми також не знаємо перед кинути-кому, яким боком він впаде на поверхню. В цьому випадку, можливо, отримати один результат з шести рівноймовірно. Невизначеність знань дорівнює шести, тому що саме шість рівно можливих подій може статися. Коли після кидка кубика ми отримуємо зорове повідомлення про результат, то невизначеність наших знань зменшується в шість разів.
Ще один приклад. На іспит приготовлено 30 квитків. Чому дорівнює кількість подій, які можуть статися при витягуванні квитка? (30)
- Різновірогідні ці події чи ні? (Рівноймовірно.)
- Чому дорівнює невизначеність знань студента перед тим як він витягне білет? (30)
- У скільки разів зменшиться невизначеність знання після того як студент квиток витягнув? (В 30 раз.)
- Чи залежить цей показник від номера витягнутого квитка? (Ні, тому що події рівноймовірно.)
З усіх розглянутих прикладів можна зробити наступний висновок:
Чим більше початкова число можливих рівноймовірно подій, тим в більшу кількість разів зменшується невизначеність наших знань, і тим більшу кількість інформації буде містити повідомлення про результати досвіду.
А яким може бути найменше кількість інформації? Повернемо-ся наприклад з монетою. Припустимо, що у монети обидві сторони «орел».
- Чи існує невизначеність знань перед кидком в цьому випадку? Чому? (Ні, тому що ми заздалегідь знаємо, що випаде в будь-якому випадку «орел».)
- Отримайте ви нову інформацію після кидка? (Ні, тому що відповідь ми вже знали заздалегідь.)
- Чи буде інформативним повідомлення про результат кидка? (Ні, так воно не принесло нових і корисних знань.)
- Чому дорівнює кількість інформації в цьому випадку? (Нулю, тому що воно не інформативно.)
Висновок: ми не отримуємо інформації в ситуації, коли відбувається одна подія з одного можливого. Кількість інформації в цьому випадку дорівнює нулю.
Для того щоб кількість інформації мало позитивне значення, необхідно отримати повідомлення про те, що відбулася подія як мінімум з двох рівноймовірно. Така кількість інформації, кото-рої знаходиться в повідомленні про те, що сталася одна подія з двох одно-ймовірних, прийнято за одиницю вимірювання інформації і дорівнює 1 біту.
Величезна кількість способів кодування інформації неминуче призвело допитливий розум людини до спроб створити універсальну мову або абетку для кодування. Ця проблема була досить успішно реалізована лише в окремих областях техніки, науки і культури. Своя система кодування інформації існує і в обчислювальній техніці. Вона називається двійковим кодуванням. Всю інформацію, з якої працює обчислювальна техніка, можна представити у вигляді послідовності всього двох знаків - 1 і 0. Ці два символи називаються двійковими цифрами, по-англійськи - binary digit або скорочено bit - біт.
1 біт кодує 2 поняття або повідомлення (0 або 1)
2 біта - 4 різних повідомлення (00 або 01 або 10 або 11)
3 біта - 8 різних повідомлень
4 біта - 16 різних повідомлень і т.д.
де N - кількість значень інформації, i - кількість біт.
Чому саме двійкове кодування використовується в обчислювальній техніці? Виявляється такий спосіб кодування легко реалізувати технічно: 1 - є сигнал, 0 - немає сигналу. Для людини такий спосіб кодування незручний тим, що виконавчі послідовності виходять досить довгими. Але техніці легше мати справу з великим числом однотипних елементів, ніж з невеликим числом складних.
Отже, за допомогою бітів інформація кодується. З точки зору коди-вання за допомогою 1 біта можна закодувати два повідомлення, події або два варіанти деякою інформацією. З точки зору ймовірності 1 біт - це така кількість інформації, яке дозволяє вибрати одну подію з двох рівноймовірно. Погодьтеся, що ці два визначення не суперечать одне одному, а зовсім однакові, але просто розглянуті з різних точок зору.
Ще одне визначення 1 біта:
1 біт - це кількість інформації, що зменшує невизначеність знань в два рази.
Згадайте число з запропонованого-женного інтервалу.
Необхідно на кожному кроці в два рази зменшувати невизначеність зна-ня, тобто задавати питання, що ділять числовий інтервал на два. Тоді відповідь «Так» або «Ні» буде містити 1 біт інформації. Підрахувавши загальну кількість бітів (відповідей на питання), знайдемо повне кількість інформа-ції, необхідне для відгадування числа.
Наприклад, загадане число 5 з інтервалу від 1 до 16 (невизначеність знань перед вгадування дорівнює 16).
Висновок: кількість інформації, необхідне для визначення одного з 16 чисел, дорівнює 4 біта.
Існує формула, яка пов'язує між собою кількість можливих подій і кількість інформації:
де N - кількість можливих варіантів, i - кількість інформації.
Пояснення: формули однакові, тільки застосовуються з різних точок зору - кодування і ймовірності.
Якщо з цієї формули виразити кількість інформації, то вийде
Як користуватися цими формулами для обчислень:
- якщо кількість можливих варіантів N є цілою ступенем числа 2, то робити обчислення по формулі досить легко. Повернемося до прикладу: N = 32, i = 5, тому що ;
- якщо ж кількість можливих варіантів інформації не є цілою ступенем числа 2, тобто якщо кількість інформації число ве-громадської, то необхідно скористатися калькулятором або сле-дме таблицею.
Кількість інформації в повідомленні про один з N рівноймовірно подій:.
Наприклад: Яка кількість інформації можна отримати при вгадуючи-ванні числа з інтервалу від 1 до 11? У цьому прикладі N = 11. Щоб знайти i (кількість інформації), необхідно скористатися таблицею. По таблиці i = 3,45943 біт.
1) Яка кількість інформації буде отримано при відгадуванні числа з інтервалу:
- від 1 до 64 - від 1 до 61 - від 1 до 20.
2) Яка кількість інформації буде отримано після першого ходу в грі «хрестики-нулики» на поле:
3) Скільки могло статися подій, якщо при реалізації одного з них вийшло 6 біт інформації.
Насправді розглянута нами формула є окремим випадком, так як застосовується тільки до равновероятности подій. У житті ж ми стикаємося не тільки з рівноімовірними подіями, а й подіями, які мають різну ймовірність реалізації.
1. Коли повідомляють прогноз погоди, то відомості про те, що буде дощ, більш ймовірно влітку, а повідомлення про сніг - взимку.
2. Якщо ви - кращий студент в групі, то ймовірність повідомлення про те, що за контрольну роботу ви отримали 5, більше, ніж ймовірність отримання двійки.
3. Якщо на озері живе 500 качок і 100 гусей, то ймовірність вполювати на полюванні качку більше, ніж ймовірність вполювати гусака.
4. Якщо в мішку лежать 10 білих куль і 3 чорних, то ймовірність дістати чорну кулю менше, ніж ймовірність витягування білого.
5. Якщо одна зі сторін кубика буде важчою, то ймовірність випадання цього боку буде менше, ніж інших сторін.
Як обчислити кількість інформації в повідомленні про таку подію?
Для цього необхідно використовувати наступну формулу
де i - це кількість інформації, р - ймовірність події.
Імовірність події виражається в частках одиниці і обчислюється за формулою:
де К - величина, що показує, скільки разів відбулося цікавить нас, N - загальне число можливих результатів якогось процесу.
У мішку знаходяться 20 куль. З них 15 білих і 5 червоних. Яка кількість інформації несе повідомлення про те, що дістали: а) біла куля; б) червону кулю. Порівняйте відповіді.
1. Знайдемо ймовірність того, що дістали білу кулю: рб = 15/20 = 0,75;
2. Знайдемо ймовірність того, що дістали червону кулю: р = 5/20 = 0,25.
3. Знайдемо кількість інформації в повідомленні про витягуванні біло-го кулі: біт.
4. Знайдемо кількість інформації в повідомленні про витягуванні червоної кулі: біт.
Відповідь: кількість інформації в повідомленні про те, що дістали білу кулю, так само 1,1547 біт. Кількість інформації в повідомленні про те, що дістали червону кулю, дорівнює 2 біт.
При порівнянні відповідей виходить наступна ситуація: ймовірність витягування білої кулі була більше, ніж ймовірність витягування червоної кулі, а інформації при цьому вийшло менше. Це не випадок-ність, а закономірна, якісний зв'язок між ймовірністю події і кількістю інформації в повідомленні про цю подію.
І коробці лежать кубики: 10 червоних, 8 зелених, 5 жовтих, 12 синіх. Ви-число ймовірність діставання кубика кожного кольору і кількість ін-формації, яке при цьому буде отримано.
- Чи є події рівноімовірними? Чому? (Ні, тому що кількість кубиків різне.)
- Яку формулу будемо використовувати для вирішення завдання?
Рішення:
1. Всього кубиків в коробці N = 10 + 8 + 5 + 12 = 35.
2. Знайдемо ймовірності:
3. Знайдемо кількість інформації:
Відповідь: найбільшу кількість інформації ми отримаємо при діставання жовтого кубика через якісного зв'язку між ймовірністю і кількістю інформації.