Неопределенность знаний и количество информации

Содержательный подход к измерению информации отталкивается от определения информации как содержания сообщения, получаемого человеком. Сущность содержательного подхода заключается в следующем: сообщение, информирующее о каком-то событии, снимает неопределенность знаний человека об этом событии.

Чем больше первоначальная неопределенность знаний, тем больше информации несет сообщение, снимающее эту неопределенность.

Приведем примеры, иллюстрирующие данное утверждение.

Ситуация 1. В ваш класс назначен новый учитель информатики; на вопрос: «Это мужчина или женщина», вам ответили: «Мужчина».

Ситуация 2. На чемпионате страны по футболу играли команды Динамо и Зенит. Из спортивных новостей по радио вы узнаете, что игра закончилась победой Зенита.

Ситуация 3. На выборах мера города было четыре кандидата. После подведения итогов голосования вы узнали, что избран Никитин Н.Н.

Вопрос: в какой из трех ситуаций полученное сообщение несет больше информации?

Неопределенность знаний – это количество возможных вариантов ответа на интересовавший вас вопрос. В первой ситуации – 2 варианта: мужчина, женщина; во второй ситуации 3 варианта: выиграли, ничья, проиграли; в третьей ситуации – 4 варианта: 4 кандидата на пост мера.

Согласно данному выше определению, наибольшее количество информации несет сообщение в третьей ситуации, поскольку неопределенность знаний о результате события (выборов мера) в этом случае была наибольшей.

В 40-х годах ХХ века, проблема измерения информации была решена американским ученым Клодом Шенноном – основателем теории информации. Согласно К.Шеннону, информация – это снятая неопределенность в знаниях человека о результате какого-то события.

В теории информации единица измерения информации определяется следующим образом.

 

Сообщение, уменьшающее неопределенность знаний о результате некоторого события в два раза, несет 1 бит информации

 

Согласно этому определению, сообщение в первой из описанных ситуаций несет 1 бит информации, поскольку из двух возможных вариантов ответа был выбран один.

Следовательно, количество информации, полученное во второй и в третьей ситуациях, больше, чем один бит. Но как их измерить?

Рассмотрим другой пример выбора одного из четырех вариантов, более удобный для измерения количества информации.

Ученик написали контрольную по информатике и спрашивает учителя о полученной оценке. Оценка может оказаться любой: от 2 до 5. На что учитель отвечает: «Угадай оценку за два вопроса, ответом на которые может быть «да» или «нет»». Подумав, ученик задает первый вопрос: «Оценка выше тройки?». «Да»,-ответил учитель. Второй вопрос: «Это пятерка?». «Нет», - ответил учитель. Ученик понял, что он получил четверку. Какая бы не была оценка, таким способом она будет угадана!

Первоначально неопределенность знаний (число вариантов полученной оценки) была равна четырем. С ответом на каждый вопрос неопределенность уменьшалась в 2 раза и, следовательно, согласно данному выше определению одного бита, передавался 1 бит информации.

Первоначальные варианты :   Варианты, оставшиеся после 1-го вопроса: (1 бит)   Вариант, оставшийся после 2-го вопроса: (+1 бит)

Узнав оценку (одну из четырех возможных) ученик получил 2 бита информации.

Рассмотрим еще один частный пример, а затем выведем общее правило.

Вы едете на электропоезде, в котором 8 вагонов, а на вокзале вас встречает товарищ. Товарищ позвонил вам по мобильному телефону и спросил, в каком вагоне вы едете. Вы предлагаете угадать номер вагона, задав наименьшее количество вопросов, ответами на которые могут быть слова «да» или «нет».

Немного подумав, товарищ стал спрашивать:

— Номер вагона больше четырех?

— Да.

— Номер вагона больше шести?

— Нет.

— Это шестой вагон?

— Нет.

— Ну теперь все ясно! Ты едешь в пятом вагоне!

Схематически поиск номера вагона выглядит так:

Первоначальное число вариантов:   После 1-го вопроса (1 бит):   После 2-го вопроса (+1 бит):   После 3-го вопроса (+1 бит):

 

Каждый ответ уменьшал неопределенность в два раза. Всего было задано три вопроса. Значит в сумме набрано 3 бита информации. И если бы сразу было сказано, что вы едете в пятом вагоне, то этим сообщением было бы передано те же 3 бита информации.

Способ поиска решения проблемы, примененный в примерах с оценками и вагонами, называется методом половинного деления: ответ на каждый вопрос уменьшает неопределенность знаний наполовину. При этом каждый такой ответ несет 1 бит информации.

Заметим, что поиск решения методом половинного деления наиболее рационален. Таким способом всегда можно угадать, например, любой из восьми вариантов за 3 вопроса. Если бы поиск производился последовательным перебором: «Ты едешь в первом вагоне?» - «Нет», «Во втором вагоне?» - «Нет» и т.д., то про пятый вагон смогли бы узнать после пяти вопросов, а про восьмой – после восьми. К проблеме поиска информации мы еще вернемся в нашем курсе.

 

«Главная формула» информатики

Сформулируем одно очень важное условие, относящееся к рассмотренным примерам. Во всех ситуациях предполагается, что все возможные варианты событий равновероятны. Равновероятно, что учитель может быть мужчиной или женщиной; равновероятен любой исход футбольного матча, равновероятен выбор одного из четырех кандидатов в меры города. То же относится и к примерам с оценками и вагонами.

Тогда полученные нами результаты описываются следующими формулировками:

- сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит информации;

- сообщение об одном из четырех равновероятных результатов некоторого события несет 2 бита информации;

- сообщение об одном из восьми равновероятных результатов некоторого события несет 3 бит информации.

Обозначим буквой N количество возможных результатов события, или, как мы это еще называли, — неопределенность знаний. Буквой i будем обозначать количество информации в сообщении об одном из N результатов.

 

В примере с учителем N=2 , i=1 бит;

в примере с оценками N=4 , i=2 бита;

в примере с вагонами N=8 , i=3 бита.

 

Нетрудно заметить, что связь между этими величинами выражается следующей формулой:

2 ⁱ = N.

Действительно: 2¹ = 2 ; 2² = 4 ; 2³ = 8 .

С полученной формулой вы уже знакомы из курса информатики для 8 класса и еще не однажды мы с ней встретимся. Значение этой формулы столь велико, что мы назвали ее главной формулой информатики. Если величина N известна, а i - неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.

return false">ссылка скрыта

Пусть в поезде не 8, а 16 вагонов. Чтобы ответить на вопрос, сколько информации содержится в сообщении о номере искомого вагона, нужно решить уравнение:

2ⁱ = 16.

 

Поскольку 16 = 2⁴ , то i = 4 бита.

 

Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого событий, определяется из решения показательного уравнения: 2 ⁱ = N

 

Пример 1. В кинозале 16 рядов, в каждом ряду 32 места. Сколько информации несет сообщение о том, что вам купили билет на 12-й ряд, 10-е место?

Решение задачи: в кинозале всего 16×32=512 мест. Сообщение о купленном билете однозначно определяет выбор одного из этих мест. Из уравнения 2 ⁱ = 512=2⁹ получаем: i=9 бит.

Но эту же задачу можно решать иначе. Сообщение о номере center>