Содержательный подход и вероятность

 

До сих пор речь шла о равновероятных событиях. Но в реальности очень часто это предположение не выполняется. Интуитивно понятно, например, что для ученика-отличника получение пятерки и получение двойки — события не равновероятные. Для такого ученика получить пятерку — очень вероятное событие, а получение двойки — маловероятно. Для двоечника же — все наоборот.

Разберемся, что же такое вероятность. Для примера возьмем школьные оценки. Чтобы определить, какова вероятность получения каждой оценки, нужно посчитать общее количество разных оценок, полученных учеником за достаточно большой период времени, и определить, сколько из них двоек, троек, четверок и пятерок. Если допустить, что такое же распределение оценок сохранится и в будущем, то можно рассчитать вероятности получения каждой из оценок. Определив, какую часть от общего числа оценок составляют двойки, найдем вероятность получения двойки. Затем определив, какую часть составляют тройки, найдем вероятность получения тройки. Доля четверок среди всех оценок — это вероятность получения четверки, а доля пятерок — это вероятность получения пятерки.

Предположим, мы посчитали, что за два года ученик получил 100 оценок. Среди них: 60 пятерок, 25 четверок, 10 троек и 5 двоек. Тогда:

 

— вероятность пятерки: 60/100 = 0,6 ;

— вероятность четверки: 25/100 = 0,25 ;

— вероятность тройки: 10/100 = 0,1 ;

— вероятность двойки: 5/100 = 0,05 .

 

Иногда удобно бывает вероятность выражать в процентах. Значение вероятности будем обозначать буквой P. Тогда вычисленные нами величины запишем так:

 

P5 = 0,6 (60%); P4 = 0,25 (25%); P3 = 0,1 (10%); P2 = 0,05 (5%)

 

Теперь, зная вероятности событий, можно определить количество информации в сообщении о каждом из них. Согласно теории информации, для этого нужно решить показательное уравнение

2i=1/P

 

Вам уже известно, что его решение выражается через логарифм, и теперь оно выглядит так:

 

i = log2(1/P)

Воспользуемся электронной таблицей и подсчитаем по этой формуле количество информации, содержащееся в сообщении о получении нашим учеником каждой из оценок. Таблицы приведены в режиме отображения формул и в режиме отображения значений:

 

  A B C D E
Оценка
Вероятность 0,05 0,1 0,25 0,6
К-во информации (бит) =LOG(1/B2;2) =LOG(1/C2;2) =LOG(1/D2;2) =LOG(1/E2;2)

 

  A B C D E
Оценка
Вероятность 0,05 0,1 0,25 0,6
К-во информации (бит) 4,321928095 3,321928095 0,736965594

 

Запишем вычислительные формулы и полученные результаты с точностью до трех знаков после запятой.

 

i5 = log2(1/0,6) = log2(5/3) = 0,737 бит ,

i4 = log2(1/0,25) = log2(4) = 2 бита ,

i3 = log2(1/0,1) = log2(10) = 3,322 бита ,

i2 = log2(1/0,05) = log2(20) = 4,322 бита.

 

Посмотрите внимательно на результаты, и вы увидите, что чем меньше вероятность события, тем больше информации несет сообщение о нем.

 

Количество информации в сообщении о некотором событии зависит от вероятности этого события. Чем меньше вероятность, тем больше информации.

 

На первый взгляд кажется, что мы имеем две совсем разные формулы для вычисления информации. Первая — через количество событий, вторая — через вероятность:

 

1) i = log2 N ; 2) i = log2(1/P).

 

На самом деле это не разные формулы! Первая формула является частным случаем второй, для случая, когда вероятность разных событий оказывается одинаковой.

Представьте себе, что у нашего ученика было бы всех оценок поровну: пятерок, четверок, троек, двоек — по 25 штук. Тогда вероятность каждой оценки была бы равна 25/100 = 1/4. Значит, и количество информации будет одинаковым. Посчитаем:

i5 = i4 = i3 = i2 = log2 (1/0,25) = log2(4) = 2 бита.

 

Но это та же самая задача о четырех равновероятных оценках, которую мы решали раньше! И там тоже получалось 2 бита!

Приведем еще примеры сообщений о событиях с разной вероятностью и сравним их информативность. Вот, скажем, сообщения об осадках в зимнем прогнозе погоды. Зимой бывает снег, бывает без осадков и, очень редко, бывает дождь (во время сильной оттепели). Дождь — событие маловероятное. Поэтому зимой сообщение о дожде несет самую большую информацию.

Другой пример: землетрясения в разных районах земного шара происходят с разной частотой. Скажем, сообщение о землетрясении на Курилах несет гораздо меньше информации, чем сообщение о землетрясении на Кавказе.

Информативность всех таких сообщений можно выразить в битах, если вычислить вероятность событий, обработав результаты многолетних наблюдений.