Как вычислить количество информации в сообщении о таком событии?

Для этого необходимо использовать следующую формулу.

i = log ₂ (l/p), где i - это количество информации, р - вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле:

р = К / N, где К — величина, показывающая, сколько раз произошло интересующее нас событие, N — общее число возможных исходов какого-то процесса.

Задача №1

В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.

Решение:

1. Найдем вероятность того, что достали белый шар: р_б = 15 / 20 = 0,75;

2. Найдем вероятность того, что достали красный шар: р = 5 / 20 = 0,25.

3. Найдем количество информации в сообщении о вытаскивании бело­го шара: i ₆ = log ₂ (l/p₆) = log ₂ (l/0,75) = log₂l,3 =1,15470бит.

4. Найдем количество информации в сообщении о вытаскивании красного шара: i _к = log ₂ (1/р_к) = log ₂ (l/0,25) = log₂4 = 2 бит.

Ответ: количество информации в сообщении о том, что достали белый шар, равно 1,1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.

При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность вытаскивания красного шара, а информации при этом получилось меньше. Это не случай­ность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.

Задача №2

И коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вы­числите вероятность доставания кубика каждого цвета и количество ин­формации, которое при этом будет получено.

- Являются ли события равновероятными? Почему? (Нет, т.к. количество кубиков разное.)

- Какую формулу будем использовать для решения задачи? ( i = log ₂ (l/p))
Решение:

1. Всего кубиков в коробке N = 10 + 8 + 5 + 12 = 35.

2. Найдем вероятности: р_к = 10 / 35 ≈ 0,29,
рз = 8/ 35 ≈ 0,22,

рс= 12/35 ≈ 0,34,

рж = 5/35 ≈ 0,14.

3. Найдем количество информации:

ic = Iog₂ ( 1/0,34) = Iog₂ 2,9 = 1,5360529 бит,

iк = Iog₂ ( 1/0,29) = Iog₂ 3,4 = 1,7655347 бит,

iз = Iog₂ ( 1/0,22) = Iog₂ 4,5 = 2,169925 бит,

iж = Iog₂ (l/0,14) = Iog₂ 7,l = 2,827819 бит.

Ответ: наибольшее количество информации мы получим при доставании желтого кубика по причине качественной связи между вероятностью и количеством информации.