Бит - это количество информации, уменьшающее неопределенность знаний в два раза.

Игра «Угадай число».

Загадайте число из предло­женного интервала.

Стратегия поиска:

Необходимо на каждом шаге в два раза уменьшать неопределенность зна­ния, т.е. задавать вопросы, делящие числовой интервал на два. Тогда ответ «Да» или «Нет» будет содержать 1 бит информации. Подсчитав общее ко­личество битов (ответов на вопросы), найдем полное количество информа­ции, необходимое для отгадывания числа.

Например, загадано число 5 из интервала от 1 до 16 (неопределенность знаний перед угадыванием равна 16).

Вопрос Ответ Неопределенность знаний Полученное количест­во информации
Число больше 8? Нет 1 бит
Число больше 4? Да 1бит
Число больше 6? Нет 1бит
Число 5? Да 1 бит
Итого:     4 бита

Вывод:количество информации, необходимое для определения одного из 16 чисел, равно 4 бита.

 

Существует формула, которая связывает между собой количество возможных событий и количество информации.

N = 2i; где N — количество возможных вариантов, i - количество информации.

Пояснение: формулы одинаковые, только применяются с разных точек зрения - кодирования и вероятности.

Если из этой формулы выразить количество информации, то получится

i = log 2 N.

Как пользоваться этими формулами для вычислений:

- если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2i достаточно легко. Вернемся к примеру: N = 32; —> i = 5, т.к. 32 = 25;

- если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число ве­щественное, то необходимо воспользоваться калькулятором или сле­дующей таблицей.

Количество информации в сообщении об одном из N равновероятных событий: i = log 2 N.

N i N i N i N i
0,00000 4,08746 5,04439 5,61471
1,00000 4,16993 5,08746 5,64386
1,58496 4,24793 5,12928 5,67243
2,00000 4,32193 5,16993 5,70044
2,32193 4,39232 5,20945 5,72792
2,58496 4,45943 5,24793 5,75489
2,80735 4,52356 5,28540 5,78136
3,00000 4,58496 5,32193 5,80735
3,16993 4,64386 5,35755 5,83289
3,32193 4,70044 5,39232 5,85798
3,45943 4,75489 5,42626 5,88264
3,58496 4,80735 5,45943 5,90689
3,70044 4,85798 5,49185 5,93074
3,80735 4,90689 5,52356 5,95420
3,90689 4,95420 5,55459 5,97728
4,00000 5,00000 5,58496 6,00000

Например: Какое количество информации можно получить при угадыва­нии числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти i(количество информации), необходимо воспользоваться таблицей. По таблице i = 3,45943 бит.

Упражнение 4 (устно)

1. Какое количество информации будет получено при отгадывании числа из интервала:

- от 1 до 64 - от 1 до 61 - от 1 до 20.

2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле:

- 3x3 - 4x4.

3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации.