Бит - это количество информации, уменьшающее неопределенность знаний в два раза.
Игра «Угадай число».
Загадайте число из предложенного интервала.
Стратегия поиска:
Необходимо на каждом шаге в два раза уменьшать неопределенность знания, т.е. задавать вопросы, делящие числовой интервал на два. Тогда ответ «Да» или «Нет» будет содержать 1 бит информации. Подсчитав общее количество битов (ответов на вопросы), найдем полное количество информации, необходимое для отгадывания числа.
Например, загадано число 5 из интервала от 1 до 16 (неопределенность знаний перед угадыванием равна 16).
| Вопрос | Ответ | Неопределенность знаний | Полученное количество информации |
| Число больше 8? | Нет | 1 бит | |
| Число больше 4? | Да | 1бит | |
| Число больше 6? | Нет | 1бит | |
| Число 5? | Да | 1 бит | |
| Итого: | 4 бита |
Вывод:количество информации, необходимое для определения одного из 16 чисел, равно 4 бита.
Существует формула, которая связывает между собой количество возможных событий и количество информации.
N = 2i; где N — количество возможных вариантов, i - количество информации.
Пояснение: формулы одинаковые, только применяются с разных точек зрения - кодирования и вероятности.
Если из этой формулы выразить количество информации, то получится
i = log 2 N.
Как пользоваться этими формулами для вычислений:
- если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2i достаточно легко. Вернемся к примеру: N = 32; —> i = 5, т.к. 32 = 25;
- если же количество возможных вариантов информации не является целой степенью числа 2, т.е. если количество информации число вещественное, то необходимо воспользоваться калькулятором или следующей таблицей.
Количество информации в сообщении об одном из N равновероятных событий: i = log 2 N.
| N | i | N | i | N | i | N | i |
| 0,00000 | 4,08746 | 5,04439 | 5,61471 | ||||
| 1,00000 | 4,16993 | 5,08746 | 5,64386 | ||||
| 1,58496 | 4,24793 | 5,12928 | 5,67243 | ||||
| 2,00000 | 4,32193 | 5,16993 | 5,70044 | ||||
| 2,32193 | 4,39232 | 5,20945 | 5,72792 | ||||
| 2,58496 | 4,45943 | 5,24793 | 5,75489 | ||||
| 2,80735 | 4,52356 | 5,28540 | 5,78136 | ||||
| 3,00000 | 4,58496 | 5,32193 | 5,80735 | ||||
| 3,16993 | 4,64386 | 5,35755 | 5,83289 | ||||
| 3,32193 | 4,70044 | 5,39232 | 5,85798 | ||||
| 3,45943 | 4,75489 | 5,42626 | 5,88264 | ||||
| 3,58496 | 4,80735 | 5,45943 | 5,90689 | ||||
| 3,70044 | 4,85798 | 5,49185 | 5,93074 | ||||
| 3,80735 | 4,90689 | 5,52356 | 5,95420 | ||||
| 3,90689 | 4,95420 | 5,55459 | 5,97728 | ||||
| 4,00000 | 5,00000 | 5,58496 | 6,00000 |
Например: Какое количество информации можно получить при угадывании числа из интервала от 1 до 11? В этом примере N=11. Чтобы найти i(количество информации), необходимо воспользоваться таблицей. По таблице i = 3,45943 бит.
Упражнение 4 (устно)
1. Какое количество информации будет получено при отгадывании числа из интервала:
- от 1 до 64 - от 1 до 61 - от 1 до 20.
2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле:
- 3x3 - 4x4.
3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации.