Формула Хартли
Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т.д.) , то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему равно количество информации в сообщении о результате матча Динамо-Зенит? В этой ситуации N=3. Можно догадаться, что решение уравнения
2i=3
будет дробным числом, лежащим между 1 и 2, поскольку 21=2<3, а 22=4>3. А как точнее узнать это число?
В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом:
i = log2 N .
Читается это так: «логарифм от N по основанию 2». Смысл очень простой: логарифм по основанию 2 от N — это степень, в которую нужно возвести 2, чтобы получилось N. Например, вычисление уже известных вам значении, можно представить так:
log2 2=1, log2 4=2, log2 8=3.
Значения логарифмов находятся с помощью специальных логарифмических таблиц. Также можно использовать инженерный калькулятор или табличный процессор. Определим количество информации, полученное из сообщения об одном событии из трех равновероятных, с помощью электронной таблицы. Первая таблица представлена в режиме отображения формул, вторая – в режиме отображения значений.
A | B | |
N | i (бит) | |
=LOG(A2;2) |
A | B | |
N | i (бит) | |
1,584962501 |
В табличном процессоре Excel функция логарифма имеет следующий вид: LOG(аргумент; основание). Аргумент – значение N, находится в ячейке А2, а основание логарифма равно 2. В результате получили с точностью до девяти знаков после запятой:
i=log23=1,584962501 бит
Формула для измерения информации: i = log2 N была предложена американским ученым Ральфом Хартли – одним из основоположников теории информации.
Данный пример показал, что количество информации, определяемое с использованием содержательного подхода, может быть дробной величиной. В то же время, информационный объем, вычисляемый путем применения алфавитного подхода, может иметь только целочисленное значение.
Измерение информации – содержательный подход | |
Измеряется количество информации в сообщении о некотором событии | |
Равновероятные результаты: никакой результат не имеет преимущества перед другими | |
Неопределенность знаний – число возможных результатов (вариантов сообщения) - N | Количество информации в сообщении об одном результате события – I бит |
2 I = N | |
Частный случай: два равновероятных результата события | |
N=2 | I = 1 бит |
1 бит – количество информации в сообщении об одном из двух равновероятных результатов некоторого события | |
Формула Хартли: i = log2 N |