Формула Хартли

Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т.д.) , то показательное уравнение легко решить в уме, поскольку i будет целым числом. А чему равно количество информации в сообщении о результате матча Динамо-Зенит? В этой ситуации N=3. Можно догадаться, что решение уравнения

2i=3

будет дробным числом, лежащим между 1 и 2, поскольку 21=2<3, а 22=4>3. А как точнее узнать это число?

В математике существует функция, с помощью которой решается показательное уравнение. Эта функция называется логарифмом, и решение нашего уравнения записывается следующим образом:

i = log2 N .

Читается это так: «логарифм от N по основанию 2». Смысл очень простой: логарифм по основанию 2 от N — это степень, в которую нужно возвести 2, чтобы получилось N. Например, вычисление уже известных вам значении, можно представить так:

log2 2=1, log2 4=2, log2 8=3.

 

Значения логарифмов находятся с помощью специальных логарифмических таблиц. Также можно использовать инженерный калькулятор или табличный процессор. Определим количество информации, полученное из сообщения об одном событии из трех равновероятных, с помощью электронной таблицы. Первая таблица представлена в режиме отображения формул, вторая – в режиме отображения значений.

  A B
N i (бит)
=LOG(A2;2)
  A B
N i (бит)
1,584962501

В табличном процессоре Excel функция логарифма имеет следующий вид: LOG(аргумент; основание). Аргумент – значение N, находится в ячейке А2, а основание логарифма равно 2. В результате получили с точностью до девяти знаков после запятой:

i=log23=1,584962501 бит

Формула для измерения информации: i = log2 N была предложена американским ученым Ральфом Хартли – одним из основоположников теории информации.

 

Данный пример показал, что количество информации, определяемое с использованием содержательного подхода, может быть дробной величиной. В то же время, информационный объем, вычисляемый путем применения алфавитного подхода, может иметь только целочисленное значение.

 

 

Измерение информации – содержательный подход
Измеряется количество информации в сообщении о некотором событии
Равновероятные результаты: никакой результат не имеет преимущества перед другими
Неопределенность знаний – число возможных результатов (вариантов сообщения) - N Количество информации в сообщении об одном результате события – I бит
2 I = N
Частный случай: два равновероятных результата события
N=2 I = 1 бит
1 бит – количество информации в сообщении об одном из двух равновероятных результатов некоторого события
Формула Хартли: i = log2 N