Количество информации и энтропия
Глава 1. Основы теории информации
Понятие энтропии, как меры исходной, доопытной (априорной) неопределенности результатов опыта было введено К.Шенноном, по аналогии с термодинамической энтропией.
На основе этого количество информации, которое получают в результате конкретного исхода опыта, определяется как
(1.1)
Где 
– исходная энтропия,
- остаточная энтропия (неопределенность исхода) опыта.
В этом представлении количество информации, полученное в результате опыта, - это мера снятой неопределенности.
При передаче сообщений в каналах без помех 
и 
.
В приложении к системам связи термин «количество информации» ввел Р.Хартли в 1928 г. Он предложил определять эту величину как
, (1.2)
Где р – вероятность появления одного из N возможных равновероятных исходов опыта.
Логарифмическая мера количества информации может быть обоснована на основе следующих соображений:
1. Количество информации больше в опыте с большим числом равновероятных исходов:
2.
(1.3)
3. Если опыт имеет один исход, 
, то
4.
(1.4)
5. Количество информации в опыте, состоящем из частных опытов со взаимонезависимыми исходами 
…
6.
(1.5)
Тогда в общем случае количество информации определится как
(1.6)
Постоянные a и b устанавливают масштаб величины I. По Хартли a=1 b=2. В этом случае, если
, то 
бит (1.7)
Единица количества информации, которая используется, как правило, в системах связи. Известны также аналогичные единицы измерения нат (b=e
2,73…) и дит (b=10). В дальнейшем при значении основания b=2 оно у функции логарифма не указывается.