Условная энтропия

Пусть имеются две зависимые системы (или два множества сообщений) X и Y. Обозначим условную вероятность того, что система Y примет состояние y_j при условии, что система X приняла x_i.

Определим условную частную энтропию системы Y относительно отдельного события x_i. При этом должны быть известны условные вероятности .

Тогда частная условная энтропия будет равна

Частную условную энтропию можно выразить через математическое ожидание

Чтобы полностью охарактеризовать энтропию системы, нужно определить полную или среднюю энтропию. Если частную, условную энтропию усреднить по всем состояниям x_i с учетом вероятности появления каждого из состояний p(x_i), то найдем полную условную энтропию сообщений Y относительно X.

(1.6)

Понятие условной энтропии широко используется для определения информационных потерь при передаче информации. Пусть по каналу связи передаются сообщения с помощью алфавита Х. В результате воздействия помех приемником будет восприниматься другой алфавит Y (см.рис. 1.2).

Рис.1.2. Передача информации по каналу связи при воздействии помех

выражает неопределенность того что, отправив x_i, мы получим y_j, а понятие - неуверенность, которая остается после получения y_j в том, что было отправлено именно x_i. Если в канале связи помехи отсутствуют, то всегда посланному символу x₁ соответствует принятый символ y₁, x₂ - y₂, . . . , x_n - y_n. При этом энтропия источника H(X) равна энтропии приемника H(Y). Если в канале связи присутствуют помехи, то они уничтожают часть передаваемой информации.

Для вычисления энтропии совместного появления статистически зависимых сообщений используется понятие энтропии объединения. Энтропия объединения представляет собой сумму вида:

(1.7)

Энтропия объединения и условная энтропия связаны между собой следующими соотношениями:

H(X,Y) = H(X) + H(X/Y) = H(Y) + H(X/Y) (1.8)

В случае если X и Y между собой независимы, то условная энтропия равняется безусловной H(Y/X)=H(Y) и H(X,Y)=H(X)+H(Y).

В общем случае энтропия объединенной системы H(X,Y)≤ H(X)+H(Y), это следует из того что: H(Y/X)≤H(Y) условная энтропия меньше безусловной. Энтропия объединенной системы достигает максимум, только в случае если системы независимы.

В случае полной зависимости систем, состояния одной системы полностью определяют состояния другой (они эквивалентны): H(X,Y)=H(X)=H(Y), так как H(Y/X)=0.