Взаимная информация.

 

Введенное ранее понятие энтропии Н(А) дискретного источника или ансамбля сообщений А={a_i} характеризует среднее значение информации, содержащееся в одном сообщении.

Определим информацию, содержащуюся в одном ансамбле А относительно другого В. Для этого возьмем объединение этих дискретных ансамблей.

Приведем 2 примера таких сообщений:

Пример №1: ансамбль А – ансамбль сообщений, В – ансамбль сигналов, с помощью которых это сообщение передается.

Пример №2: А – ансамбль сигналов на входе канала связей, В – ансамбль сигналов на выходе каналов связей.

 

Обозначим совместную вероятность реализацией двух ансамблей а_i и b_j как Р(а_i, b_j).

Назовем совместной энтропией ансамблей А и В величину

(1)

Усреднение в выражении (1) берется по объединенному ансамблю.

Назовем условной энтропией величину

(2)

где Р– условная вероятность a_i, если имеет место b_j.

Усреднение в выражении (2) берется по объединенному сигналу.

Если источники А и В являются источниками без памяти, то условная энтропия

(3)

Если воспользоваться теоремой умножения вероятностей:

то (4)

Для условной вероятности в общем случае: 0≤Н ≤Н(А) (5).

1) Н =0, если при каждом b_j условная вероятность реализации а_j равна 1, то есть Р=1. Для всех остальных реализаций а_n условная вероятность равна нулю, то есть Р=0, при n≠i.

Это означает, что по известной реализации В можно точно установить реализацию А. Другими словами, В содержит полную информацию об А и Н=0.

2) Н=Н(А) имеет место, когда условная вероятность Рравна безусловной вероятности Р(а_i) при любых а_j и b_j, то есть события А и В независимы и знание реализации В не уменьшает неопределенность А (В ни содержит ни какой информации об А).

В общем случае всегда справедливо 0< Н <Н(А). Это означает: знание реализации в среднем снижает первоначальную неопределенность А.

Обозначим Н(А)-Н =I(A, B) (6)

Эта разность I(A, B) имеет смысл в количестве информации, содержащейся в В относительно А.

Назовем I(A, B) взаимной информацией между А и В.

Учитывая выражение для Н(А) и Н , представим взаимную информацию в виде.

(7)

Если воспользоваться теоремой умножения вероятностей, то

(8)

 

Основные свойства взаимной информации.

1) Взаимная информация неотрицательна I(A, B)≥0. Причем равенство I(A, B)=0, бывает только при независимости А и В.

2) I(A, B)=I(В, А)

В содержит столько же информации об А, столько А о В, следовательно

3) I(A, B)≤Н(А)

Если по реализации В можно однозначно установить реализацию А, то I(A, B)=Н(А)

I(A, B)≤Н(В)

Если по реализации А можно точно установить реализацию В, то I(A, B)=Н(В).

4) Если В=А, то, учитывая что I(A, B)=0, получим I(A, А)=Н(А).

Последнее равенство означает, что энтропия источника А Н(А) может рассматриваться как собственная информация, то есть информация, содержащееся в А о самом себе.

 

Пример №1.

Пусть ансамбль А – ансамбль дискретных сообщений, В – ансамбль дискретных сигналов, в которых эти сообщения преобразуются, то есть А превращается в В.

Равенство I(A, B)=Н(А) возможно тогда и только тогда, когда преобразование А в В обратимое, при необратимом преобразовании будет всегда неравенство I(A, B)<Н(А).

Вычтем:

Н(А)- I(A, B)= Н.

Смысл выражения в потере информации при преобразовании А в В (ненадежность преобразования). При обратном преобразовании информация не теряется.

Обозначим как и раньше через Т – среднее время передачи одного сообщения.

Н’=1/Т Н– скорость утечки (или потеря) информации,

I’(A, B)=1/Т I(A, B) – скорость передачи информации от А к В.

 

Пример №2.

Пусть А – ансамбль сигналов на входе дискретного канала связи, В – ансамбль сигналов на выходе дискретных каналов связи.

 

 

Воспользуемся соотношением: I(A, B)=Н(А)-Н=Н(В)-Н.

Если поделить на Т: I’(A, B)=Н’(А)-Н’=Н’(В)-Н’.

Здесь Н’(А) – производительность источника сообщений А;

Н’- скорость утески информации при прохождении через канал связи;

Н’(В) – «производительность» канала связи (полная собственная информация в принятом сигнале за единицу времени);

Н’- скорость передачи посторонней информации, не имеющей отношение к А и создаваемой помехами, например, из соседних каналов связи.

 

Рассмотрим две крайних ситуации:

1) полоса пропускания канала связи мала и недостаточна для удовлетворительного (не искаженного) прохождения сигнала. В тоже время уровень помех мал, следовательно, часть полезной информации теряется, но почти не добавляется посторонней (бесполезной информации).

Н’>>Н’- соотношение скоростей.

2) Полоса пропускания канала связи велика и сигнал не искажается, но зато мы получаем много посторонней (бесполезной) информации.

Н’<<Н’.

 

 

 

На основании рассмотренных сведений по теории информации можно дать рекомендации по эффективному кодированию сообщений с целью избежать потерь информации. Можно даже ввести понятие оптимального кодирования сообщений, при котором не происходит потерь информации при ее передачи по каналу связи.