Количество информации как мера уменьшения неопределенности знаний

Процесс научного познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т. п.), и с точки зрения процесса познания информацию можно рассматривать как знания. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний! можно говорить о том, что это сообщение содержит информацию.

Подход к информации как к мере уменьшения неопределенности знаний позволяет измерять информацию количественно.

В нашей жизни часто встречаются ситуации, когда может про' изойти некоторое количество равновероятных событий. Например, при бросании монеты она с равной вероятностью может оказаться в одном из двух положений: «орел» или «решка». Перед броском существует неопределенность наших знаний (возможны два события). После броска наступает полная определенность, т. к. мы видим, что монета находится в определенном положении. Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, т. к. до броска мы имели два вероятных события, а после броска — только одно, т. е. в два раза меньше.

Содержательный подход к измерению информации При определении количества информации на основе уменьшения неопределенности знаний информация рассматривается с точ­ки зрения содержания, ее понятности и новизны для человека. С этой точки зрения при выпадении «орла» или «решки» в примере с бро­санием монеты содержится одинаковое количество информации, так как оба эти события равновероятны.

Существует формула, которая связывает между собой количество возможных равновероятных событий N и количество инфор­мации /': N = 2'.

В том случае, если события не являются равновероятными, ко­личество информации в сообщении о некотором событии будет за­висеть от вероятности этого события: чем меньше вероятность, тем больше информации.

Алфавитный подход к определению количества информации При хранении и передаче информации с помощью технических устройств информацию рассматривают как последовательность зна­ков — цифр, букв, кодов и т. д.

Набор символов знаковой системы (алфавит) можно рассматри­вать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, мож­но воспользоваться известной формулой для определения количе­ства возможных событий, по которой можно рассчитать, какое ко­личество информации N несет каждый символ: N = 2', где i — коли­чество символов знаковой системы (иначе его называют мощностью алфавита).

Таким образом, количество информации, которое содержит со­общение, закодированное с помощью знаковой системы, равно ко­личеству информации, которое несет один знак, умноженному на количество знаков.

Такой подход к измерению количества информации называется алфавитным подходом. Важно, что при алфавитном подходе к из­мерению информации количество информации не зависит от ее со­держания, а зависит от объема теста и от мощности алфавита. Единицы измерения количества информации Для определения количества информации введены специальные единицы измерения.

За единицу принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Такая единица называется бит (bit — от английского словосо­четания Binary digiT).

Следующая по величине единица — байт, 1 байт — это количе­ство информации об одном символе (букве, цифре, знаке). 1 байт — 2³ бит = 8 бит. Далее следуют:

1 кбайт (килобайт) = 1024 байта; 1 Мбайт (мегабайт) = 1024 кбайта; 1 Гбайт (гигабайт) = 1024 Мбайта.