Информационные системы решают структурированные задачи.

Структурированные задачи характеризуются:

• Использованием для решения структурированных данных;

• Наличием эффективного алгоритма решения;

• Фиксированной формой представления результата.

 

50. Что такое энтропия?

Энтропия - мера неопределенности сделки.

Энтропия по К.Шеннону

 

Где k – число состояний i системы α,

Pi – вероятность нахождения системы в состоянии i.

 

51. Что такое количество информации по К.Шеннону?

Количество информации, содержащееся в сообщении β об объекте α:

 

 

• Степень неопределенности H(α) зависит от числа состояний k: H = f(k).

• f(1) = 0. f(p) > f(q), p>q.

• Сложный опыт: α имеет p равновероятных исходов и β – q. αβ: f(pq) = f(p) + f(q)

• Всем перечисленным свойствам отвечает функция log k.

• Max H(α) достигается при

Максимальная неопределенность характеризуется наличием множества равновероятных исходов – чем больше исходов– тем выше неопределенность

• Энтропия алфавита русского языка

H(α) = 5

• Энтропия полного набора арабских цифр

H(β) = 3,3

H(αβ) - ?

 

52. Опишите семиотический подход к измерению количества информации.

Семиотика - это наука, изучающая свойства знаковых систем.

Семиотика:

информации, культуры, человека, …….

• Семиотика информации – объективные и субъективные метрики.

¨ Синтаксис

¨ Семантика

¨ Прагматика

 

53. Что такое синтаксическая, семантическая и прагматическая меры информации, содержащейся в сообщении?

Синтаксическая мера информации - дает физические характеристики информации – количество символов, вид носителя, способы доставки, защиты, стандарты хранения…

Объём данных Vd

Семантическая мера информации – определяет смысл содержащейся в сообщении β информации.

Тезаурус – совокупность сведений, и связей между ними, которыми располагает получатель информации.

Прагматическая мера информации –дает ценностные характеристики информации, содержащейся в сообщении β.

Две метрики, оценивающие прагматическую меру информации – вероятностная и оптимизационная.

Вероятностная метрика:

Приращение вероятности достижения цели.

Ib= log (Р1/ Р0)

Р0 –вероятность достижения цели до получения сообщения β;

Р1 -вероятность достижения цели после получения сообщения β.

Оптимизационная метрика формируется по оценке изменения целевой функции сделки, обусловленного получением информации

Iβ = F(X) - Fβ(X)