Обработка результатов экспертного опроса, проведенного по методу нормирования
Результаты опроса, проведенного по методу нормирования, пред ставляются в виде матрицы ||Wji|| ( –индекс столбцов экспертов, – индекс строк объектов).
Анализ оценок каждого эксперта. Оценки объектов, полученные по методу нормирования, проверить не представляется возможным. Но мож но по оценкам эксперта определить его компетентность. Одним из подходов к оценке компетентности является подход, основан ный на учете оценок эксперта в экспертизе.
Определение групповых оценок объектов. В методе нормирования определяются точечные и интервальные оценки объектов. Так как каждый эксперт может иметь свой коэффициент компетентности, который является характеристикой точности его оценок, то для определения групповых оценок используется средневзвешенная личных оценок:
. (112)
Точечная групповая оценка без указания точности и надежности малоопределенна, так как следует рассматривать как случайную ве личину, зависящую от состава экспертов. Если представить гипотетическую ситуацию, когда опросили всех возможных экспертов (генеральную сово купность экспертов), то получим истинную оценку объекта Wj*. Вычисленная же по формуле (112) , является оценкой Wj*.
Для того чтобы получить представление о точности и надежности оценки для Wj* определим интервал (), который будет включать Wj* с заданной вероятностью Pд. Такой интервал назы вается доверительным интервалом, а Pд – доверительной вероятностью.
Для определения доверительного интервала Wj* сначала вычисляется оценка дисперсии в соответствии с выражением:
,
где определяется по формуле (112).
Случайная величина распределена по закону Стьюдента с математическим ожиданием Wj*, дисперсией и числом степеней свободы .
Задавшись доверительной вероятностью Pд (обычно Pд > 0,70), находим квантиль распределения Стьюдента. Границы довери тельного интервала будут определяться следующим выражением:
.
Если доверительный интервал включает отрицательные значения (нижняя граница меньше нуля), то надежность групповой оценки этого объекта низка, тогда необходимо или исключить из рассмотрения этот объект, или уточнить у экспертов оценки объекта.
Оценка согласованности экспертов. Коэффициент согласия вычис ляется в соответствии с формулой:
Для проверки значимости коэффициента со гласия используется статистика , распределенная но закону 2 (Пирсона) с числом степеней свободы = n – 1.
Решающим правилом для того, чтобы считать коэффициент согласия зна чимым и, соответственно, групповые оценки достоверными, является не равенство:
.