Метод нормирования. Экспертные оценки.
Анализ достоверности групповых оценок
Определение групповых оценок объектов
Анализ оценок каждого эксперта
В методе ранжирования проверка экспертных оценок производится на выполнение следующих условий:
а) все ранги должны быть либо целыми числами, либо кратными 1/2;
б) ,
В случае если для оценок какого-либо эксперта эти условия не вы полняются, производится коррекция рангов аналитиком или программой обработки данных.
Групповой ранг () объекта j определяется как медиана распределения рангов , присвоенных этому объекту всеми экспертами. Для этого ранги упорядочиваются по воз растанию и групповой оценкой является среднее по порядку полученного ряда. Например, оценками объекта j являются следующие ранги:
Э1 Э2 Э3 Э4 Э5
Oj1 3 2 3 3
После упорядочения получим ряд: 1; 2; 3; 3; 3. Групповой оценкой rj объекта j будет 3.
Вычисленные групповые оценки rj еще не будут групповыми ран гами, так как не всегда выполняется условие, определяющее правиль ность вычисления связанных рангов. Поэтому по ряду rjнеоб ходимо определить групповые ранги объектов . Если, например, , то .
В методе ранжирования оценку достоверности можно проводить, используя коэффициент согласия (Е).
.
Для случая отсутствия связанных рангов в оценках экспертов выражение для Eимеет вид:
,
где , , m – число экспертов, n - количество объектов.
Если в оценках всех экспертов присутствуют связанные ранги, то выражение для Eпринимает вид:
,
Где - поправка на связанные ранги i эксперта
Проверка значимости коэффициента согласия. Если число экспертов m > 7 , то используется статистика
распределенная по закону 2 (Пирсона) с числом степеней свободы .
При небольшом числе экспертов и объектов, когда т(п-1) 20 используется статистика S
В соответствии с заданным уровнем значимости гипотезы о неза висимости оценок экспертов α находятся или Sтабл, или 2табл.
Решающими правилами для того, чтобы считать коэффициент согла сия значимым, т.е. чтобы считать групповые оценки достоверными, являют ся:
Sрасч > Sтабл ; 2расч > 2табл.
Эксперту предлагается оценить объекты по заданной шкале, например, но шкале от нуля до единицы или от нуля до десяти (рекомендуется шкалу делить на 20 градаций). Нижняя граница шкалы обязательно должна быть равна нулю. Для облегчения работы эксперта по оценке объектов процедуру присвое ния оценок следует проводить в несколько этапов. Сначала эксперту предлагается упорядочить объекты, т.е. проставить ранги, например, ~. Затем эксперт должен проставить оценки объектов по заданной непрерывной шкале: объекту с рангом 1 поставить максимальное значение шкалы, следующему объекту с рангом 2 значение меньше, чем первому объекту и т.д.
Следует подчеркнуть, что каждый эксперт i будет давать оценки объектов в личной шкале измерения. Одним из возмож ных путей перехода от личных шкал к единой является нормирование оце нок каждого эксперта (отсюда и название метода) по формуле:
.
В этом случае при использовании метода нормирования эксперт должен оценить все объекты.