Метод ранжирования. Экспертные методы.

Метод классификации. Экспертные методы.

Как видно из названия этого метода, он позволяет произвести оценку объектов по шкале классификации. Эксперт должен отнести каж дый объект к одному из сформулированных классов . Шкальными значениями в этом методе являются номера классов, но для дальнейшего изложения результаты оценки одним экспертом объектов по методу классификации будем представлять в виде бинарной матрицы (,если эксперт i отнес объект j к классу k, и – в противном случае).

При использовании метода классификации эксперту разрешается оценивать только часть объектов.

Примером использования метода классификации является прове дение анкетного опроса по вопросам, на каждый из которых дается веер ответов. При этом эксперт должен указать ответ, который он считает правильным.

 

Обработка экспертных оценок по методу классификации

Анализ оценок каждого эксперта.В методе классификации единственным требованиемк оценкам объектов является условие отнесения каждого объекта только кодномуклассу. Это следует из того, что метод основан на теории четкихмножеств.Формально это условие записывается в следующем виде:

.

Если это условие не выполняется, то необходимо предъявить обна руженную ошибку эксперту для исправления. Оценку объекта, по которому обнаружена ошибка, можно исключить из рассмотрения. Обычно, чтобы таких ошибок не наблюдалось, эксперту предлагается вместо запол нения матрицы при оценке объекта указать номер класса, к ко торому он относит объект.

Определение групповых оценок объектов.В качестве групповой оценки объекта j в методе классификации используется мода распределения личных оценок экспертов jобъекта. Для определения моды распределения вычисляются величины , где mj – число экспертов, оценивших j объект.

определяет количество экс пертов, отнесших объект jк классу k.

Групповой оценкой объекта j является индекс класса, соответст вующий Другими словами, в методе классификации для опреде ления групповых оценок используется правило большинства: объект j от носят к тому классу, к которому отнесло его большинство экспертов.

Бинарную матрицу групповых оценок обозначим через .

Анализ достоверности групповых оценок.Согласованность экспертов по объекту jопределяется коэффициентом согласия:

,

Где , S - количество классов, mj – число экспертов, оценивших j объект.

Значимость коэффициента согласия используется статистика:

 

распределенная по закону Пирсона с числом степеней свободы . Эта статистика используется при числе экспертов более 15.

Для проверки гипотезы H0 необходимо задать уровень значи мости , который характеризует требования к надежности групповых оценок, по таблицам распределения определить .

При малом числе экспертов для проверки значимости следует использовать таблицы распределения при малых выборках.

Решающим правилом для того, чтобы считать коэффициент со гласия значимым и, соответственно, групповую оценку объекта Oj досто верной, является следующее неравенство: или .

Согласованность экспертов по всей совокупности объектов определяется усреднением коэффициента по объектам:

 

Проверка значимости коэффициента согласия E по всей совокупности объектов осуществляется аналогично Еj. При этом статистика вычисляется по формуле:

,

число степеней свободы равно .

Говоря о сравнении оценок объектов, данных различными экспер тами, необходимо остановиться на коэффициенте корреляции.

В результате преобразования получим:

.

Подсчет осуществлять довольно просто: достаточно вычислить количество объектов, по которым оценки экспертов совпали, и отнести результат к общему числу объектов n.

 

 

Оценка объектов по методу ранжирования. Эксперту предлагается упорядочить объек ты по предпочтению. При этом, кроме отно шения порядка между объектами, могут устанавливаться и отношения эквивалентности. Например, семь объектов упорядочены следующим образом: ~ O4 ~ ~

В качестве рангов используются числа натурального ряда, причем наиболее предпочтительному объекту присваивается ранг, равный единице. Таким образом, ранг объекта обо значает его порядковый номер в упорядоченном ряду. Так, в приведенном выше примере объекту O3 соответствует ранг 1, а объекту О6 – ранг 7.

Если между несколькими объектами при их оценке установлено отношение эквивалентности (в приведенном примере это подмножества и ), то имеют место связанные ранги для объ ектов, входящих в классы эквивалентности. Значения связанных рангов определяются как среднее из чисел, характеризующих места эквивалентных объектов в упорядоченном ряду. Так, связанный ранг объектов O1,O4 и O5 будет равен (2+3+4)/3 = 3, а связанные ранги O2 и O7 равны (5+6)/2 = 5,5.

Ранг, присвоенный экспертом i объекту j, будем обозначать . Отметим также, что при использовании метода ранжирования экс перты должны обязательно оценивать все объекты.

Таким образом, оценками объектов эксперта i являютсярангиобъектов .