Метод экспертных оценок

Существует ряд объективных причин применения экспертных методов при решении многих задач управления. Такие задачи, как определение целей развития отрасли на плановый период, определение необходимых критериев оценки функционирования отрасли, предприятия, выбор рационального варианта развития отрасли или производственной программы предприятия, не всегда могут быть решены исключительно формализованным образом [3].

Для решения этих вопросов могут быть использованы методы экспертных оценок. Однако применение метода экспертных оценок требует анализа их обьективности и надежности. С одной стороны, нет гарантий, что полученные оценки достоверны, а с другой – существуют трудности при проведении опроса экспертов и обработке полученных данных.

Одним из наилучших методов использования суждений экспертов является метод ((Дельфи)), предусматривающий проведение опросов в несколько туров. Процесс выработки суждений экспертами управляется рабочей группой, проводящей опрос. Метод разработан в 1964 г. О. Халмером и его сотрудниками в научно-исследовательской корпорации РЭНД в США.

Основными этапами экспертных опросов являются:

определение целей экспертного опроса;

подбор экспертов и формирование экспертных групп;

формирование вопросов и составление анкет;

работа с экспертами;

анализ и обработка экспертных оценок.

Рассмотрим кратко содержание отдельных этапов экспертных опросов. Подготовку экспертизы начинают с постановки проблемы. Это позволяет приступить к формулировке целей и задач экспертизы. Опыт показывает, что наличие четко представленной цели и ясно понятых задач является обязательным для обеспечения надежности экспертизы. Основным инструментом для обоснования целей и задач экспертизы может служить метод дерева целей.

Сформулировав цели и задачи экспертизы, ее организаторы подготавливают перечень оцениваемых событий и устанавливают совокупность факторов, которые характеризуют эти события. Такой перечень нужен для того, чтобы примерно определить число и ориентацию требуемых для экспертизы специалистов. Перечень событий и факторов может иметь разный уровень детализации. Следует учитывать, что с увеличением степени детализации согласованность экспертных оценок возрастает, однако увеличиваются затраты времени и средств на проведение экспертизы.

Работа по отбору специалистов, участвующих в экспертизе, обычно начинается с составления списка компетентных в данной области лиц. Установить оптимальную численность группы довольно трудно, однако в настоящее время разработан ряд подходов, позволяющих хотя бы приближенно решать вопрос о необходимом числе экспертов.

Один из таких подходов заключается в определении размера группы исходя из соображения, что существуют некоторые граничные оценки Nmax и Nmin. Нижняя оценка Мmin зависит от числа оцениваемых событий, направлений или проблем. Верхняя оценка Nmax определяется как потенциально возможное число экспертов. Из этого вытекает, что действительное значение численности группы N находится в пределах Nmin£N£Nmax, Для того чтобы экспертная группа могла всесторонне оценить события, рекомендуется одинаковое количество экспертов Nl, каждого l-ro направления (научного, технического, социального, организационного и т. д.). При этом

где r – число рассматриваемых направлений.

Учитывая наличие экспертов каждого направления l= 1, 2, ..., r, трудоемкость работы экспертной группы, допустимую точность экспертизы, определяют численность группы N.

Основой для отбора Nl£Nlmax экспертов служат специальные методы оценки их качеств. При этом выделяются два основных метода: индивидуальной самооценки и групповой самооценки.

Метод индивидуальной самооценки предполагает, что каждый s-й эксперт, исходя из уровня квалификации в области специализации, уровня теоретической подготовки, его практического пыта и широты кругозора (знакомство с отечественной и зарубежной литературой), обязан проставить в десятибалльной шкале оценку своих знаний по каждому j-му вопросу – . Можно, например, ориентироваться на следующие значения баллов: 10 – эксперт специализируется по данному вопросу; 8 – эксперт участвует в практическом решении данного вопроса; 5 – вопрос входит в сферу интересов его специализации; 3 – вопрос не входит в сферу интересов его специализации.

Метод групповой самооценки предполагает, что каждый р-й эксперт оценивает знания s-ro эксперта по l-му вопросу исходя из уровня его специализации, теоретической подготовки, практического опыта и широты кругозора по десятибалльной шкале величиной , тогда групповая оценка компетентности s-ro эксперта по j-мy вопросу определяется из выражения

 

где Nsj – число экспертов, принявших участие в оценке s-ro эксперта по j-му вопросу.

Произведение индивидуальной и групповой оценки, деленное на 100, будет характеризовать компетентность эксперта по данному вопросу:

 

 

Деление на 100 необходимо для приведения оценки к диапазону изменения от 0 до 1.

После того как отобрана группа экспертов, необходимо разработать экспертные анкеты и приступить к проведению экспертизы. Участники экспертизы не могут начать работу с «чистого листа». Подбор конкретных вопросов помогает эксперту лучше понять поставленную задачу. Перевод цели и задачи экспертизы на язык вопросов требует от организаторов экспертизы сложной и кропотливой работы, знания различных типов вопросов, умения точно сформулировать их, расположить в определенной последовательности. Таким образом, экспертная анкета – это структурно организованный набор вопросов, каждый из которых логически связан с центральной задачей экспертизы.

Обычно решение проблемы может быть представлено матрицей цель – средства, клетки которой будут заполнены сведениями, полученными в результате экспертизы. Столбцы этой матрицы – перечень подцелей, которые в комплексе могли бы обеспечить решение роблемы. Строки этой матрицы представляют собой перечень средств для достижения цели. Под последними понимаются как мероприятия, связанные с проведением исследований, так и мероприятия капитального строительства, организационного характера и т. д.

Разрабатываемые экспертные анкеты должны помочь ответить на то, как те или иные средства (мероприятия) способствуют достижению тех или иных подцелей и целей. Экспертная анкета должна быть составлена так, чтобы можно было получить количественно определенные ответы на предлагаемые эксперту вопросы. В общем виде анкета может иметь следующий вид (см. таблицу).

Здесь через сsj обозначается оценка (в баллах от 0 до 100) относительной важности j-ro вопроса, проставленная s-м экспертом.

После проведения экспертизы необходимо обработать полученные результаты и получить обобщенное мнение группы экспертов об относительной важности тех или иных средств (мероприятий) для достижения тех или иных подцелей и целей, а также определить степень согласованности мнений экспертов по каждому вопросу.

Показателем обобщенного мнения может служить средневзвешенное значение экспертных оценок, определяемое с учетом коэффициента компетентности экспертов следующим образом:

где Nj – число экспертов, ответивших на j-й вопрос.

Однако здесь следует учесть и принять во внимание следующее важное обстоятельство. Мнения экспертов, определяемыс значениями сsj, могут сильно отличаться друг от друга по двум причинам. С одной стороны, расхождения могут быть вызваны тем, что вопросы поставлены нечетко и экспертам трудно на них ответить. В этом случае следует изменить постановку вопросов. С другой стороны, это может произойти и потому, что по поводу j-ro вопроса существуют противоречивые мнения. В этом случае следует выявить эти противоречия и присоединиться к одному из мнений.

Разброс мнений проще всего определять с помощью оценки дисперсии полученных экспертных оценок:

 

Чем меньше величина дисперсии, тем выше степень согласованиости мнений экспертов.