Экспертные оценки

Метод экспертных оценок заключается в выявлении суждений экспертов и формировании на их основе обобщающих выводов. Как самостоятельный инструмент исследования метод экспертных оценок применяется с 40 – х годов ХХ века. При этом этот метод применим к проблемам, в отношении которых имеется достаточный объем информации.

Основными этапами осуществления экспертной оценки являются следующие:

1. Формирование экспертной группы

2. Определение вида экспертной оценки

3. Подготовка и проведение экспертизы

4. Статистическая обработка полученных результатов

Остановимся на каждом из этапов более подробно.

1. Формирование экспертной группы

Эксперты – это специалисты по рассматриваемой проблеме. С одной стороны, чем больше экспертов будет участвовать в экспертной оценке, тем большая будет достоверность оценки. (На рис. 10 приведена эмпирически полученная зависимость достоверности экспертизы от количества экспертов). Но с другой стороны, найти большое количество специалистов по конкретной проблеме не так-то просто. Кроме того, чем больше экспертов, тем дороже обойдется экспертиза. На практике минимальным количеством экспертов считается 7.

Важным при формировании экспертной группы является обеспечение ее качественного состава. Для подбора наиболее квалифицированных экспертов используются два метода:

· самооценки

· групповой оценки

Метод самооценки качеств экспертов одним из первых в России был применен известным советским экономистом С. Г. Струмилиным. Опыт многочисленных экспертиз и в России и за рубежом показал, что группы экспертов с высокой самооценкой, как правило, ошибаются в своих суждениях меньше, чем группы с низкой самооценкой. Одна из применяемых методик самооценки заключается в следующем.

 



Рассчитывается коэффициент компетенции эксперта по формуле:

Кк = (Кз + Ка) / 2

где: Кк – коэффициент компетенции эксперта

Кз - коэффициент степени знакомства эксперта с проблемой. Он определяется самим экспертом по шкале от 0,1 до 1,0.

Ка – коэффициент аргументации рассчитывается путем оценки экспертом источником его компетентности. (см. таблицу 15).

Таблица 15

Таблица определения коэффициента аргументации

Источник аргумента Степень влияния источника на компетентность
Высокая Средняя Низкая
Проведенное исследование      
Производственный опыт      
Обобщение работ отечественных авторов      
Обобщение работ зарубежных авторов      
Личное знакомство с состоянием дел за рубежом      
Интуиция      

 

Предположим, что эксперт оценил степень своего знакомства с проблемой в 0,7. А источники своей компетенции он определил следующим образом (см. табл. 16).

Таблица 16

Оценка экспертом источников своей компетенции

Источник аргумента Степень влияния источника на компетентность
Высокая Средняя Низкая
Проведенное исследование +    
Производственный опыт   +  
Обобщение работ отечественных авторов     +
Обобщение работ зарубежных авторов     +
Личное знакомство с состоянием дел за рубежом   +  
Интуиция +    

 

Чтобы перевести приведенные в таблице оценки в количественные, используется следующий шаблон (см. табл. 17).

 

Таблица 17

Таблица определения коэффициента аргументации

Источник аргумента Степень влияния источника на компетентность
Высокая Средняя Низкая
Проведенное исследование 0,3 0,2 0,1
Производственный опыт 0,5 0,4 0,3
Обобщение работ отечественных авторов 0,05 0,04 0,03
Обобщение работ зарубежных авторов 0,05 0,04 0,03
Личное знакомство с состоянием дел за рубежом 0,05 0,04 0,03
Интуиция 0,05 0,04 0,03

 

Таким образом коэффициент аргументации эксперта будет равен:

Ка = 0,3 + 0,4 + 0,03 + 0,03 + 0,04 + 0,05 = 0,85

Теперь можно определить коэффициент компетенции эксперта: Кк = (Кз + Ка) / 2 = (0,7 + 0,85) / 2 = 0,75

 

Групповая оценка предполагает формирование экспертной группы из числа экспертов, знающих друг друга по публикациям и может быть лично.

Предположим, что группа экспертов состоит из 10 человек. Они должны выбрать 5 самых компетентных, по их мнению. В таблице 18 представлена матрица взаимных оценок экспертов. Эксперты отмечают самых квалифицированных экспертов, проставляя, как в данном случае, число 1.


 

Таблица 18

Первая матрица взаимных оценок экспертов

Эксперт, которого назвали другие эксперты Эксперт, который назвал других экспертов Первая оценка: сколько раз назван Какое место занимает эксперт
Х         4, 5, 6, 7
Х   1, 2
  Х             9, 10
  Х       4, 5, 6, 7
Х    
      Х   4, 5, 6, 7
Х   1, 2
            Х   9, 10
      Х   4, 5, 6, 7
            Х
Итого  

 

Затем строится вторая матрица, в которой выбор соответствующих экспертов заменяется количеством его выборов другими экспертами. То есть оценки каждого эксперта заменяются его условной квалификацией, весомостью его выбора (см. табл. 19).

 

Таблица 19

Вторая матрица взаимных оценок экспертов

Эксперт, которого назвали другие эксперты Эксперт, который назвал других экспертов Вторая оценка Какое место занимает эксперт
         
   
               
         
     
         
   
               
         
             

 

Теперь становится понятно, каков уровень квалификации экспертов, определенной вполне объективным образом. Далее можно исключить из числа экспертов тех, кто оказался менее квалифицированными, или учесть весомость их суждений.

2. Определение вида экспертной оценки.

К основным видам экспертной оценки чаще всего относят следующие:

a) Метод «круглого стола» (дискуссия)

b) Метод «мозгового штурма»

c) Метод интервью (беседы)

d) Метод независимых суждений (анкетирование без обратной связи)

e) Метод «Дельфи» (анкетирование с обратной связью)

Рассмотрим их более подробно.

 

Метод «круглого стола» (дискуссия)

Этот метод считается целесообразным проводить на первом этапе изучения проблемы для выявления факторов и путей ее решения. К достоинствам метода круглого стола относят следующие:

· возможность ведущего управлять процессом обсуждения

· стимулирование активности экспертов при открытом столкновении различных точек зрения

Но у этого метода есть и недостатки. Основные из них следующие:

· опасность конформизма экспертов

· возможность давления на экспертов наиболее авторитетных или красноречивых участников

· опасность того, группа экспертов в своих выводах будет руководствоваться логикой компромисса, а не логикой анализа проблемы

· возможность навязывания ведущим своей точки зрения

Чтобы снизить вероятность проявления перечисленных недостатков, необходимо тщательно подбирать состав экспертов, в особенности того, который будет вести дискуссию. Кроме того, при подготовке и проведении экспертизы необходимо учитывать факторы, влияющие на эффективность групповой работы.

 

Метод «мозгового штурма»

Это довольно хорошо известный метод коллективного творчества. Главной его особенностью является поощрение участников вносить самые разные предложения по обсуждаемой проблеме, включая совершенно невероятные и даже абсурдные с первого взгляда, и запрет негативной критики высказываемых идей. Все высказанные предложения фиксируются, а затем проводится их анализ. В результате часто высказанные идеи преобразуются в весьма эффективное решение. Результативность использования этого метода зависит от подготовки проведения мозгового штурма. Необходимо отобрать участников, наиболее способных к выдвижению идей, подобрать подходящую кандидатуру ведущего, заранее придумать и предложить для начала какие-то альтернативы.

 

Метод интервью (беседы)

Еще один метод, широко используемый в самых разных ситуациях, в том числе и при проведении исследований. В качестве экспертов в этом случае выступают работники организации, инициатором беседы является внутренний или внешний консультант. Вот какие рекомендации помогут получить наиболее точную информацию:

1. Необходимо иметь план проведения бесед. Имеется ввиду порядок проведения бесед с работниками различных подразделений организации. План должен быть построен таким образом, чтобы консультант в беседе с каждым следующим работником проявлял все большую компетентность в знании особенностей деятельности исследуемой организации.

2. Консультант должен заранее подготовить вопросники. Это совершенно необходимо, чтобы беседа была целенаправленной. Что не исключает отклонение от плана беседы в необходимых случаях.

3. Необходимо учитывать компетентность опрашиваемого. То есть не спрашивать главного бухгалтера об особенностях используемой технологии, а главного инженера – о кредитных линиях.

4. Следует стремиться проводить беседу на рабочем месте опрашиваемого. В этом случае он будет себя чувствовать наиболее комфортно, и это может расположить его к большей откровенности.

5. Не следует мешать собеседнику высказываться. В данном случае целесообразно применять так называемое «нерефлексивное слушание». То есть больше слушать, а не говорить.

6. Консультант не должен давать негативные оценки, тем более спорить. Его главная задача - получить максимум необходимых сведений, а их анализ следует проводить за пределами беседы.

Представляют интерес некоторые советы известной консалтинговой фирмы McKinsey для проведения успешного интервью:

1. Добейтесь того, чтобы начальник вашего собеседника организовал встречу. Понятно, что в этом случае подчиненный будет более обязательным, и это положительно скажется на результатах беседы.

2. Проводите интервью парами. Опыт компании показал, что в этом случае один консультант сосредотачивается на записи информации, и она оказывается более полной и точной. А другой консультант ведет беседу.

3. Слушайте, а не командуйте. Беседа со стороны консультанта не должна напоминать допрос с пристрастием.

4. Перефразируйте, перефразируйте, перефразируйте. То есть уточняйте, уточняйте, уточняйте. Чтобы информация была полностью адекватна.

5. Не задавайте слишком много вопросов. Не следует утомлять людей, ведь они находятся на работе. Кроме того консультанту может понадобиться еще одна встреча. Поэтому лучше, если от предыдущей беседы у человека не останется неприятных воспоминаний.

6. Применяйте тактику Коломбо. Этот герой американского сериала при расследовании преступлений практически сразу же выходил на преступника. И чтобы застать его врасплох, он делал вид, что удовлетворен ответами на вопросы и уходил. Преступник расслаблялся, а Коломбо внезапно возвращался и неожиданно задавал какой-нибудь каверзный вопрос. Консультанты McKinsey также иногда прибегают к такому приему. Главным образом тогда, когда собеседник явно пытается что-то скрыть.

 

Метод независимых суждений (анкетирование без обратной связи)

Отобранные эксперты получают разработанный вопросник и отвечают на вопросы. После чего ответы обрабатываются тем или иным образом. При этом может учитываться квалификация экспертов.

 

Метод «Дельфи» (анкетирование с обратной связью)

У этого метода, в отличие от предыдущего, есть две основные особенности. Во-первых, анкетирование проводится в несколько «туров». (В предыдущем методе – в один). Во-вторых, после каждого тура экспертов знакомят с ответами других участников экспертизы. (В предыдущем методе это не предусмотрено). Таким образом, эксперты получают анкеты, отвечают на вопросы и сдают результаты в группу управления. Все как в методе независимых суждений. Но затем ответы экспертов объединяются в один документ, который раздается всем экспертам. Они анализируют ответы своих коллег и должны снова высказать свои суждения. При этом они могут оставить в силе свои суждения или изменить их. В любом случае они должны аргументировать свои суждения. То есть объяснить, почему они изменили или сохранили прежними свои суждения. Процедура повторяется. Ответы вновь объединяются и раздаются экспертам. Снова экспертов просят высказать свои суждения с учетом суждений других экспертов. Та к продолжается до тех пор, пока эксперты практически не будут менять своих суждений. Метод Дельфи позволяет экспертам более критически отнестись к своим суждениям и сделать их максимально обоснованными с учетом мнений других экспертов.

3. Подготовка и проведение экспертизы. Она заключается в формировании группы управления, которая:

· формирует состав экспертов

· осуществляет выбор метода проведения экспертизы

· готовит анкеты и методы обработки результатов

· осуществляет выводы по результатам экспертизы и оформляет необходимые документы

4. Статистическая или аналитическая обработка результатов экспертизы. Если вопросы в анкетах предполагали количественные оценки, то для обработки результатов могут использоваться статистические методы. Открытые вопросы, предполагающие высказывание более сложных суждений, требуют применения аналитических методов обработки полученных данных. При этом в число группы управления могут включаться наиболее квалифицированные эксперты.