Выявление и измерение предпочтений методами экспертного оценивания

Методы экспертного оценивания ис­пользуют во всех случаях, когда оцени­ваемые объекты или их характери­стики субъективны и поэтому получить требуемые данные о них путем объек­тивных измерений невозможно (на­пример, с помощью измерительных приборов, действие которых основано на использовании физических зако­нов). Под методом экспертного оцени­вания обычно понимают комплекс ло­гических и математических процедур, направленных на получение от специ­алистов-экспертов информации, ее анализ и обобщение с целью выбора ра­циональных решений.

Идея экспертного оценивания со­стоит в том, что для получения необ­ходимой новой информации из име­ющейся исходной формируется группа экспертов, которые проводят интуитив­но-логический анализ того или иного вопроса с целью вынесения качест­венного или количественного суждения по нему. Суждения экспертов опре­деленным образом обрабатываются с использованием соответствующего математического аппарата, в резуль­тате чего получают так называемые экспертные оценки. Эти оценки, по-прежнему, субъективны, и степень доверия к ним зависит от знаний, опыта и психологии экспертов.

При построении элементов модели проблемной ситуации и установлении отношений между ними все много­образие задач, решаемых экспертами, сводится к формированию объектов и (или) оценке характеристик. Форми­рование объектов включает формули­ровку целей, условий, ограничений, стратегий, показателей эффективности; определение признаков и показателей для описания свойств объектов и их взаимосвязей и т. п. При оценивании характеристик эксперты проводят «измерение» достоверности гипотез и событий, важности целей и показате­лей эффективности, приоритетов, пред­почтений и т. п.

Как следует из перечисленных выше задач, методы экспертного оценива­ния можно использовать в процессе исследования эффективности для полу­чения различных видов информации, включая информацию о предпочтениях. Вместе с тем при практическом исполь­зовании этих методов необходимо иметь в виду, что экспертная оценка — это не решение, а лишь полезная ин­формация, помогающая выработать обоснованное решение. Принимать ре­шение на основе своих предпочтений может только ЛПР, и оно несет за них ответственность. Эксперты несут от­ветственность только за свои рекомен­дации. В общем случае предпочтения экспертов могут не совпадать с предпо­чтениями ЛПР. Это помогает ему кри­тически осмыслить различные точки зрения, уточнить или изменить свои предпочтения и тем самым уменьшить возможность принятия ошибочных ре­шений. Поэтому при использовании экспертных методов для выявления и измерения предпочтений в роли эк­сперта должно выступать только лицо, принимающее решение (индивидуаль­ное или групповое). Следует также об­ратить внимание на существенное раз­личие между групповой экспертизой и коллективным принятием решения.

В зависимости от объема и качества исходной информации разработаны специальные методы как самой экспер­тизы, так и методы обработки эксперт­ной информации. Если исходная ин­формационная база недостаточна или задача является уникальной, то при­меняют методы индивидуального экс­пертного оценивания: интервью, ана­литических докладных записок, сце­нария.

Для ситуации с большим объемом информации обычно привлекают не одного, а нескольких специалистов и используют методы группового экс­пертного оценивания: анкетирования, комиссий, коллективной генерации идей, комплексные.

Метод интервью заключается в опро­се эксперта по заранее сформулиро­ванным вопросам, на которые эксперт дает ответы экспромтом.

Метод аналитических докладных за­писок предполагает длительную и тща­тельную самостоятельную работу эк­сперта над анализом тенденций раз­вития, оценкой текущего состояния и путей развития объекта исследования. Методом сценария устанавливается логическая последовательность собы­тий развития будущего состояния объ­екта исследования, исходя из сущест­вующей ситуации.

Методы интервью и аналитических докладных записок используют в за­дачах формирования исходного мно­жества стратегий, задачах анализа неопределенностей, а метод сценария — при определении цели и исходов опера­ции, выбора показателей и критериев эффективности.

Основные преимущества этих мето­дов состоят в их оперативности, воз­можности в полной мере использовать индивидуальные способности эксперта, отсутствии давления авторитетов, низких затрат на экспертизу. Главным недостатком этих методов является высокая степень субъективности полу­чаемых оценок из-за ограниченности знаний одного специалиста.

Методы группового экспертного оце­нивания основаны на принципе вы­явления коллективного мнения. Ос­новное преимущество этих методов над индивидуальными заключается в возможности разностороннего анализа проблемы. Кроме того, коллективная ответственность часто позволяет эк­спертам принимать более рискованные решения по поставленным перед ними вопросам, а оценки, полученные от группы, чаще содержат «искомую» оценку, чем при индивидуальной экс­пертизе. Это является весьма важным обстоятельством как в задаче анализа неопределенности, так и при форми­ровании исходного множества стра­тегий. Недостатками этих методов яв­ляются сложность самой процедуры получения информации, сложность по­лучения группового мнения экспертов из индивидуальных мнений, возмож­ность оказания давления авторитета в группе.

Указанные недостатки могут быть существенно ослаблены путем при­менения научной организации экспер­тизы.

При использовании метода анкети­рования опрос экспертов осуществля­ется анонимно и проводится в несколь­ко туров. Это позволяет каждому эк­сперту не идти на компромисс, до конца отстаивать свое собственное мнение или корректировать его без чьего-либо давления сверху.

Метод комиссий предполагает сво­бодное обсуждение проблемы между экспертами. Основной недостаток — стремление каждого эксперта к ком­промиссу.

Метод коллективной генерации идей основан на выдвижении большого чи­сла идей и предположений по решению поставленной проблемы. Процесс ге­нерации идей и их анализ полностью разделены. Обязательно фиксируются все высказанные идеи, запрещается какая-либо оценка выдвигаемых идей. Этот метод используют, как правило, в «тупиковых» ситуациях.

Поскольку при экспертизе специали­сты выносят суждения о предпочтитель­ности того или иного способа, указы­вают возможные сроки наступления некоторых событий либо формируют альтернативы и упорядочивают их в исходное множество, то в качестве основных элементов экспертного оце­нивания используются попарное сравнение, сортировка и ранжирова­ние, балльное оценивание и их моди­фикации. После получения информа­ции от экспертов в необходимой форме проводится ее анализ и обработка с целью выявления согласованности мнений отдельных экспертов и фор­мирование (если это необходимо) кол­лективного мнения. Эта задача реша­ется с помощью специальных процедур, позволяющих выявлять и учитывать компетентность экспертов (метод вы­явления компетентности экспертов, метод Дельфи, процедура формирова­ния группового мнения). Различные схемы сочетания ограниченного числа этих процедур позволяют решать ши­рокий класс задач различного целе­вого назначения.