Формирование экспертной группы
Этапы проведения экспертизы
Анализ результатов оценки объектов
Агрегирование критериев
Агрегирование критериев по дереву производится с использованием операторов агрегирования. В качестве таких операторов могут выступать функции или процедуры в частности аддитивная и мультипликативная функции полезности.
После агрегирования следует, просмотрев значения комплексных и интегрального критериев, провести содержатель ный анализ результатов.
Интерпретация результатов. Как указывалось ранее, все комплексные и интегральный критерии измеряются в относи тельных единицах в интервале от 0 до 1. Чем больше значениетого или иного критерия, тем предпочтительнее вариант по данному критерию. Обобщенная эффективность вариантов в относительных единицах отражается в интеграль номкритерии.
На практике значения обобщенной эффективности могут быть близки или даже одинаковы для нескольких рассматрива емых вариантов. Для принятия обоснованного решения по выбору варианта следует провести анализ устойчивости результатов.
Анализ устойчивости результатов.Как следует из предыдущих пунктов данного раздела, значения комплексных и интегрального критериев вычисляются на основе:
– параметров функций перевода;
– весов показателей;
Поэтому для анализа устойчивости результатов следует, изменяя исходные данные, проверить, сохраняется ли порядок предпочтения объектов.
Следует подчеркнуть, что решение многокритериальной задачи по многоуровневой системе критериев является итераци онной процедурой, т.е. после расчета комплексных критериев может возникнуть необходимость дополнить структуру критери ев новыми или исключить из нее некоторые критерии, изменить функции перевода, операторы агрегирования.
Проведение экспертизы включает три этапа:
1. Формирование экспертной группы;
2. Проведение опро са;
3. Обработка результатов опроса, их анализ.
Остановимся на каждом из этих этапов.
Этот этап является одним из наиболее важных и ответственных в проведении экспертизы. От качества подбора экспертов во многом зави сит успех экспертизы. На этом этапе решаются два вопроса:
1) сколько экспертов привлечь к экспертизе?
2) каково качество экспертов?
Необ ходимое число экспертов определяется несколькими факторами, основ ными из которых являются следующие.
Требуемая достоверность результатов экспертизы. Чем больше экспертная группа, тем более достоверные могут быть получены резуль таты.
Вторым фактором, определяющим количество экспертов, является наличие ресурсов (времени, затрат) на проведение экспертизы. Чем боль ше экспертная группа, тем больше времени затрачивается на подбор и на опрос экспертов.
Наконец, количество экспертов зависит и от их качества. Если имеется несколько высококвалифицированных экспертов (а может быть и только один), то не имеет смысла значительно увеличивать экспертную группу.
С учетом вышесказанного экспертная группа должна включать от 5 до 15 человек.
Качество экспертов также определяется несколькими факторами. В первую очередь, конечно, их компетентностью по рассматриваемой про блеме. Оценки компетентности экспертов желательно иметь с тем, чтобы в разной степени учитывать личные оценки экспертов при определении групповых оценок объектов.
Ниже приводятся подходы к оценке компетентности экспертов.
Во-первых, организаторы экспертизы могут на основе прошлого опыта участия эксперта в различных экспертизах давать оценку его компетент ности.
Другим методом оценки компетентности экспертов является их те стирование. Для этого разрабатывается специальная тест-анкета. Отвечая на вопросы теста, эксперт должен показать свои знания объекта исследо вания, аналитические способности. В неко торых случаях можно предложить экспертам произвести самооценку компетентности по некоторой шкале, например, от 2 до 5.
В тех случаях, когда эксперты знакомы с деятельностью друг друга, знают уровень компетентности друг друга, можно использовать метод вза имной оценки компетентности. По данным взаимной оценки компетентности экспертов можно вы явить конфронтацию между экспертами, коалиции экспертов. Если такая конфронтация имеет место, то это исказит действительную компетент ность экспертов. Поэтому в этих случаях метод взаимной оценки компе тентности использовать не целесообразно.
Перечисленные выше методы оценки компетентности являются "внешними" по отношению к проводимой экспертизе, т.е. результаты оцен ки компетентности являются входной инфор мацией для обработки результатов экспертного опроса в данной экспертизе.
Но можно осуществлять оценку компетентности экспертов и по его опенкам объектов в данной экспертизе. Суть такого подхода заключается в том, что эксперты, которые дали противоречивые оценки объектов, по лучают низкие оценки своей компетентности и, соответственно, их оценки в меньшей степени учитываются при определении групповых оценок. Или же оценки эксперта близки к групповым, то компетентность такого эк сперта принимается выше, чем эксперта, оценки которого сильно отличают ся от групповых оценок.