Организация и проведение экспертизы

Под организацией экспертного оце­нивания понимается комплекс взаимо­связанных мероприятий, определяю­щих цель работы, условия и способы ее проведения, обеспечение процесса экспертного оценивания, права и обязанности привлекаемых лиц.

Задачу на проведение экспертного оценивания ставит ЛПР (заказчик). Задачу оформляют в виде руководя­щего документа — решения на прове­дение экспертного оценивания. Для подготовки решения и руководства всей дальнейшей работой назначают руководителя экспертизы, который оп­ределяет состав группы управления.

Условно можно выделить следующие основные этапы проведения эксперт­ного оценивания:

· формирование цели и задач оцени­вания;

· формирование группы управления и оформление решения на проведение оценивания;

· выбор метода получения экспертной информации и способа ее обработки;

· подбор экспертной группы и форми­рование при необходимости анкет опроса;

· опрос экспертов (экспертиза);

· обработка и анализ результатов экспертизы;

· интерпретация полученных резуль­татов;

· составление отчета.

Этап интерпретации полученных ре­зультатов необходим для организации обратной связи в процессе экспертного оценивания. Обратную связь с экс­пертами группа управления осущест­вляет либо методом Дельфи, либо методом совещаний с обсуждением ре­зультатов анонимных опросов. Взаи­мосвязь указанных этапов представ­лена на рис. 2.4.

Рис. 2.4. Взаимосвязь этапов экспертного оценивания

Этап формирования цели и задач экспертного оценивания является ос­новным, так как от него зависит на­дежность получаемого результата и его прагматическая ценность. Форми­рование цели и задач экспертного оценивания во многом определяется существом решаемой проблемы. Долж­ны быть учтены: надежность и полнота имеющейся исходной информации, тре­буемая форма представления резуль­татов (качественная или количест­венная), возможные области использо­вания полученной информации, сроки ее представления, наличие имеющихся ресурсов и возможность привлечения специалистов других отраслей знания.

На группу управления возлагается не только вся организационно-плано­вая работа по обеспечению благоприятных условий для эффективной твор­ческой деятельности экспертов, но и аналитическая работа по подбору эк­спертной группы, определению методов получения и обработки информации, составлению анкет опросов, содержа­тельной интерпретации получаемых результатов. Для решения этих задач необходимо включить в группу управ­ления высококвалифицированных ком­муникабельных специалистов как в области рассматриваемой проблемы, так и в других областях — матема­тики, психологии, социологии.

Экспертную группу обычно подби­рают в несколько этапов. Вначале ус­танавливают отрасли знаний, так или иначе связанные с рассматриваемой проблемой. Затем намечают список «потенциальных» экспертов, которые по своим профессиональным качест­вам компетентны в этих областях зна­ний. Такой предварительный отбор проводится на основе легкодоступной информации о профессиональной под­готовке кандидата — должность, уче­ное звание и степень, стаж практиче­ской деятельности, число публикаций, участие в других экспертизах. При этом желательно, чтобы кандидат в эк­спертную группу имел широкий об­щий кругозор и эрудицию. Сама груп­па не должна по возможности состоять из представителей одной отрасли или одной узкой специальности, что­бы исключить влияние ведомственных интересов на цели экспертизы и не сделать получаемые результаты тен­денциозными. Если предполагается использовать в экспертизе метод комис­сий или другой метод открытых опро­сов, то состав группы экспертов дол­жен быть однородным, чтобы исклю­чить «давление авторитетом». Первона­чально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, времен­ного и организационного характера. В окончательный список экспертной группы включают тех кандидатов, ко­торые являются наиболее компетент­ными.

Компетентность эксперта есть сте­пень его квалификации в определен­ной области знаний. Она определяется посредством анализа его профессио­нальной деятельности, широты круго­зора по перспективам развития рас­сматриваемой проблемы.

В зависимости от профессиональной подготовки эксперта (должность, уче­ное звание, степень) ему приписывают определенный балл. В табл. 2 в ка­честве примера приведена оценка про­фессиональных качеств эксперта, ра­ботающего в научно-исследователь­ской организации. Такая ин­формация позволяет предварительно отобрать и ранжировать кандидатов по их компетентности.

В практике экспертного оценивания широко используют оценку компетент­ности эксперта методами самооценки и взаимной оценки. В первом случае компетентность эксперта оценивают коэффициентом k (0 ≤ k ≤ 1), который определяют на основе суждений экс­перта о степени своей информативности по решаемой проблеме (коэффициент k_и) и степени аргументации своих мнений (коэффициент k_а): к = 0,5 {k_и + k_а).

Таблица 2. Оценки (в баллах) профессиональных качеств экспертов

Коэффициент информативности k_и по­лучают на основе самооценки эксперта по десятибалльной шкале, как

где Х_и — балл, выставленный экспер­том.

 

Таблица 3. Оценки коэффициента аргументации эксперта

Значение коэффициента k_a опреде­ляют следующим образом. Эксперту предъявляют таблицу 3 без цифр, в кото­рой он отмечает, какой источник им оценивается по соответствующим гра­дациям: В, С, Н. Группа управле­ния переводит отметки эксперта в шка­лу эталонной таблицы и вычисляет коэффициент k_a путем суммирования цифр, соответствующих позициям таблицы, отмеченным экспертом.

Другой метод заключается в вы­числении коэффициентов компетент­ности на основе матриц, составленных по результатам взаимной оценки экс­пертов. Каждый участник должен оце­нить объем и качество знаний других кандидатов по вопросам анкеты. При составлении анкет по этому методу необходимо заранее выявлять воз­можные цели экспертов, противоречащие целям экспертизы, то есть исключать те причины, которые могут побудить эксперта сознательно искажать оценки знаний других кандидатов. Использо­вать этот метод можно, если кандидаты знают друг друга по совместной дея­тельности.

Одной из эффективных модификаций метода взаимной оценки, которая поз­воляет не только оценить компетент­ность уже отобранных кандидатов, но и одновременно выявить возможно полное множество специалистов по рассматриваемой проблеме и сформи­ровать их список, является следующая процедура. Членам группы управле­ния предлагается высказать свое мне­ние о включении кандидатов в группу экспертов. Названных новых лиц про­сят, в свою очередь, сделать то же са­мое. Проведя несколько туров такого опроса, составляют удовлетворитель­ный по полноте список . кандидатов. По результатам опроса составляется матрица смежности, элементами кото­рой являются единицы или нули в за­висимости от того, высказался ли кандидат с номером (в пользу вклю­чения в группу кандидата с номером i или нет соответственно (i — номер строки матрицы смежности, j— номер столбца). После определения матрицы Z = ||z_ji||, i, j = 1, n вычисляют коэффициенты компетентности кандидатов γ₁ по следующему алгоритму.