Порядок формирования экспертной комиссии. Оценка согласованности мнений экспертов

Экспертную комиссию формируют следующим образом: организатор и специалист составляют список экспертов, учитывая их служебное положение, стаж работы, профессию, характер работы и т.д.

В экспертную комиссию должны включаться высококвалифицированные специалисты по оцениваемому объекту.

Число экспертов, входящих в комиссию, зависит от требуемой точности средних оценок, трудоемкости оценочных процедур, возможностей управления комиссией, но в группе должно быть не менее 7-12 человек. При необходимости повышения точности оценок качества состав экспертной комиссии может быть увеличен до 15-20 человек.

Для организационного оформления деятельности экспертной комиссии издается приказ (или распоряжение). В нем указываются цели проводимой работы, состав экспертной комиссии и ее руководитель, сроки заполнения экспертами анкет, срок окончания работы.

После образования экспертной комиссии весьма полезно их предварительное специальное обучение и совершенно необходим инструктаж.

На завершающем этапе формирования экспертной комиссии целесообразно провести тестирование, с решением тестовых задач, тождественных реальным, самооценку, взаимооценку экспертов и проверку согласованности мнений экспертов.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования по критерию Р.А.Фишера проверяется равноточность отсчетов, даваемых экспертами, если нужно, измеряется рассеяние отсчета у каждого члена экспертной комиссии и устанавливается компетентность и профессиональная пригодность экспертов.

Самооценка состоит в том, что каждый из них в строго ограниченное время отвечает на вопросы специально составленной анкеты, в результате чего быстро и просто проверяет свои профессиональные знания и деловые качества.

Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки редко ошибаются.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого, разумеется, необходим опыт совместной работы. При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертной комиссии.

На заключительном этапе подготовки экспертной комиссии согласованность мнений экспертов, включенных в ее состав, определяется по общему для всей комиссии показателю качества - коэффициенту конкордации.

В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от единицы (при полном единодушии) до нуля (при отсутствии согласованности).

Если согласованность мнений экспертов выше средней, то можно перейти к оценке качества объекта. При согласованности мнений ниже средней требуется дополнительный анализ. Причины низкой согласованности мнений экспертов могут быть субъективные и объективные. Субъективные: недостаточная информиро­ванность экспертов о показателе качества, коэффициент весомости которого определяется; нечеткое понимание поставленной задачи; арифметические ошибки экспертов и т.д. Объективные: приведенные показатели качества не однозначно сформулированы. Для выявления причины низкой согласованности экспертов проводится повторное определение коэффициентов весомости показателей качества с обсуждением и вновь определяется коэффициент конкордации. Если после повторной процедуры определения коэффициентов весомости степень согласованности мнений не улучшится, то можно применить один из следующих методов: обсуждение полученных значений коэффициентов весомости с обоснованием мнений экспертов; определение расхождения мнений отдельных экспертов (погрешности) от среднего арифметического и отстранение экспертов с большими расхождениями мнений от проведения экспертизы.