Оценка качества эксперта - априорная, апостериорная, тестирование

Оценка качества эксперта может быть:

1) априорной – если в ней не используется информация о его участии в других экспертизах (т.е. эксперт оценивается априорно, до того, как он был использован в качестве эксперта);

2) апостериорной – если она использует такую информацию (основана на ней) и

3) тестовой – в форме специального тестового испытания, направленного на выявление необходимых качеств эксперта.

 

К априорным методам оценки относятся:

1) самооценка эксперта. Она может осуществляться

а) с использованием балльной шкалы (например, 5-балльной);

б) с использованием других шкал. Например, если необходимо отнести себя к одной из двух групп - «теоретик» или «практик», - то речь идет о самооценке в номинальной шкале (шкале наименований), на которой задано только отношение тождества (либо объект относится к некоторой группе, либо нет). Если необходимо отнести себя к одной из групп: «начинающий исследователь», «исследователь, имеющий опыт работы в данной области», «исследователь с большим опытом работы», «углубленный специалист по исследованиям в данной области», - то речь идет об ординальной шкале (шкале порядков), на которой задано отношение «больше-меньше» («лучше-хуже»). Она может быть дополнена указанием некоторых числовых диапазонов, например, если специалист занимается данной областью исследований менее полугода, его считают начинающим, от полугода до 2 лет – имеющим опыт, от 2 до 5 лет – большой опыт, более 5 – углубленно знакомым с предметом. Более подробно типы шкал будут рассмотрены далее;

в) путем расчета интегральных (агрегированных) показателей самооценки по различным показателям (например, по уровню знакомства с различными источниками информации в определенной области специалист оценивает себя 5 баллами, а по уровню знакомства с исследуемой проблемой – 4-мя баллами по 5-балльной шкале; если веса этих показателей равны соответственно 0.8 и 0.2, то агрегированная оценка составит 5*0.8 + 4*0.2 = 4.8). Подробнее способ расчета агрегированных показателей был рассмотрен при изучении принципа оптимальности;

Недостатком всех методов самооценки является то, что такая оценка тесно связана с уровнем самокритичности, что затрудняет ее интерпретацию. Достоинством является простота получения такой оценки.

 

2) взаимная оценка экспертов. Здесь, в свою очередь, потенциальным членам экспертной группы могут быть предложены различные методы оценки друг друга – балльные оценки, сравнительные оценки, простое формирование списков и т.п. (подробнее рассматривается далее). Полученные от разных экспертов оценки подлежат дальнейшей обработке для получения отдельной оценки для каждого эксперта. Т.е. такая оценка, в свою очередь, является групповой экспертной оценкой, и встает проблема ее обработки для получения общей оценки (см. далее). Такая оценка предположительно является более объективной, чем самооценка, но

-процесс ее получения более сложен;

- кроме того, здесь также могут проявиться личностные и групповые симпатии и антипатии, что повлияет на объективность;

- и, наконец, различные эксперты по одному и тому же вопросу не обязательно хорошо знакомы с работами и возможностями друг друга. В современных условиях такое знакомство может быть лишь у специалистов, длительно работающих совместно. Однако их одновременное привлечение к экспертизе может быть не целесообразно, поскольку они слишком похожи друг на друга.

 

3) документационный метод (так называемый метод объективных оценок, или метод формальных показателей) – основан на использовании соответствующим образом заверенных документов, содержащих объективную информацию об эксперте (диплом, трудовая книжка и т.п.). Например, для вхождения в экспертную группу могут быть предъявлены следующие требования: стаж работы не менее трех лет (подтверждается выпиской из трудовой книжки), высшее образование (подтверждается дипломом), не менее 10 научных трудов (подтверждается списком, заверенным соответствующим лицом). Объективность оценки, полученной по данному методу, зависит от добросовестности и объективности суждений лиц, выдающих и заверяющих используемые документы, а также репутации соответствующих организаций (например, дипломы разных вузов объективно имеют различную ценность, стаж работы в различных организациях также неравноценен и т.п.). Рекомендуется использовать данный метод только как вспомогательный.

 

4) и прочие методы.

 

Рассмотрим в качестве расчетного примера взаимную оценку экспертов путем формирования списков. Предположим, что специалистами по некоторому вопросу, доступными для привлечения к экспертизе, являются 5 человек: Иванов, Петров, Сидоров, Кузнецов и Соколов. Ресурсы позволяют создать экспертную группу из трех человек, поэтому необходимо отобрать по качественным характеристикам троих из этих пятерых специалистов. Иванов считает лучшими специалистами в данной области Петрова, Сидорова и Кузнецова, Петров – Иванова, Сидорова и Кузнецова и т.д. (Соколов смог назвать только двух специалистов). Представим их мнения в виде матрицы, элементы которой обозначим x_ij:

 

 

	1. Иванов	2. Петров	3. Сидоров	4. Кузнецов	5. Соколов
1. Иванов	0
2. Петров
3. Сидоров
4. Кузнецов
5. Соколов

 

Между прочим, из построенной матрицы видно, что все специалисты, кроме Сидорова, по крайней мере, обладают значительной самокритичностью (по диагонали матрицы стоят четыре нуля, т.е. четверо специалистов не считают себя достойными войти в экспертную группу).

Подсчитаем коэффициенты компетентности следующим образом:

где К_j – коэффициент компетентности j –го специалиста;

m – число специалистов (в нашем случае m=5).

В знаменателе формулы находится общая сумма всех единиц в матрице, т.е. всех поданных голосов за различных экспертов, в примере она равна 15. В числителе – сумма голосов, поданных за данного эксперта (сумма единиц в соответствующем столбце). Таким образом, коэффициент компетентности эксперта будет определяться относительным числом голосов, поданных за него.

Отметим, что по способу расчета коэффициенты будут получены нормированными, т.е. , что будет использовано далее.

Тогда К₁ = К₂ = К₃ = 3/14 = 0,21; К₄ = 4/14 = 2/7 » 0,29; К₅ = 1/14 » 0,07.

К сожалению, полученные оценки не позволяют выбрать трех экспертов: наибольшую оценку имеет Кузнецов, вопрос же о том, кого лучше взять в качестве второго и третьего эксперта – Иванова, Петрова или Сидорова - остается открытым, так как их оценки одинаковы. Для решения этого вопроса, а так же корректировки оценок, используется следующий алгоритм. Будем называть подсчитанный коэффициент компетентности коэффициентом компетентности первого порядка. Коэффициенты компетентности более высоких порядков подсчитываются по следующей формуле:

где n – порядок коэффициента.

И эта формула позволяет получить нормированные коэффициенты (знаменатель у них одинаковый, а величины в числителе в сумме дают знаменатель).

Идея метода заключается в том, что коэффициенты компетентности более низкого порядка, полученные на предыдущих итерациях метода, используются в качестве весов при дальнейших расчетах, т.е. голоса специалистов, поданные друг за друга, принимаются во внимание уже с учетом их компетентности. Поскольку эти коэффициенты – нормированные, их можно использовать в качестве весов.

Теперь в числителе формулы находится взвешенная сумма голосов, поданных за j–го эксперта, а в знаменателе – взвешенная сумма всех голосов (сумма голосов, поданных каждым экспертом, взвешивается на коэффициент его компетентности предшествующего порядка).

Для коэффициентов второго порядка в нашем примере формула будет иметь вид:

где К_j¹= К_j.

Таким образом, в дальнейшем оценки, данные Кузнецовым, будут иметь больший вес, а данные Соколовым – наименьший.

Подсчитаем общий знаменатель для коэффициентов второго порядка:

(1 + 1 + 1) * 3/14 + (1 + 1 + 1) * 3/14 + (1 + 1 + 1) * 3/14 + (1 + 1 + 1) * 2/7 + (1 + 1) * 1/14 = 2 13/14 » 2,93

Теперь в числителе для первых трех специалистов уже не будут стоять одинаковые величины. Для Иванова в числителе получим: 0 * 3/14 + 1 * 3/14 + 0 * 3/14 + 1 * 2/7 + 1 * 1/14 = 3/14 + 2/7 + 1/14 = 4/7*. Тогда К₁² = (4/7) / (2 13/14) » 0,2. Аналогично К₂² = 0,24; К₃² = 0,22; К₄² = 0,24; К₅² = 0,1. Теперь три наиболее высокие оценки имеют Петров, Сидоров и Кузнецов.

В принципе, на этом можно было бы закончить процесс отбора экспертов. Тем не менее, поскольку оценки, полученные на втором этапе, значительно отличаются от полученных на предыдущем (первом этапе), процедуру повторяют, подсчитав коэффициенты третьего и более высоких порядков до тех пор, пока полученные оценки не перестанут изменяться. Это может быть существенно для большого количества экспертов, которые отличаются по своей квалификации, а также для последующего использования полученных весов. Как правило, сходимость процесса достигается достаточно быстро. В данном примере коэффициенты пятого порядка уже не отличаются от коэффициентов шестого порядка (с точностью до сотых), после чего их уже можно не пересчитывать. Коэффициенты компетентности пятого (и более высоких порядков) равны К₁⁵ = 0,2; К₂⁵ = 0,23; К₃⁵ = 0,23; К₄⁵ = 0,26; К₅⁵ = 0,09.

 

На этом же примере хочется еще раз подчеркнуть важность понимания места математических методов в процессе принятия решений. В данном случае для упрощения расчетов намеренно был приведен пример небольшой размерности. Благодаря этому он мог бы быть решен и интуитивно, либо с использованием приемов обыденной логики. В самом деле, бросается в глаза, что о Соколове, как о специалисте, вспомнил только один из его «коллег», поэтому его можно было бы сразу исключить из рассмотрения (хотя не следует забывать, что этим единственным был наиболее «авторитетный» Кузнецов). При сравнении Иванова, Петрова и Сидорова можно было бы сразу исключить Иванова из-за того, что один из поданных за него голосов был подан как раз Соколовым (хотя опять-таки, с другой стороны, сам факт, что единственным специалистом, кроме Кузнецова, о котором вспомнил Соколов, был Иванов, говорит все же в пользу Иванова). Таким образом, тривиальное решение, как и в большинстве простых задач, здесь совпадает с решением, найденным строгими математическими методами. Однако, если бы список специалистов включал хотя бы сто лиц, из которых нужно было бы отобрать 10 или 15, найти решение интуитивным путем было бы значительно сложнее, и необходимость использования специального математического аппарата стала бы очевидной (естественно, расчеты в такой ситуации выполняются не вручную, а с использованием электронно-вычислительной техники). Кроме того, даже при небольшой размерности задачи, если такие задачи встают перед исследователем часто и в большом количестве, при использовании тривиальных решений велик риск совершить ошибку, не учесть некоторые факторы, влияющие на решение. Использование математических методов страхует исследователя от таких ошибок.

Кроме того, проведенное исследование имеет полезный побочный результат, - полученные оценки можно в дальнейшем нормировать и использовать в качестве весов индивидуальных оценок при формировании групповой оценки. Веса отобранных в группу экспертов равны 0,23; 0,23 и 0,26, их сумма составляет 0,72. Соответственно, нормированные оценки экспертов Петрова и Сидорова составят 0,23/0,72 » 0,32, а Кузнецова 0,26/0,72 » 0,36 (0,32 + 0,32 + 0,36 = 1).

В качестве варианта этого метода можно рассмотреть случай, когда эксперты не просто формируют списка (дают друг другу оценки 0 или 1), а оценивают компетентность друг друга в балльной шкале. При этом можно использовать тот же самый алгоритм расчетов для вычисления коэффициентов компетентности.

 

Апостериорная оценка эксперта может быть основана на:

1) количестве выявленных нелогичностей и противоречий в предшествующих суждениях специалиста (трудность использования такого подхода основана на сложности подсчета количества противоречий);

2) оценке отклонений индивидуального мнения специалиста от результирующей групповой оценки по сравнению с максимально возможными отклонениями (позволяет определить, не является ли данный специалист сторонником крайних позиций, и в какой мере);

3) подсчете относительного числа выданных экспертом правильных рекомендаций по сравнению с общим числом проведенных им экспертиз (подразумевается проверка рекомендаций эксперта на практике).

 

Апостериорные оценки лучше всего использовать для таких экспертов, которые участвуют в длинных сериях однотипных экспертиз (метеорологов, дегустаторов, врачей, спортивных судей и т.п.). Их не рекомендуется использовать при уникальных экспертизах больших проектов, не имеющих аналогов.

 

ЛЕКЦИЯ 10

Например, если в среднем из 10 данных метеорологом прогнозов 9 оправдываются, коэффициент достоверности его суждений можно считать равным 9/10, или 90%. Такой специалист оценивается выше, чем специалист, у которого оправдываются менее 9 из 10 прогнозов, так как аналогичная оценка последнего будет меньше.

 

Наконец, для получения тестовых оценок необходима разработка программы тестового испытания. Чтобы такое испытание приводило к получению объективных оценок, к нему предъявляется ряд требований:

- во-первых, оно должно по своему содержанию быть направлено на конкретный объект экспертизы и охватывать его различные стороны;

- во-вторых, должна быть сведена к минимуму вероятность случайного угадывания экспертом правильных ответов;

- в-третьих, необходима разработка шкалы, в которой можно оценить качество эксперта в соответствии с данным тестом;

- в-четвертых, проверка результатов тестирования должна осуществляться таким образом, чтобы исключить влияние субъективного фактора на полученную оценку.

Например, в качестве метода получения тестовой оценки специалиста можно рассматривать экзамен. Тематика экзаменационных вопросов должна соответствовать дисциплине, по которой он проводится, и охватывать ее различные разделы. Формулировка вопросов (в том числе дополнительных) должна исключать случайное угадывание. Экзаменатор должен четко представлять себе шкалу оценок, например, оценка «отлично» соответствует отсутствию существенных ошибок и пробелов в знаниях, «хорошо» подразумевает не более двух таких ошибок и/или пробелов, более двух ошибок при наличии базовых знаний соответствуют оценке «удовлетворительно», отсутствие базовых знаний ведет к неудовлетворительной оценке.

Из приведенного примера видно, как сложно построить тестовое испытание, соответствующее всем названным требованиям. В самом деле, проверка знаний по всем разделам дисциплины заняла бы слишком много времени, поэтому она осуществляется выборочно, присутствует элемент случайности. Результатом может быть то, что, обладая значительными знаниями в данной области, специалист получает низкую оценку из-за пробела в знаниях по одному конкретному аспекту, или наоборот, высокие знания специалиста в единственном вопросе маскируют его невежество в остальных. Построение шкалы и ее интерпретация в значительной степени определяются субъективными взглядами лица, проводящего испытание (в самом деле, не всегда легко определить, какую ошибку считать существенной, а какую – нет).

Использование автоматического контроля тестовых испытаний также не всегда приносит желаемые плоды, так как, во-первых, многие моменты в них плохо поддаются алгоритмизации, а во-вторых, отсутствие личного контроля может приводить к недобросовестным методам прохождения теста, например, к привлечению к ответам на вопросы других специалистов.

В ряде случаев тесты могут служить для выявления источников аргументации экспертов, которыми могут быть:

- теоретические исследования;

- практический опыт;

- знакомство с литературой;

- участие в различных совещаниях и конференциях;

- интуиция

- и др.

 

Помимо названных видов оценок могут быть также использованы различного рода комбинированные оценки.

 

После того, как принято решение о количественном и качественном составе экспертов, и группа экспертов сформирована, переходят непосредственно к проведению опроса.