Описание экспериментов

Параметры, используемые для оценки поведения испытуемых в задачах классификации

Схема экспериментов

Исследование возможностей человека в задачах классификации многомерных объектов

В ряде экспериментов была показана непосредственная связь человеческого поведения с организацией человеческой системы переработки информации [16, 17]. Объектом исследо­вания являлись широко распространенные на практике задачи классификации многомерных ситуаций. Например, с такими задачами сталкивается руководитель программы проведения научных исследований и разработок, принимая решения о включении в программу тех или иных проектов.

С этими же задачами сталкиваются и инженер, устанавли­вающий характер неисправности в сложной технической систе­ме, и покупатель в магазине, разделяя интересующие его това­ры на два класса — заслуживающие или не заслуживающие дальнейшего рассмотрения. Во всех этих примерах человек ре­шает задачу отнесения объекта, имеющего совокупность харак­теристик (оценки по многим критериям), к одному из несколь­ких классов решений. Иначе говоря, человек осуществляет многомерную классификацию.

При проведении экспериментов с различными группами людей (студентами, старшеклассниками, сотрудниками НИИ) предполагалось, что сложность задачи экспертной классифика­ции зависит от следующих параметров задач: числа критериев, числа оценок на их шкалах, числа классов решений. Была вы­двинута гипотеза, что поведение людей может измениться при

определенном увеличении того или иного параметра задачи. Сложность задачи классификации в каждом из экспериментов определялась тремя следующими параметрами: числом крите­риев (признаков, характеристик) N , описывающих оценивае­мые объекты; числом оценок W i ( i = l , ..., n ) на порядковых шкалах этих критериев (оценки упорядочены от лучшей к худшей); числом классов решений Р, к которым следует отне­сти рассматриваемые объекты. Все возможные сочетания оце­нок по разным критериям определяют полное множество воз­можных описаний объектов. В каждом из экспериментов испы­туемому предлагалось оценить все возможные объекты, отнеся каждый из них к одному из заданных классов решений.

Как пример рассмотрим одну из задач, решавшихся студен­тами. В качеств е объектов классификации выступали описания арендуемых квартир — объектов, хорошо знакомых испытуе­мым. В качестве критериев оценки объектов предлагались:

• размеры подсобных помещений и кухни;

• расположение комнат;

• район, где находится квартира;

• экологическая обстановка в районе;

• стоимость.

Для каждого из критериев была разработана шкала из трех словесных оценок, упорядоченных по качеству от первой к третьей. Так, для первого критерия использовалась следующая шкала оценок:

• подсобные помещения и кухня большой площади;

• подсобные помещения и кухня малой площади;

• кухня малой площади, подсобные помещения отсутствуют. Итак, в данном случае N=5 и Wi =3. Нетрудно убедиться, что сочетания различных оценок по критериям задают полное множество возможных объектов. В данном случае количество этих объектов Q =3 5 =243. Описание 243 гипотетических квар­тир в случайном порядке предъявлялось испытуемому. Его за­дача состояла в отнесении каждого сочетания к одному из сле­дующих классов решений:

• квартира хорошая и полностью вас удовлетворяет;

• квартира удовлетворительная, хотя и имеет ряд недос­татков;

• квартира вам не подходит.

Отнесение какого-либо объекта к некоторому классу в усло­виях упорядоченности классов решений (первый класс лучше второго и т.д.) и порядковых шкал оценок критериев наклады­вает определенные ограничения на отношения между объекта­ми. Так, объекты, доминирующие по критериальным оценкам над данным объектом, не могут быть отнесены к классу, худ­шему, чем класс данного объекта. С другой стороны, объекты, над которыми он доминирует, не могут быть отнесены к клас­су, лучшему, чем класс данного объекта. Нарушение этих ог­раничений считалось ошибкой, допускаемой испытуемым при классификации.

Поведение испытуемых оценивалось по трем параметрам, смысл которых следует объяснить более подробно.

1. Число противоречий.Задача испытуемых состояла в раз­делении объектов (сочетаний оценок по критериям) на упорядо­ченные классы. На рис. 7.1,а приведен крайне простой вариант этой задачи - разделение на два класса (первый класс лучше второго) сочетаний оценок по двум критериям: А и В (первые оценки - лучшие; оценки на шкалах упорядочены по качеству). На рис. 7.1,а представлено гипотетическое разделение на два класса (пустые клетки — первый класс, заштрихованные — вто­рой класс). Очевидно, что оценка клетки А2В2 противоречит оценкам клеток A 2 B 3, А3В2, A 4 B 2 и А3В3. Следовательно, в дан­ной классификации на рис. 7.1,а имеются четыре противоречия.

2. Число замен (ошибок).Наряду с числом противоречий информативным является и другой показатель - число измене­ний в ответах испытуемого, которые делают классификацию непротиворечивой. Так, в классификации, представленной на рис. 7.1,а, нужно только одно изменение — назначение другого (первого) класса для сочетания А2В2. Эта замена делает клас­сификацию непротиворечивой. Число замен характеризует чис­ло ошибок, совершенных испытуемыми при классификации.

3. Сложность границ между классами.Этот критерий, предложенный нами ранее [19], оценивает сложность правил, используемых при классификации. Так, граница между клас­сами на рис. 7.1,6очень проста, поскольку испытуемый фактически заменил критерии на ограничения. Его решающее прави­ло в данном случае очень просто: к первому классу относятся сочетания, имеющие оценки лучшие, чем a 5 и лучше, чем B 4 .

Граница между классами на рис. 7.1,а значительно слож­нее. Легко убедиться, что она описывается пятью сочетаниями оценок по двум критериям. Замена критерия на ограничения может происходить по двум причинам.

Рис.7.1. Сложное (в) и простое (б) разделение на два класса сочетаний оценок по двум критериям: А и В

Во-первых, среди испытуемых могут быть люди, которые рассматривают исходную задачу не как многокритериальную, а как более простую — однокритериальную с ограничениями по другим критериям (недаром А. Тверский [8] и Д. Рассо [11] предварительно отбирали испытуемых, использующих все кри­терии).

Во-вторых, как мы увидим далее, один и тот же человек может перейти к использованию ограничений вместо критериев при усложнении задачи. Известно, что стратегия последова­тельного введения ограничений вместо критериев («исключе­ние по аспектам») в когнитивном отношении крайне проста.

В соответствии с вышеописанными критериями был уста­новлен уровень требований к качеству выполнения задания, в соответствии с которым выносилось суждение о том, справился ли испытуемый с задачей классификации. Известно, что, вы­полняя те или иные операции по переработке информации, человек может ошибаться. Однако ошибка ошибке рознь. Как показано на рис. 7.1,а, ошибки, совершаемые вдали от границ, влекут за собой большое число противоречий. Эти ошибки, как правило, очевидны. Они не мешают установить границы между классами решений. Иначе обстоит дело с ошибками, совершае­мыми у самой границы. Так, если испытуемый отнес ко второ­му классу клетку А2В3 на рис. 7.1,а, то имеется лишь одно противоречие (принадлежность клетки А3В3 к первому классу), и вопрос ставится следующим образом: отнести клетку А2В3 к первому классу или клетку А3В3 ко второму классу. Следова­тельно, ошибки около границы и на самой границе особенно опасны тем, что они меняют границу между классами, и при большом числе таких ошибок невозможно установить четкие границы между классами решений.

В связи с этим в качестве значения первого критерия, оп­ределяющего, справился ли испытуемый с задачей, было при­нято число ошибок, совершаемое около границы - на единич­ном расстоянии от границы (изменение на одну оценку по лю­бому критерию переводит сочетание в элемент границы). Было принято, что испытуемый справляется с задачей лишь в том случае, когда число таких ошибок у границ между классами не превышает двух. В качестве второго критерия, определяющего, справился ли испытуемый с задачей классификации, была вы­брана сложность границы, отражающая сложность решающих правил, используемых испытуемыми. А именно: требовалось, чтобы среди граничных элементов между классами были хотя бы один-два элемента, представляющих сочетания оценок кри­териев. Иначе говоря, считалось, что если испытуемый перевел все критерии в ограничения и превратил задачу в «исключение по аспектам», то он не справился с задачей. Действительно, в последнем случае задача многокритериальной классификации просто исчезает.

Следует разделить эксперименты на две группы: 1) эксперименты, проводимые с людьми, не имевшими большой практики в принятии решений (студенты, школьни­ки - первая серия экспериментов),

2) эксперименты, где в качестве испытуемых выступали профессионалы, решающие реальные практические задачи (вторая серия экспериментов).

Для первой группы испытуемых имелись широкие возмож­ности варьировать параметры задачи классификации и условия эксперимента. Студенты (эксперименты с 1-го по 12-й) класси­фицировали арендуемые квартиры, решая, насколько предла­гаемые варианты удовлетворяют их, а школьники (эксперимен­ты 13 и 14) - высшие учебные заведения, определяя насколько они подходят им для поступления после окончания школы. Для второй группы испытуемых возможности варьирования пара­метров задачи почти отсутствовали, и схема эксперимента соот­ветствовала реальной задаче. В экспериментах второй серии уча­ствовали члены редакционного совета научно-исследовательско­го института, оценивая качество предлагаемых к опубликова­нию препринтов (эксперименты 15 и 16).