Обсуждение результатов первой серии экспериментов
Результаты экспериментов
Данные о среднем количестве ошибок, допускаемых испытуемыми при выполнении 100 классификаций в каждом из экспериментов, представлены в табл. 7.1.
Как видно из таблицы, среднее число ошибок зависит от сложности задачи классификации. Можно определить зависимость количества ошибок от параметров Р, N и W . Это позволило получить следующий результат: число ошибок (число замен) при фиксированных N и W существенно зависит от числа классов решений Р.
Среднее время, затрачиваемое испытуемыми на вынесение одного суждения о принадлежности объекта к тому или иному классу, составляло 14 с. Дополнительный анализ качества выполнения классификации, проведенный для каждого испытуемого в соответствии с критериями, позволил вынести суждение, справился ли испытуемый с заданием. Например, в эксперименте 9, при N=4 (число критериев), Wi =4, i =1,...,4 (число оценок на порядковых шкалах), Р=2 (число классов решений), 67% испытуемых справились с задачей (среднее число ошибок равнялось 3). В эксперименте 7, при тех же N=4 и W =4, но уже при Р=4, не справились с задачей 90% испытуемых, причем наблюдалось резкое увеличение числа противоречий и ошибок (среднее число замен равнялось 8,8).
Были найдены такие значения N , W , Р, что при увеличении одного из этих параметров значительная часть испытуемых переставала справляться с задачей. Было условно определено, что если как минимум треть испытуемых из группы, состоявшей обычно из 10-15 человек, успешно справляется с задачей, то задача классификации данной сложности находится в пределах возможностей человека.
Таблица 7.1 Результаты экспериментов по решению задачи классификации многомерных объектов
Номер эксперимента | Количество испытуемых | Размерность задачи | Среднее число допущенных ошибок | Процент испытуемых, справившихся с задачей | ||||
N | W | P | Q | |||||
9,5 | Первая серия экспериментов | |||||||
6,5 | ||||||||
3* | 6,5 | |||||||
9,7 | ||||||||
5* | 5,8 | |||||||
6* | 5,0 | |||||||
8,8 | ||||||||
6,2 | ||||||||
9* | ||||||||
8,8 | ||||||||
12* | 5,1 | |||||||
9,8 | ||||||||
14* | 3,5 | |||||||
15* | 3,3 | Вторая серия экспериментов | ||||||
1,3 | ||||||||
Примечание: N-число критериев; W-число градаций на шкалах их оценок; P-число классов; Q-число классифицируемых объектов; *-сложность данной задачи находится в пределах возможностей человека |
Результаты экспериментов подтвердили гипотезу о существовании пределов возможностей испытуемых в задачах многокритериальной классификации. Полученные результаты показывают, что при определенных значениях параметров происходит резкое увеличение числа противоречий и замен. Испытуемые перестают справляться с задачей, и по их ответам невозможно установить границы между классами.
В чем же причина такого явления? Для ответа на этот вопрос был проведен специальный анализ. Как уже отмечалось, результаты работы испытуемых могут быть представлены в виде элементов границ между классами. Эти элементы показывают, что все альтернативы, доминирующие над ними, относятся к более высоким классам, а доминируемые ими - к более низким. После приведения ответов испытуемых к непротиворечивому виду по алгоритмам, предложенным в [17], можно легко определить границы между классами. Эти границы характеризуются как количеством элементов границы, так и их сложностью. Проведенный содержательный анализ элементов границ, а также сопоставление его результатов с результатами анализа письменных протоколов показали, что элементы границы не являются независимыми. Обычно совокупность нескольких элементов границ отражает более общее правило, которое имеет для испытуемых четкое смысловое содержание. Такие правила могут быть определены путем группировки элементов границ по их близости (по содержанию одинаковых оценок). Эти правила достаточно просты для запоминания. Для примера приведем одно из правил, использовавшихся студентами: если квартира расположена в промышленном районе и одновременно дорогая, то она не подходит (третий класс) независимо от планировки.
Совокупность такого рода правил отражается в элементах границ между классами, объединяя их в структурные единицы информации. Стратегии, использовавшиеся испытуемыми, можно представить как совокупность таких правил. Для двух экспериментов (эксперименты 4 и 13), в которых испытуемые не справились с задачей классификации, и для двух экспериментов (эксперименты 6 и 14), в которых испытуемые справились с нею, для каждого испытуемого были выделены правила, используемые ими при классификации в виде структурных единиц информации, объединяющих элементы границ между классами. При анализе оказалось, что в случаях, когда испытуемые справлялись с задачей, количество используемых испытуемыми правил не превышало восьми. В случаях, когда испытуемые не справлялись с задачей, анализ позволил выявить существование большего числа правил. Усредненное для групп испытуемых количество правил, используемых для классификации в экспериментах 4 и 13, составляло 12, а в экспериментах 6 и 14 равнялось 5. Наиболее вероятное объяснение этих данных состоит в следующем. При решении очередной задачи отнесения альтернативы к тому или иному классу испытуемый вынужден помещать в кратковременную память все правила, представляющие собой как бы структурные единицы информации, которыми он оперирует. Как известно, объем кратковременной памяти ограничен.
В случае, когда испытуемые использовали при классификации не более девяти правил (структурных единиц информации), они справлялись с задачей. При попытке воспользоваться большим числом структурных единиц информации оказалось, что часть из них отсутствовала в кратковременной памяти в моменты принятия решений, что и приводило к резкому увеличению числа ошибок и противоречий.
Полученные в работе данные о среднем времени, затрачиваемом на вынесение суждения о принадлежности объекта к какому-либо классу, косвенным образом подтверждают это предположение. Среднее время на выполнение одной классификации в первой серии экспериментов составляет 14 с. А поскольку время, требуемое для фиксации информации в долговременной памяти, согласно данным [12], составляет порядка 5 с, то можно сделать вывод, что в процессе классификации нет активного обмена информацией между структурами долговременной и кратковременной памяти. Данные работы [2] свидетельствуют о том, что время выполнения одной операции в КП занимает около 100 мс. Несопоставимость этого времени с временем, требуемым для обращения к долговременной памяти, вынуждает систему переработки информации в КП минимизировать связи с долговременной памятью, замедляющие на два- три порядка скорость переработки информации.