Спецификация будущего теста

Системная психологическая диагностика с помощью прибора «Активациометр» / под ред. Ю.А. Цагарелли, Р.Ф. Сулейманова. – Казань: Изд-во «Познание» Института экономики, управления и права, 2009. – 296 с. ISBN 978-5-8399-0315-9

Монография посвящена теории и практике системной психологической диагностики с помощью прибора «Активациометр», разработанного профессором Ю.А. Цагарелли. Представлены результаты аппаратурных психологических исследований: надежности в экстремальной ситуации у руководителей, представителей опасных профессий, спортсменов, водителей и пешеходов; результаты исследований учебного процесса и педагогической деятельности, а также методы и результаты диагностики воздействий (реабилитационных, биоэнергетических, музыкальных). Описана системная детекция лжи как новое направление теории и практики полиграфных проверок. Книга адресована преподавателям, аспирантам и студентам психологических факультетов вузов для углубленного изучения практических курсов, а также специалистам-исследователям в различных областях прикладной психологии.

Психометрические показатели диагностической методики: валидность, надежность, репрезентативность, достоверность. Стандартизация психодиагностической методики. Структура психодиагностической методики.

Разработка и стандартизация теста: основные положения

Основные этапы конструирования теста (по Л.Ф. Бурлачук).

1. Формулирование цели будущего теста(необходимо четко знать, для чего нужен тест).

2. Разработка спецификации будущего теста(наиболее удобно сделать это в виде таблицы, в которой по горизонтали будут располагаться содержатель­ные области,которые предполагается измерять, а по вертикали – их манифеста­ции,или пути, по которым содержательные области могут проявляться). Обычно по каждой оси разрабатывается от 4 до 7 категорий. Меньшее число категорий ведет к созданию слишком узко­го опросника, а большее может сделать процесс конструирова­ния опросника обременительным. При разработке опросников решетка размером от 16 до 25 ячеек (4x4, 4x5, 5x4 или 5x5) считается идеальной для той длины теста, который вполне реально сконструировать, предъявить и обработать.

Манифестации	Содержатель­ные области
А (25%)	А (40%)	В (40%)	С (10%)	D (10%)
В (25%)
С (25%)
D (25%)
Кол-во заданий

3. Определение количества заданий (вопросов), которое должно быть создано для каждой из ячеек. При этом следует учесть, насколько важным представляется исследователю измерение одного из параметров сравнительно с другим или другими. Каждой манифестации и каждой содержатель­ной области приписывается %-ный вес. Расположение процентных весов подскажет, какую часть от всех заданий следует создать для каждой ячейки. При решении вопроса о конечном количестве заданий в тесте необходимо учитывать как размер решетки, так и время, предполага­емое для выполнения заданий. В определении количества заданий возникает дилемма: 1) обеспечение надежности теста (требует увеличения заданий); 2) мини­мизация количества заданий для обеспечения эффективной работы испытуемого (поддержание концентрации внимания в ходе обследования). Для достижения удовлетворительной надежности опрос­ника требуется не менее 20 заданий, выполнение которых обычно занимает не более 10 минут. Важную роль в определении количества заданий теста играют особенности того контингента, который предполагается обследовать. В пилотажном исследовании количество зада­ний предварительного варианта теста должно быть по крайней мере на 50%боль­ше числа тех, которые будут включены в окончательную версию.

4. Разработка заданий.В каждом задании может быть задан толь­ко один вопрос или сформулировано одно утверждение. Нельзя допускать появ­ления заданий, в которых присутствуют формулировки типа: «для этого человека и других людей», «как и другие» и т.п. Каждое задание (вопрос) должны быть сформулированы предельно ясно и просто. Необходимо: 1) избегать двусмысленных формулировок и придерживаться, насколько это возможно, наиболее простых вариантов ответов; 2) стремиться, чтобы обследуе­мые не могли догадаться о том, для измерения какой черты предназначено то или иное задание. В противном случае ответы будут отражать их точку зрения на вы­раженность у себя этой черты, а не реальное положение дел. Задания должны отражать конкретные, а не общие аспекты изучаемой обла­сти поведения. Следует избегать употребления таких слов, как «часто», «редко» и т.п. То, что одним ис­пытуемым интерпретируется как «часто», для другого совсем не так. Следует избегать терминов, выражающих чувства, луч­ше представить задание в контексте поведения.

Важно, чтобы любой из предлагаемых вариантов ответа воспринимался испытуемым как возможный, вероятный. Ответ, воспринимаемый обследуемым как неправильный, будет иметь малую вероятность выбора.

После разработки всех заданий к ним следует вернуться через некоторое вре­мя и попытаться еще раз оценить их формулировки, еще раз убедиться в том, что все они легко понимаются и не содержат двусмысленностей. Для этого рекомен­дуется привлечь хотя бы двух-трех экспертов.

В личностных опросниках, как пра­вило, используют три типа заданий: дихотомические, трихотомические и задания с рейтинговыми шкалами. Задания с альтернативным выбо­ром (дихотомические) просты для понимания, легки и удобны для об­работки, требуют наименьшего времени для ответа. Недостато­ – обследуемые часто не удовлетворены предлагаемой альтер­нативой, хотели бы видеть больше вариантов ответа. Задания трихотомические(три варианта ответа, например «да», «не знаю», «нет») также распространены. Преимуществом – обследуемые могут более точ­но выразить себя, нежели в случае альтернативы. Недостаток – могут актуализироваться установ­ки на выбор крайних вариантов ответа и выбор среднего варианта, чаще всего это такие ответы, как «не знаю», «иногда» и т.п. В рейтинговых шкалах не рекомендуется использование более семи вариантов ответа.Важно обеспечить достаточное количество градаций ответа, чтобы обследуемые были в состояний адекватно выразить самих себя. В разрабатываемом опроснике желатель­но использовать только один тип заданий.

Установки, которым подвержены испытуемые в процессе ответов: 1) установка на согласие; 2) установка на социально одобряемый ответ; 3) установка на неопределенные ответы (так называемые ответы средней ка­тегории).

5. Оформление теста.От оформления, формы представле­ния методики (очевидная, или лицевая валидность методики) зависит, насколько серьезно воспринимается она испытуемыми в качестве инструмента обследования. В любом опроснике должен быть представлен: 1) блок основной ин­формации (название и вопросы, касающиеся имени, пола, возраста, образования инекоторых других необходимых для исследователя данных; обязательно указывается дата заполнения опросника); 2) инструкциядолжна быть ясной, доступной для понимания; в ней должно быть указано, как выбирать ответ и каким образом отмечать его в опроснике; 3) текст опросника (реко­мендации для компоновки текста опросника: нумеруется каждое задание; каждая строка на странице должна быть короткой и содержать не более 10-12 слов; все задания располагаются по прямой вертикальной полосе сверху вниз в левом углу страницы; варианты ответов должны быть представлены так, чтобы получилась прямая вертикальная полоса сверху вниз в правом углу страницы; необходи­мо обеспечить ясную визуальную связь между каждым заданием и вариантами ответа на него; каждое задание нужно отделить друг от друга, лучше это сделать, исполь­зуя свободное пространство, а не горизонтальную линию; если используется более чем один тип заданий, одинаковые задания груп­пируются вместе, каждый тип заданий требует разных инструкций и своих вариантов ответов: опросник печатается так, чтобы он имел эстетически привлекательный вид).

Дизайн опросника может способствовать воспри­ятию его как формального документа или приближать к игре (особенности шрифта, цвет бумаги и расположение заданий). Результаты обследования (разные формы их представления) обычно не при­нято включать в опросник, хотя в некоторых случаях допускается наличие в бланке (брошюре), с которым работает испытуемый, итогового блока, заполняе­мого психологом.

6. Пилотажное исследованиепредполагает выполнение заданий теста лицами, которые имеют сходные особенности с теми, для обследования которых он предназначается. Анализ полученных данных поможет отобрать наилучшие задания для окончательной версии опросника. Пилотажную вер­сию опросника следует предъявить как можно большему количеству испытуемых. Минимальное количество респондентов, которое требуется для пилотажного исследования, должно быть в два раза больше, чем количество заданий. Если не­возможно получить такое количество испытуемых, лучше все-таки привлечь к ис­следованию меньшее количество людей, чем вообще отказаться от проведения пи­лотажной стадии исследования.

7. Анализ заданий. Цель – отбор наилучших заданий для окончательной версии опросника и включает в себя определение доли ответивших правильно(в соответствии с клю­чом) и дискриминантностикаждого задания. Первый шаг – составляется таблица анализа заданий (каждая колонка представляет задание, каждая строка – обследуемо­го). В личностных опросниках в таблицу вписывается соответствующий балл по каждому заданию, при этом обрат­ные задания (с противоположным содержанием) оцениваются так же, как и пря­мые задания, но в противоположном направлении континуума оценок. Затем сум­мируются баллы по каждой клетке для получения общего балла по каждому ряду (испытуемые) и общего балла по каждой колонке (задания).

Следующий шаг – вычисление показателя, определяющего долю испы­туемых, ответивших в соответствии с «ключом» опросника или индекса эффек­тивности задания.Подсчитывается делением количества обсле­дуемых, давших правильный (так называемый «ключевой») ответ, на их общее количество. В идеале этот индекс для каждого задания должен располагаться в интервале от 0,25 до 0,75, приближаясь в среднем к 0,5 для всего опросника. Ин­декс, меньший чем 0,25, показывает, что задание неэффективно потому, что очень немногие обследуемые отвечают на него правильно, а выше 0,75 указывает на то, что на данное задание получено слишком много правильных ответов.