Устойчивость измерения.

О высокой надежности шкалы можно говорить лишь в том случае, если повторные измерения при помощи одних и тех же объектов дают сходные результаты устойчивость проверяется на одной и той же выборке исследуемых объектов (респондентов). Сравнение же средних оценок разных выборок ничего не говорит об устойчивости измерения как таковом, а толь­ко лишь о репрезентативности выборок и их соответствий одной, и той же совокупности. Обычно устойчивость проверяй проведе­нием двух последовательных замеров с определенным временным интервалом — таким, чтобы этот промежуток не был слишком велик, чтобы сказалось изменение самого объекту но не слишком май, чтобы респондент мог по памяти «подтягивать» данные второго замера к предыдущему (т. е. его протяженность зависит от (объекта изучения и колеблется от двух до трех недель).

Осуществление более двух измерений связано с трудностями организации эксперимента и накапливанием ошибок другой при­роды, не связанной, с устойчивостью.

Пусть х — изучаемый на устойчивость признак, а отдельные его значения— х₁, x₂…х_к. Каждый респондент l(l=1,…n) и при первом и при втором опросах получает некоторую оценку по изучаемому признаку — x¹_lи x²_lсоответственно/

Результаты двух опросов в респондентов заносятся в таблицу сопряженности (табл. 30), которая служит основой для дальнейшего изучения вопросов устойчивости. Здесь n_ij — число респондентов, выбравших в первом опросе ответ х_i и заменивших его при втором опросе на ответ x_j.

Существует традиция изучать устойчивость с помощью анализа корреляций между ответами проб I и II. Однако этот подход не­достаточно эффективен, поскольку не учитывает многих аспектов устойчивости.

 

Остановимся на более результативных показателях.

1. Показателем абсолютной устойчивости шкалы назовем вели­чину, показывающую долю совпадающих ответов в последователь­ных пробах.

Этот показатель использует не всю информацию, содержащуюся в соотношении ответов проб I и II, а базируется лишь на частотах совпадающих ответов. Однако он хорош, например, для характе­ристики устойчивости качественных признаков.

Для описания устойчивости количественных признаков его не­достаточно, поскольку при большом числе градаций доля совпада­ющих ответов будет чрезвычайно мала назначение W мало информативно. Здесь пригодны показатели неустойчивости, т. е. величи­ны ошибки, учитывающие не просто факт несовпадения ответов, а степень этого несовпадения. Ошибки рассчитываются по край­ней мере для порядковых признаков.

Линейной мерой несовпадения оценок, является средняя ариф­метическая ошибка, показывающая средний сдвиг в ответах в расчете на одну пару последовательных наблюдений:

 

Здесь х¹ и х¹¹ — ответы по анализируемому вопросу L - го рес­пондента в I и II пробах соответственно.

Пример. Пусть ответы на вопрос в пятибальной шкале для выборки 50 человек распределились, как в табл. 31.

Таким образом, в I пробе оценку «1» дали 9 респондентов, из них только трое повторили ее в пробе II, пятеро отметили «2», один дал оценку «3» и т. д.

 

Данный показатель использует всю информацию, содержащуюся в распределении, хорошо интерпретируется как средний сдвиг в ответах одного респондента, однако имеет определенные ограниче­ния аналитического характера и поэтому обычно редко использу­ется в статистических расчетах.

Средняя квадратическая ошибка для последовательных дан­ных¹⁷ в расчете на одну пару наблюдений выглядит так:

 

 

(совпадение S_x и 1AI в этом примере чисто случайное).

До сих пор речь шла об абсолютный ошибках, размер которых выражался в тех же единицах, что и сама измеряемая величина, например 0,82 балла в пятибалльной шкале. Это не позволяет срав­нивать ошибки измерения разных признаков по разным шкалам. Следовательно, помимо абсолютных, нужны относительные показа­тели ошибок измерения.

В качестве показателя для нормирования абсолютной ошибки можно использовать максимально возможную ошибку в рассмат­риваемой шкале (Dmax).

Если число делений шкалы k, тогда Dmax равно разнице между крайними значениями шкалы (Xmax – Xmin), т. е. k—1, и относи­тельная ошибка имеет вид

 

(здесь |D|— средняя арифметическая ошибка измерения).

Однако зачастую этот показатель «плохо работает» из-за того, что шкала не используется на всей ее протяженности. Поэтому бо­лее показательными являются относительные ошибки, рассчитан­ные по фактически используемой части шкалы, как было рассмот­рено выше. Если число градаций в «работающей» части шкалы обозначить k', то тогда более надежной будет такая оценка ошибки:

 

Если в качестве абсолютной ошибки использовалась средняя квадратическая ошибка S, то показатель относительной ошибки

 

Пример. Допустим, что шкала имеет 7 градаций. При опреде­лении «работающей» части этой шкалы анализируется распреде­ление полученных в I пробе оценок:

 

Здесь на оценки «5», «6»-, «7» приходится лишь 11 наблюдений, т. е. 2,26%. Проверка согласно критерию (формула (1)) устанав­ливает, что эта часть шкалы «не работает»; т. е. используются лишь градации 1, 2, 3, 4, поэтому Dmaх = 4 — 1 = 3. На основании соотношения ответов в I и II пробах находим сдвиги в ответах (ошиб­ки). Распределение ошибок по этой шкале оказалось следующим:

 

измерения. Однако оценка по k также является довольно грубой и не использует всю информацию, содержащуюся в ответах I пробы ведь реально не все оценки могут дать максимальный сдвиг, а только крайние на шкале.

Оценим для приведенного распределения максимальный сдвиг по реально работающей части шкалы: только крайние значения (233, 78 + 11) могут дать сдвиг в 3 балла, 106 и 59 ответов могут дать максимальный сдвиг в 2 балла. Таким образом, возможный сдвиг для данного исходного распределения «может быть равен средней в 2,6 балла четырех балльной шкалы, т. е. фактическая ошибка еще больше: 0,6:2,6= 0,23.

Повышение устойчивости измерения. Для решения этой задачи необходимо выяснить различительные возможности пунктов: исполь­зуемой шкалы, что предполагает четкую фиксацию респондентами отдельных значений: каждая оценка должна быть строго отделена от соседней. На практике это означает, что в последовательных про­бах респонденты практически повторяют свои оценки. Следователь­но, высокой различимости делений шкалы должна соответствовать малая ошибка.

Эту жё задачу можно описать в терминах чувствительности шка­лы, которая характеризуется количеством делений, приходящихся на одну и ту же разность в значениях измеряемой величины, т. е. чем больше градаций в, шкале, тем/больше ее чувствительность. Однако чувствительность нельзя повышать простым увеличением дробности, ибо высокая чувствительность при низкой устойчивости является излишней (например, шкала в 100 баллов, а ошибка из­мерения ±10 баллов).

Во и при малом числе градаций, т. е. при низкой чувствитель­ности, может быть низкая устойчивость, и тогда следует увеличить дробность шкалы. Так бывает, когда респонденту навязывают кате­горические ответы «да», «нет», а он предпочел бы менее жесткие оценки. И потому он выбирает в повторных испытаниях иногда «да», иногда «нет» для характеристики своего нейтрального положения.

Итак, следует найти некоторое оптимальное соотношение меж­ду чувствительностью и устойчивостью. Введём правило: использовать столько градаций в шкале, чтобы ее ошибка была меньше 0,5 балла. - _: " .

Если ошибка меньше 0,5 балла, то в последовательных опросах ответы в среднем будут совпадать. При |D| >0,5 балла ответы в последовательных опросах будут в среднем отличаться на 1 балл (и выше).

Существуют способы, «позволяющие добиться требуемой чувстви­тельности.

Пример. В исследовании каждый испытуемый дает 8 оценок некоторым профессиональным качествам инженеров. Значение оце­нок варьирует от +3 до —3. Проведено два измерения. Рассмотрим суммарное распределение оценок по четырем качествам (самостоя­тельность, творчество, инициативность, опытность), данных тринад­цати респондентов (табл. 32).

Всего в табл 32 представлено 416 пар наблюдений: 13 респон­дентов X 8 оценок X 4 качества. Из них в первой пробе 226 оценок имели значение «3»; во второй пробе из них только 170 были по­вторены, 47 оценок получили значение «2», 6 оценок — значение «1» и 3 оценки — значение «О».

 

Таким образом, для исходной оценки «3» средняя оценка во второй пробе стала равной

На основании этого соотношения оценок получим распределение ошибок:

Рассчитаем среднюю арифметическую ошибку çDç= 0,69. Поскольку çDç> 0,5, ищем не различающиеся градации.

Средние оценки по каждой строке сравниваем с помощью кри­терия Стьюдента. Если окажется, что х₁ и x_i+1 отличаются незначимо (t<t_крит), то далее нужно сравнивать x_i и x_i+1 и т. д. до значимого отличия средних (t_ti, _i+tзаписаны в последнем столбце табл. 32, а значимы» значения выделены).

Таким образом, оценки «3». и «2» отличаются между собой су­щественно, поскольку критерий Стьюдента фиксирует значимое различие между 2,70 и 2,47; оценки «2» и «1» несущественно отлича­ются друг от друга и т. д. Представим результаты сравнения ис­ходных оценок при помощи схемы разбиения совокупности оце­нок на классы эквивалентности:

Здесь все оценки попадают в три непересекающихся класса: оценка «3» отличается от «2»; «2» и «1» не отличаются друг от друга, но отличаются от соседних оценок; последние четыре значе­ния взаимно неразличимы.

Следовательно, респонденты различают лишь три уровня вме­сто семи предложенных, и шкала должна быть преобразована в трехбалльную, где высокой оценке соответствует исходная оценка в 3 балла, бредней — 2 и 1 балл; низкой — О, —1, —2, —3. При­своим описанным уровням новые баллы — соответственно 3, 2, 1. В итоге имеем следующее соотношение оценок (табл. 33).

Это распределение характеризуется ошибкой çDç=0,43 балла, т. е. уже меньше 0,5 градации, и потому такая шкала устойчива.

В общем случае возможны два варианта соотношения исходных оценок: 1) классы неразличимости оценок неё пересекаются (например, как это было в только что рассмотренном случае);

 

 

2) классы неразличимости оценок пересекаются например так:

 

 

 

 

В первом случае можно подобрать для шкалы числовую серию, т. е. упорядоченный ряд чисел, в котором большее число характе­ризует более высокий уровень качества.

Во втором случае имеется полуупорядоченная система оценок, и ее можно отобразить лишь на полуупорядоченную числовую си­стему. В рассматриваемом примере возможно, в частности, такое числовое представление:

Там, где между исходными оценками нет существенного раз­личия, разница между значениями числового представления (ниж­ний ряд чисел) меньше 1; при значимом различии разница боль­ше 1.

Однако часто желательно иметь преобразованные оценки, вы­раженные целыми числами. В таком случае можно предложить следующую систему понижения дробности шкалы: ближайшим исходным значениям, существенно отличающимся друг от друга, присваивают ранги последовательно I, II, III и, т. д. В рассматриваемом примере будет выглядеть так:

 

Для промежуточных значений, несущественно отличающихся от соседних (например, исходную оценку «2» можно отнести в любые классы — и в I, и во II), следует предложить дополнительные кри­терии отнесения их в один из двух соседних классов. Можно в качестве критерия использовать меру относительной близости про­межуточной оценки к тому или иному соседнему классу и путем перебора всех возможных схем объединения искать схему с наименьшей ошибкой.

В конечном итоге порядок действия может быть таким. На ос­нове данных двух последовательных проб определяем пороги различаемости градаций шкалы, В том случае, если обнаружено смешение градаций, применяют один из двух способов.

Первый способ, и итоговом варианте уменьшают дробность шкалы (например, из шкалы в 7 интервалов переходят на шкалу в 3 интервала).

Второй способ. Для предъявления респонденту сохраняют прежнюю дробность шкалы и только при обработке укрупняют соот­ветствующие ее пункты (как это было показано выше).

Второй способ кажется предпочтительнее, поскольку, как пра­вило, большая дробность шкал побуждает респондента и к более активной реакции. При обработке данных информацию следует перекодировать в соответствии с проведенным анализом различи­тельной способности исходной' шкалы.

Итак, предложенные способы анализа целесообразны при отра­ботке окончательного варианта методики. Анализ устойчивости отдельных вопросов шкалы позволяет; а) выявить плохо сформулиро­ванные вопросы, их неадекватное понимание разными респондентами; б) уточнить интерпретацию шкалы» предложенной для оценки того или иного явления, выявить более оптимальный вариант дроб­ности значения шкалы.

Изучение устойчивости окончательного варианта методики даст представление о надежности данных (связанной устойчивостью), которые будут получены в основном исследовании.