Выбор более точной шкалы путем сравнения величин относительной устойчивости измерения

Таблица 4

Таблица 3

Сравнение данных двух последовательных замеров в трехчленной шкале (N=28 чел.)

 

Ответы в I пробе о занятиях на досуге	Ответы в 11 пробе	Всего
	"Привл." (1)	"Не очень"(2)	"Не привл." (3)
"Данное занятие привлекательно" (1) "Не очень привлекательно" (2) "Занятие непривлекательно" (3)	-		-
Всего

 

Другим весьма полезным показателем полной устойчи­вости является мера сдвига, оцененная как среднеарифмети­ческая ошибка различения градаций шкалы. Этот показатель обозначает, какую долю градации данной шкалы (в среднем) все испытуемые как бы не улавливают, т. е. каковы истинные границы различения градаций.

Например, уточним среднеарифметическую ошибку в раз­личении трехчленной школы согласия — несогласия с каким-то суждением (пусть это будет суждение о привлекательности некоторого занятия на досуге). Приведем схему (табл. 3) и расчеты, используя данные таблицы Г. И. Саганенко.

В испытании участвуют 28 человек, из которых 17 полно­стью повторяют свои оценки данного занятия в обеих пробах (сумма по диагонали схемы: 7+6+4 = 17), а остальные 11 ис­пытуемых дают разные ответы в двух пробах. Для оценки ис­комой ошибки вычисляем отличия ответов респондентов как сдвиги между II и I пробами, например, во II пробе из тех, кто в I пробе ответил "занятие привлекательно", 3 человека сообщи­ли, что оно "не очень привлекательно", т. в. это разность (2—1) 3. Теперь суммируем все разности в ответах и получим меру среднеарифметической ошибки различения пунктов градации данной шкалы:

Значит, среднеарифметический "сдвиг" в оценке по трех­членной шкале составляет около 40% одного ее деления, т. е. менее половины деления, что в общем можно признать удов­летворительным, хотя и не идеальным. (Ниже, говоря о пра­вильности измерения, мы покажем, как можно было бы умень­шить эту ошибку.)

Рассматривая устойчивость как воспроизводимость ре­зультатов измерений, можно использовать и иные показатели ее меры [200. С. 33—34], например, обычные расчеты корреля­ции итогов двух последовательных измерений. Показатели, ре­комендуемые Г. И. Саганенко, представляются нам вполне адекватными и наглядными.

Какая же мера устойчивости удовлетворительна? Это Зависит от существа измеряемого свойства, его значимо­сти для целей и задач исследования. В принципе для немногочленной шкалы среднеарифметическая ошибка различения градаций в 40% ее деления невысока, а соответствующая мера устойчивости (100%—40% =60%) вполне достаточна, ибо не перекрываются границы меж-ДУ двумя соседними интервалами шкалы. Если неустой­чивость составила не 40%, а 60%, т. е. более половины деления шкалы, то ошибка была бы явно недопустима, ибо в среднем испытуемые не различают две соседние Градации из трех.

Для многочленных шкал, например из 10 градаций, ошибка в 60% одного деления не слишком велика, так как перекрываются два деления из 10, т. е. не 2/3, а 0,2 общей "длины" шкалы. Бели при обработке данных градации укрупнить, объединяя две соседние, то ошибка минимизируется до вполне уверенного уровня ус­тойчивости.

Помимо показателей полной устойчивости шкалы, возможны также показатели ее относительной устойчи­вости. Они полезны при сравнении разных шкал, напри­мер для выбора из нескольких вариантов наиболее пра­вильной и точной шкалы (о чем говорится ниже в этом же разделе) или для того, чтобы сопоставить уров­ни устойчивости измерения разных свойств, каждое из которых фиксируется шкалами разного типа и разной степени дробности.

Но прежде всего показатели следует соотносить с уровнем реальной стабильности — изменчивости изу­чаемого объекта, измеряемых свойств.

2) Использование нескольких лиц для измерения данного свойства. Случается, что шкала неустойчива по­тому, что ее пункты произвольно интерпретируются са­мими исследователями. В особенности это характерно для шкал качественной классификации объектов. В та­ких (номинальных) шкалах группы объектов классифицируют с помощью описания всех качествен­ных признаков, по которым каждый объект относится к определенному пункту шкалы — классу.

Предположим, что выделено несколько признаков (с соответствующими индикаторами) для отнесения политической деятельности в высшую категорию по уровню активности. Чтобы выполнить эту операцию однозначно, нужно убедиться, что признаки ясно раз­личимы и при соотнесении видов деятельности с пунктами шкалы не возникает путаницы. Скажем, та­кими признаками были: членство или заявленная принадлежность к какой-либо партии, движению, из­бирательному блоку, регулярность участия в его ак­циях (собраниях и публичных выступлениях, участие в голосовании на выборах и т. д.).

В этом случае объект идентифицируют одновре­менно несколько (минимум трое) лаборантов, использующих единую процедуру. Если данные, полученные разными лаборантами (в нашем примере они работа­ли с текстами интервью), высоко согласуются, шкала устойчивая, если нет — неустойчивая, и мы начинаем искать другую, более приемлемую размерную величи­ну. Причина неустойчивости шкалы — плохой отбор индикаторов.

3) Наконец, третий прием контроля эталона измере­ния на устойчивость — "расщепление шкалы". Шкала раздваивается на две половины. Если окажется, что из­мерения по каждой из них совпадают, их можно рассматривать как равноценные шкалы, суммировать дан­ные и впредь пользоваться одновременно обеими поло­винами, образующими теперь единую и более надежную шкалу, чем каждая из ее составляющих.

Покажем технику "расщепления" не примере. Возьмем объектом измерения уровень удовлетворенности рабочего своей специальностью. Данные получаем путем анкетного опроса.

Проектируем две шкалы, пункты которых будут отвечать одному из пяти уровней удовлетворенности специальностью (схема 5). Каждому уровню соответствуют два суждения. Не­четные пункты образуют одну, а четные — другую половину испытываемой шкалы.

Далее производим следующие операции: (а) все 10 пунк­тов четной и нечетной половин перетасовываются в произ­вольном порядке; б) опрашиваемым предъявляют набор из 10 суждений с просьбой указать свое согласие или несогласие по каждому из них; (в) после опроса достаточной группы лиц (около 50 человек) из числа обследуемой совокупности дан­ные группируются по двум шкалам раздельно: по нечетной половине — (a1), (b1), (с1), (d1), (e1) и по четной шкале — (a2), (b2), (с2), (d2), (е2).

Основная операция — (г) сопоставление итогов измерения по двум половинам испытываемой шкалы. Если корреляция между ними будет достаточно высока, эти половины можно рассматривать как части единого инструмента, измеряющего общий континуум свойств, В случае необходимости "выпада­ющие" суждения следует переформулировать, чтобы получить приемлемую корреляцию.

В таком случае итоговую шкалу образуют все 10 сужде­ний, которые в случайном порядке предъявляются общим списком. В итоговый показатель для данного лица суммиру­ются все баллы суждений, с которыми он выразил согласие.

Обозначив ранжированные пункты баллами от 5 (для al и аа — высшая оценка) до 1 (в, и е3 — низшая оценка), предпо­ложим, что некий субъект выразил согласие с пунктами а1+&2, отвергнув все остальные. Его суммарный балл по шкале равен 5+4=9.

Точность и правильность измерения зависят от (а) степени устойчивости измеряемого объекта или свойства, (б) чувствительности эталона измерения (дробности пунктов шкалы), (в) отсутствия систематических ошибок измерения и, конечно, (г) от устой­чивости измерения.

Социальные объекты, подлежащие измерению, обла­дают различной степенью устойчивости. Скажем, уста­новление состояния удовлетворенности какой-то дея­тельностью будет заведомо менее точным, чем регистра­ция частоты поведенческих актов. В первом случае сам объект измерения нестабилен. В дурном настроении че­ловек может выражать недовольство рекламой на теле­видении, а в хорошем расположении духа он будет уве­рять, что рекламные ролики бывают очень забавными и даже поучительными. Но вряд ли его настроение отра­зится на информации о том, как часто он выключает те­левизор при трансляции рекламы или переключается на другую программу.

Дробность метрики — чувствительность шкалы — прямо связана с точностью измерения. Шкала в 10 де­лений измеряет точнее, чем в 5 или 3 деления. Но дроб­ность пунктов шкалы нельзя увеличивать беспредельно. Надо установить оптимум, удовлетворяющий двум тре­бованиям: максимум градаций шкалы при условии вы­сокой устойчивости результатов измерения. Постепенно повышая дробность эталона измерения и параллельно проверяя шкалу на устойчивость, мы найдем границу, за пределами которой дальнейшее повышение дробнос­ти влечет понижение устойчивости. Это и есть оптимум чувствительности шкалы с учетом меры устойчивости измеряемого свойства. Таким образом, достижение устойчивых данных при максимальной дробности мет­рики повышает точность измерения. Оно будет удов­летворительно точным, если абсолютная ошибка измере­ния не превышает 0,5 деления шкалы. Вместе с тем, если ошибка вообще отсутствует | X j =0, то не ис­ключено, что шкала обладает заниженной чувствитель­ностью (особенно в случаях, когда мы предполагаем достаточную вариабельность измеряемого свойства).

Но измерение может быть вполне точным и вместе с тем... неправильным, постоянно воспроизводя какую-то систематическую ошибку, как это случается с испорчен­ным термометром, в котором ртутный столбик изначаль­но был фиксирован на неверной исходной отметке и по­стоянно завышает температуру, скажем, на 0,8 градуса.

При квантификгГции социальных характеристик проблема правильности, т. е. отсутствия уклонений от истинного значения измеряемого свойства, намного сложнее, ибо часто мы в принципе не способны устано­вить, каковы же эти истинные значения измеряемых свойств (скажем, мнений людей по каким-то вопросам). Мы можем лишь, сопоставляя разные способы фиксиро­вания данного свойства, добиваться устранения замечен­ных систематических ошибок. Каковы же эти система­тические ошибки?

Одна из возможных — отсутствие "разброса" инфор­мации по шкале вследствие того, что какие-то ее пункты "не работают", т. е. не реагируют на определенное состо­яние измеряемого свойства. Например, при опросе все ответы концентрируются в позитивном или только в не­гативном полюсе шкалы. Конечно, это может быть и ре­зультатом единодушия оценок, но может быть и резуль­татом того, что сама шкала неудачна, например, содержит какой-то пункт, сформулированный с сильным нормативным давлением на опрашиваемых. Допустим, задан вопрос об употреблении алкоголя, и крайне нега­тивный вариант ответа гласит: "Я пью систематически и обычно до бесчувственного состояния". Сомнительно, чтобы даже заведомый алкоголик отметит такой пункт как показатель своего отношения к спиртному. Скорее всего, он выберет суждение не столь резкое, например: "Я выпиваю довольно часто". Крайне отрицательный пункт шкалы здесь "не работает*': он отпугивает. Вслед­ствие этого шкала неправильна.

Другой причиной неправильности может быть пло­хая различительная способность соседних пунктов шкалы высокой дробности. Попробуйте, например, упорядо­чить свое отношение к 24 политикам так, чтобы уве­ренно указать не только приемлемого и решительно от­вергаемого, но всех оставшихся из предложенного переч­ня расположить так же аккуратно и уверенно в порядке убывания их привлекательности. Психологически это просто невозможно, так что "срединная" часть этой так называемой ранговой шкалы будет крайне сомнитель­ной, а вся шкала веточной и неправильной. Системати­ческая ошибка, скорее всего, скажется на том, что прием­лемые политические деятели будут отмечаться как бо­лее привлекательные (хотя не исключено, что фак­тически данные лица ими не интересуются), а социально неприемлемые будут попадать в нижние уровни ранжи­рованного ряда.⁹

⁹ В данном случае для повышения надежности измерения исполь­зуются операции, описываемые иа с. 103—104.

 

Во всех подобных случаях опытная проверка шка­лы на устойчивость данных обнаружит ошибки. Но час­то это показывает уже первая проба.

Правильность и точность измерения можно повы­сить путем расчета относительной ошибки измерения.¹⁰

¹⁰ Подробнее ем. [231. С. 63—66].

 

Относительная ошибка позволяет сопоставлять пра­вильность замеров по двум и более шкалам разной чувствительности и таким путем отработать оптималь­ный инструмент. Напомним, что, в отличие от абсолют­ной, относительная ошибка исчисляется не в долях по­грешности деления шкалы, а в соизмеримом, определен­ным образом нормированном показателе.

 

Приведен пример расчета относительной ошибки измере­ния. Предположим, что в семичленной шкале оценок фикси­руется намерение женщин иметь детей. В обследовании уча­ствуют 100 молодых замужних женщин, которые дали сле­дующие ответы на вопрос: "В какой мере Вы согласны с тем, что было бы желательно иметь ребенка?"

 

Полюса шкалы интерпретируются, а промежуточные пункты не имеют словесной интерпретации.

При некотором навыке и достаточном исследовательс­ком опыте мы часто интуитивно угадываем, какова должна быть дробность метрики, обеспечивающая устойчивую ин­формацию. Но, приступая к измерению сложных объектов, с которыми ранее не приходилось сталкиваться, социолог должен проделать ряд экспериментов, отрабатывая шкалу на точность и правильность.

Оценки 3, 2 и 1 (крайне негативное отношение к сужде­нию) встречаются очень редко, и эту часть шкалы можно при­знать плохо работающей: в сумме здесь сосредоточено менее 5% всех ответов. Большинство женщин либо явно хотели иметь детей, либо не очень в этом уверены, и почти нет таких, кто отвергает идею иметь ребенка. Значит, в нашей шкале ра­ботают градации 7, 6, 5 и 4, где 4 фактически наиболее негатив­ная установка. Диапазон работающей части шкалы: 7-4=3. Относительная ошибка данной шкалы определяется предло­женной Г. И. Саганенко формулой:

где w — оценка полной устойчивосвости шкалы, л зон реально работающей ее части.

Проверив шкалу на устойчивость, как было описано выше, мы, предположим, получили значение ц)=0,75, т.е. 75% полного совпадения ответов в двух последовательных пробах, что опре­деленно недостаточно.

Теперь испробуем на устойчивость пятичленную и трех­членную шкалы, задавая тот же вопрос аналогичной (или той же самой) группе испытуемых в 100 человек. Допустим, что мы получим такие распределения (табл. 4),

Как видно, в пятичленной и трехчленной шкалах работа­ют все градации, так что в негативной зоне оказывается соот­ветственно 25% и 32% ответов (сравните с семибалльной шка­лой, где в этой зоне менее 50%). Показатели полной устойчи­вости двух последних шкал, проверенные повторными опроса­ми, допустим, дали соответственно 0,95 и 0,99 (в семибалль­ной — 0,75).

 

 

 

 

Но относительные ошибки при условии, что все градации обеих шкал работают, таковы:

для пятичленной ∆отн =0,95/(5-1)=0,238 и для трехчлен­ной ∆0,99/(3-1)=0,495; округленно 0,24 и 0,49. Получаем, что относительные ошибки семичленной шкалы (0,25) и пяти­членной (0,24) практически одинаковы, а трехчленной — существенно выше (0,49).

Какая из трех шкал более надежна? Вопрос решается при сравнении устойчивости шкалы и величины относительной ошибки. Устойчивость данных по пятичленной и трехчленной шкалам сопоставима: 95% и 99%. Иными словами, опра­шиваемые хорошо различают градации этих шкал, лучше, чем в семичленной шкале: там устойчивость равна 75%. По этой причине последнюю надо забраковать. Остается выбор из двух оставшихся. Пятичленная шкала имеет высокую устойчивость и небольшую ошибку, а трехчленная — более высокую устой­чивость и приемлемую ошибку (меньше половины градации шкалы). Но в отиошеняи к трем градациям это составит 0,49:3=0,16, а для пятичленной — 0,24:5=0,05 длины шкалы. Следовательно, пятичленная шкала втрое чувствительнее, а значит, правильнее и точнее.

Суммируем все сказанное о проверке надежности шкал в следующей схеме (схема 6).