Надежность и достоверность измерения маркетинговой информации.

Проблема надежности измерения решается путем:

1 При изучении правильности устанавливается общая приемлемость данного способа измерения (шкалы или системы шкал). Непосредственно понятие правильности связано с возможностью учета в результате измерения различного рода систематических ошибок.

2 Устойчивость характеризует степень совпадения результатов измерения при повторных применениях измерительной процедуры и описывается величиной случайной ошибки. Она определяется постоянством подхода респондента к ответам на одинаковые или подобные вопросы.

3 Наиболее сложный вопрос надежности измерения - его обосно­ванность. Обоснованность связана с доказательством того, что измерено вполне определенное заданное свойство объекта, а не некоторое другое, более или менее на него похожее.

При установлении надежностиследует иметь в виду, что в процес­се измерения участвуют три составляющие:

1) объект измерения (респон­дент);

2) измеряющие средства, с помощью которых производится отобра­жение свойств объекта на числовую систему;

3) субъект (интервьюер), производящий измерение.

Исследователь изу­чает ошибки устойчивости, правильности и обоснованности всего изме­рительного комплекса в совокупности. При этом правильность (как от­сутствие систематических ошибок) и устойчивость информации - эле­ментарные предпосылки надежности. Наличие существенной ошибки в этом отношении уже сводит на нет проверку данных измерения на обос­нованность.

В отличие от правильности и устойчивости, которые могут быть измерены достаточно строго и выражены в форме числового показателя, критерии обоснованности определяются либо на основе логических рас­суждений, либо на основе косвенных показателей. Обычно применяется сравнение данных одной методики с данными других методик или иссле­дований.

Оценка пра­вильности выбранного инструмента измерения.

К числунедостатковиспользуемой шкалы, прежде всего, следует отнести:

1) Отсутствие разброса ответов по значениям шкалы. Попадание от­ветов в один пункт свидетельствует о полной непригодности измеритель­ного инструмента - шкалы. Такая ситуация может возникнуть или из-за «нормативного» давления в сторону общепринятого мнения, или из-за того, что градации (значения) шкалы не имеют отношения к распределе­нию данного свойства у рассматриваемых объектов (нерелевантны).

2) Использование части шкалы. Довольно часто обнаруживается, что практически работает лишь какая-то часть шкалы, какой-то один из ее полюсов с прилегающей более или менее обширной зоной.

Так, если респондентам для оценки предлагается шкала, имеющая положительный и отрицательный полюсы, в частности от +3 до -3, то при оценивании какой-то заведомо положительной ситуации респонден­ты не используют отрицательные оценки, а дифференцируют свое мне­ние лишь с помощью положительных. Для того чтобы вычислить значе­ние относительной ошибки измерения, исследователь должен знать оп­ределенно, какой же метрикой пользуется респондент - всеми семью градациями шкалы или только четырьмя положительными. Так, ошибка измерения в 1 балл мало о чем говорит, если мы не знаем, какова дейст­вительная вариация мнений.

3) Неравномерное использование отдельных пунктов шкалы. Случается, особенно при использовании упорядоченных шкал, что некоторое значе­ние переменной (признака) систематически выпадает из поля зрения респондентов, хотя соседние градации, характеризующие более низкую и более высокую степень выраженности признака, имеют существенное наполнение.

Так, если конфигурация распределения ответов на вопрос с че­тырьмя упорядоченными градациями такова, как на рисунке 13, градации данной шкалы, видимо, неудачно сформулированы. Значительное напол­нение двух соседних по отношению к пункту 2 пунктов (1 и 3) свидетель­ствует о «захвате» части голосов из плохо сформулированного пункта 2.

 

 

 

Частота

 

Ранг градации

 

Рисунок 13 - Пример неравномерного распределения ответов по шкале

 

Аналогичная картина наблюдается и в том случае, когда респонденту предлагают шкалу, имеющую слишком большую дробность: будучи не в состоянии оперировать всеми градациями шкалы, респондент выби­рает лишь несколько базовых. Например, зачастую десятибалльную шка­лу респонденты расценивают как некоторую модификацию пятибалль­ной, предполагая, что «десять» соответствует «пяти», «восемь» - «четы­рем», «пять» - «трем» и т.д. При этом базовые оценки используются зна­чительно чаще, чем другие.

4) Определение грубых ошибок. В процессе измерения иногда возникают грубые ошибки, причиной которых могут быть неправильные записи исходных данных, плохие расчеты, неквалифицированное использование измерительных средств и т.п.

Существует несколько методов оценки устойчивости измерений.

1)Повторное тестирование.

Часто интервьюеры в конце опроса частично его повторяют, гово­ря при этом: «Заканчивая нашу работу, вновь коротко пройдемся по во­просам анкеты, чтобы я мог проверить, все ли я правильно записал из ваших ответов». Конечно, речь идет не о повторении всех вопросов, а только критических из их числа. При этом надо помнить, что если ин­тервал времени между тестированием и повторным тестированием слиш­ком короткий, то респондент просто может помнить первоначальные ответы. Если интервал слишком велик, то могут иметь место некоторые реальные изменения.

2) Включение в анкету эквивалентных вопросов предполагает исполь­зование в одной анкете вопросов по той же проблеме, но сформулиро­ванных по-другому. Их респондент должен воспринимать как разные вопросы. Главная опасность данного метода заключается в степени экви­валентности вопросов; если это не достигается, то респондент отвечает на разные вопросы.

3)Разделение выборки на две частиосновано на сравнении ответов на вопросы двух групп респондентов. Предполагается, что эти две группы являются идентичными по своей композиции и что средние оценки отве­тов для этих двух групп являются очень близкими. Все сравнения дела­ются только на групповой основе, поэтому сравнение внутри группы проводить невозможно.

Обоснованность измерения.Проверка обоснованности шкалы пред­принимается лишь после того, как установлены достаточные правиль­ность и устойчивость измерения исходных данных.

Обоснованность данных измерения - это доказательство соответ­ствия между тем, что измерено, и тем, что должно было быть измерено.

Выделяют три группы формальных подходов к выяснению уровня обоснованности методики.

1)Конструированная типология.Один из способов - использование контрольных вопросов, которые в совокупности с основными дают большее приближение к содержанию изучаемого свойства, раскрывая различные его стороны.

Например, можно определять удовлетворенность используемой мо­делью автомобиля лобовым вопросом: «Устраивает ли вас ваша нынеш­няя модель автомобиля?» Комбинация его с двумя другими косвенными: «Хотите ли вы перейти на другую модель?» и «Рекомендуете ли вы своему другу купить данную модель автомобиля?» позволяет произвести более надежную дифференциацию респондентов. Типология по пяти упорядо­ченным группам от наиболее удовлетворенных автомобилем до наименее удовлетворенных проводится с помощью «логического квадрата».

2)Параллельные данные.Нередко целесообразно разработать два рав­ноправных приема измерения заданного признака, что позволяет устано­вить обоснованность методов относительно друг друга, т. е. повысить об­щую обоснованность путем сопоставления двух независимых результатов.

Классифицируем параллельные процедуры в зависимости от соот­ношения методов и исполнителей.

1 Несколько методов - один исполнитель. Здесь один и тот же испол­нитель использует два или более различных методов для измерения од­ного и того же свойства.

2 Один метод - несколько исполнителей. Если метод надежен, то раз­ные исполнители дадут совпадающую информацию, но если их результа­ты плохо согласуются, то либо измерения ненадежны, либо результаты отдельных исполнителей нельзя считать равноценными. В последнем случае надо установить, нельзя ли рассматривать какую-либо группу ре­зультатов заслуживающей большего доверия.

3 Несколько методов - несколько исполнителей. Одним из способов установления обоснованности измерения некоторого качества у одного и того же респондента (объекта) является фиксирование данного свойства разными исполнителями, владеющими разными методами.

3)Метод судейства при обосновании процедур измерения. Исследователи обраща­ются к определенной группе людей с просьбой выступить в качестве компетентных лиц. Им предлагают набор признаков, предназначенный для измерения изучаемого явления, и просят оценить правильность отне­сения каждого из признаков к этому объекту. Совместная обработка мнений судей позволит присвоить признакам веса или, что то же самое, шкальные оценки в измерении изучаемого явления. В качестве набора признаков могут выступить список отдельных суждений, характеристики явления и т. д.

Вопрос о том, кого следует считать судьями, достаточно дискуссионен. Судьи, выбираемые в качестве представителей изучаемой сово­купности, так или иначе должны представлять ее микромодель.

Вне зависимости от использованного метода оценки надежности у исследователя имеется четыре последовательных шага по повышению надежности результатов измерений:

1) в случае чрезвычайно низкой надежности измерений некоторые вопросы просто выбрасываются из анкеты, особенно когда степень надежности можно определить в процессе разработки анкеты;

2) исследователь может «свернуть» шкалы и использовать меньше градаций. Скажем, шкала Лайкерта в этом случае может вклю­чать только следующие градации: «согласен», «не согласен», «не имею мнения». Обычно так поступают, когда пройден первый шаг и обследо­вание уже было проведено;

3) как альтернатива второму варианту оценка надежности проводится на индивидуальной основе, т.е. осуществляется оценка на­дежности ответов отдельных экспертов (особенно если использовался метод повторного тестирования) двух групп.

Ответы ненадежных респондентов просто не учитываются при проведении заключительного анализа. Данный подход может рассматри­ваться и как дополнение ко второму шагу;

4) можно оценить уровень надежности измерений. Обычно надежность измерений характеризуется коэффициентом, изменяющимся от нуля до единицы, где единица характеризует максимальную надежность.

Обычно считается, что минимально приемлемый уровень надежно­сти характеризуют цифры 0,65 - 0,70, особенно если измерения проводи­лись впервые.

Достоверность измерений характеризует точность измерений по отноше­нию к тому, что существует в реальности. Измерение может быть надежным, но не достоверным. Например, респонденту задали вопрос о его годовом доходе, который составляет менее 25 000 долларов. Не желая называть интервьюеру истинную цифру, респондент указал доход «более 100 000 долларов». При повторном тестировании он снова назвал данную цифру, демонстрируя высокий уровень надежности изме­рений. Ложь не является единственной причиной низкого уровня досто­верности измерений. Можно также назвать плохую память, плохое зна­ние респондентом действительности и т.п.

Главное направление проверки достоверности измерений заключа­ется в получении информации из различных источников. Это может быть осуществлено различными методами.

Надо стремиться составлять вопросы таким образом, чтобы их формулировки способствовали получению достоверных ответов. Далее, в анкету могут включаться вопросы, связанные друг с другом.

Часто для оценки достоверности измерений используется два раз­личных метода или источников получения информации. Например, после письменного заполнения анкет ряду респондентов из первоначальной выборки дополнительно задаются те же вопросы по телефону. По схоже­сти ответов судят о степени их достоверности.