Экспертные оценки в маркетинговых исследованиях

 

 

Несмотря на все большую роль математических методов при реше­нии экономических задач, нельзя считать, что формальные методы со­временной математики окажутся универсальным средством решения всех проблем, возникающих в сферах деятельности общества. Методы, ис­пользующие результаты опыта и интуицию, т.е. эвристические (неформальные), безусловно сохранят свое значение и в дальнейшем. Особенно это касается вопросов проведения маркетинговых исследова­ний.

Процедуры формирования целей маркетинговых исследований, ва­риантов их реализации, моделей, критериев и т.п. не могут быть формализированы. Многие оценки в этой области основываются на видении, интуиции, воображении и опыте того, кто их формируют.

Примерами традиционных, эвристических процедур являются раз­личные экспертизы, консилиумы, совещания и т. д. Порядок их проведе­ния часто регламентируется традицией, т.е. в конечном счете снова опы­том, и во многих отношениях представляет собой искусство. Однако по­степенно и в эту область начинают проникать разнообразные математи­ческие методы обработки исходного материала эвристического происхо­ждения, и в первую очередь статистические методы.

Можно выделить два уровня использования экспертных оценок: качественный и количественный. Если применение экспертных оценок на качественном уровне (определение возможных направлений развития рыночной деятельности, выбор мероприятий по продвижению продукта и т.д.) не вызывает сомнения, то возможность применения количественных балльных оценок нередко подвергается критике. При этом справедливо отмечают, что балльные оценки нередко скрывают неумение квалифици­рованно оценивать те или иные действия, явления, перспективы разви­тия.

Кроме того, наиболее часто применяемый метод получения инте­гральных экспертных оценок на основе взвешенных сумм имеет ряд серьезных недостатков [15].

Однако в связи с ограниченными возможностями применения в правлении и маркетинге экономико-математических методов, отсутствие во многих случаях статистической и другой информации, а также на­дежных методов определения соответствия экономико-математических моделей реальным объектам экспертные оценки являются единственным средством решения многих задач. Для повышения достоверности и надежности получаемых с помощью экспертных оценок результатов надо владеть теоретическими и методическими основами использования дан­ных методов, избегать иллюзии простоты их применения.

Методы экспертных оценок используются для прогнозирования событий будущего, если отсутствуют статистические данные или их не­достаточно. Они также применяются для количественного измерения таких событий, для которых не существует других способов измерения, например, при оценке важности целей и предпочтительности отдельных методов продвижения. Иными словами, методы экспертных оценок применяются как для количественного измерения событий в настоящем, таки для целей прогнозирования.

Предполагается, что эксперт основывает свое суждение на группе причинных факторов, действующих в рамках определенногосценария, оценивая вероятность их реализации и их вероятное влияние на изучае­мый показатель, например уровень опроса.

При этом данная казуальная структура неразрывно связана с личностью эксперта,так что другой эксперт, поставленный перед той же проб­лемой, может, используя ту же информацию, прийти к другим выводам.

При проведениимаркетинговых исследований широко применяют­ся экспертные оценки, основанные на суждениях менеджеров фирм, которых проводится данное маркетинговое исследование, торговых И иных посредников и потребителей (покупателей). Менеджера просят дать по возможности точную оценку исходя из имеющейся у него информа­ции, с указанием, например в форме вероятностных показателей, степени точности или уверенности в своих оценках.

В качестве экспертов на фирме чаше всего используют менеджеров и сотрудников сбытовых служб.

Данный вариант в той или иной степени применяется фирмой всегда. Он особенно заметен в организациях, где доминирует лидер, реализующий свое собственное видение. Ценность полученные оценок, видно, зависит от опыта и интуиции лица, формулирующего опенку. Путь к уменьшению риска субъективности индивидуального суждение заключается в обращении к группе менеджеров, которые обсуждают сбои точки зрения и стремятся прийти к консенсусу. Хорошую возможность достижения консенсуса представляет метод Дсльфи (см ниже).

Обычно персонал посреднических организаций имеет достаточно точное представление о потенциале продаж, который могут обеспечить их клиенты, и, кроме того, имеет возможность, дать оценку потенциала рынка в целом, по крайней мере на той территории, которую он обслу­живает. Проще всего попросить торговых работников дать оценки ли каждому товару, но не абстрактно, а исходя из конкретных гипотез о маркетинговых усилиях га вопросах цен, рекламной поддержки и т.п. По­сле этого менеджеры службы сбыта формулируют итоговые оценки, сум­мируя оценки всех экспертов.

Включить торговых работников в процесс прогнозирования полез­но прежде всего для того, чтобы создать у них соответствующую мотива­цию и способствовать принятию назначаемых им квот по продажам. Кро­ме того, они незаменимы при построении прогнозов продаж в очень ма­лых сегментах, на уровне отдельной территории или отдельного клиента,

Очевидно, что зачастую трудно из-за отсутствия статистической к отчетной информации (особенно касающейся деятельности фирм-конку­рентов) получить количественные опенки таких показателей, например, как показатели рыночной доли и динамики изменения объема продаж. В этом случае также могут использоваться экспертные оценки, формирующие чисто качественные значения этих показателей (в терминах «выше», «на том же уровне», «ниже» и т.п.).

В то же время экспертные оценки имеют и недостатки, С одной стороны, нет гарантий, что полученные оценки в действительности достоверны, а с другой – имеются определенные трудности в проведении опроса экспертов и обработке полученных данных. Если второй недоста­ток относится к преодолимым трудностям, то первый имеет принципи­альное значение. Существующие способы определения достоверности экспертных оценок основаны на предположении, что в случае согласо­ванности действий экспертов достоверность оценок гарантируется. Это на самом деле не всегда верно, и можно привести случаи, когда отдель­ные эксперты, не согласные с мнением большинства, давали правильные оценки.

Следовательно, единодушие большинства экспертов не всегда явля­ется критерием достоверности оценок. Отсюда вытекает необходимость тщательного отбора экспертов. Дело в том, что при обсуждении многих вопросов, особенно нестандартных, например связанных с прогнозиро­ванием рыночной ситуации в нестабильных политико-экономических условиях, должны участвовать эксперты высокой квалификации. Прогно­зы, составленные «средними» экспертами, будут основаны в лучшем слу­чае на традиционных, привычных оценках, тогда как высококвалифици­рованные специалисты обнаружат и оценят скрытые факторы.

Используя экспертные оценки, предполагают, что при решении проблем в условиях неопределенности мнение группы экспертов надеж­нее, чем мнение отдельного эксперта, т.е. что две группы одинаково компетентных экспертов с большей вероятностью дадут аналогичные ответы, чем два эксперта. Предполагается также, что совокупность инди­видуальных ответов экспертов должна включать «истинный» ответ.

Зачастую оценки экспертов не обладают достаточной устойчиво­стью, т.е. эксперт может одни и те же события при нескольких повтор­ных экспертизах оценить по-разному. Чем устойчивее оценки, тем боль­ше можно им доверять. Однако на практике повторная экспертиза вслед­ствие организационных и финансовых трудностей применяется крайне редко.

Достоверность оценок можно повысить следующим образом. Нуж­но проанализировать данные о расхождениях экспертных оценок и их действительных значений, найденных в процессе реализации событий, и сделать соответствующие переоценки компетентности экспертов. В част­ности, поставив оплату труда экспертов в прямую зависимость от уровня их компетентности. Экспертов, обладающих низкой компетентностью, в дальнейшем не привлекать к проводимым экспертизам.

Наличие способа точного определения достоверности априорных оценок по существу предполагает знание истинных оценок, что одновре­менно исключает необходимость их определения.

При нахождении оценок экспертным путем помимо погрешности, вносимой недостатком информации о событиях и недостаточной компе­тентностью экспертов, возможна и погрешность совсем иного рода, обу­словленная заинтересованностью экспертов в результатах оценки, что обязательно скажется на их достоверности. Наличие такого рода погреш­ности может значительно искажать оценки, вследствие чего необходимо предусмотреть соответствующие меры для устранения погрешности.

Например, всегда существует опасность систематического заниже­ния оценок потенциального спроса со стороны сбытовиков, которые за­интересованы иметь легко выполнимый план по продажам, а в конце планового периода добиться значительного превышения плановых пока­зателей. Отметим следующие варианты коррекции таких оценок, снижающие риск систематической погрешности:

– попросить торговых работников самостоятельно определить степень погрешности их оценок. Эти данные можно затем использовать для уточнения прогноза;

– далее возможно скорректировать оценки торговых работников с
помощью регионального менеджерапо продажам, который может иметь
более широкий взгляд;

– возможно ввести корректирующий коэффициент; основанный на
учете погрешностей в прошлых прогнозах каждого торгового работника.

Одним из показателен, характеризующих пригодность эксперта, является степень его надежности. Под степенью надежности понимается относительная частота случаев, когда он приписывал более высокую вероятность тем событиям, которые «последствии реализовывались. На этом основании считается, что чем чаще эксперт оказывался прав, тем нише его авторитет. Однако необходимо иметь в виду, что могут сущест­вовать обстоятельства, когда эксперт, несведущий в данном вопросе, лас; правильный ответ с высокой степенью вероятности. Например, на ста­бильных рынках можно успешно прогнозировать ситуацию на ближайшее будущее, принимая ее такой же, как и сегодня.

Применяются как индивидуальные, так и групповые (коллектив­ные) экспертные опросы.

Основными целями использования индивидуалы гик экспертных оценок являются:

– прогнозирование хода развития событий и явлений в будущем, а
также опенка их в настоящем (количественная и качественная оценка
вероятности реализации определенного события в будущем, прогнозиро­вание характеристик рынка и направлений их развития, определение це­лей и стратегий маркетинговой деятельности, ранжирование различных объектов и т.д.);

– анализ и обобщение результатов, представленных другими экспертами;

– составление сценариев;

– выдача заключений на работу других специалистов илиоргани­заций (рецензии, отзывы, экспертизы и т.д.}.

Отдельный эксперт в ряде случаев может быть очень полезен как источник информации и как советник для руководителей, принимающих решения.

Даже в том случае, если работа выполнена одним экспертом, она может по существу обобщить мнения многих людей и дать крайне полез­ные исходные данные для анализа.

К числу групповых экспертных опросов относятся:

– открытое обсуждение поставленных вопросов с доследующим
открытым или закрытым голосованием;

– закрытое обсуждение с последующим закрытым голосованием
или заполнением анкет экспертного опроса;

– свободные высказывания без обсуждения и голосования.

Групповые экспертные оценки могут быть получены при опросе

экспертов как одной специальности, так и разных. В последнем случае экспертная оценка часто носит характер деловой игры. Опыт показал, что традиционные методы обсуждения поставлен­ных перед группой экспертов вопросов, относящиеся к первому типу экспертных опросов, до достижения определенного согласия между ними или до выработки общей позиции не являются наилучшими методами использования группы экспертов. Эти методы обсуждения страдают ря­дом недостатков, таких, как взаимное влияние мнений экспертов и не­желание участников обсуждения отказываться от точек зрения, ранее высказанных публично. Поэтому на практике при подготовке решений по широкому кругу вопросов находят все большее распространение вто­рой и третий типы групповых экспертных оценок.

Второй тип групповых экспертных оценок можно подразделить на две категории: экспертный опрос, проводимый в один тур путем однора­зового заполнения анкет, и проводимый в несколько туров путем много­кратного заполнения анкет экспертами с целью последовательного уточ­нения оценок.