Методы маркетинговых исследований
Шрифт:
Проведение экспертных опросов
Перед началом экспертного опроса следует четко определить его цели, сформулировать требующую разрешения проблему. Часто оказывается, что проблема разбивается на ряд специфических подпроблем, требующих решений, относящихся к различным областям маркетинга (ценообразование, реклама, разработка продукта). Для их решения требуются эксперты различных направлений.
1. Определение количества привлекаемых экспертов. Для решения этой задачи часто используется практический подход. Он основывается на следующих соображениях.
– Экспертов не должно быть мало, чтобы не было сильного влияния отдельного эксперта на общий результат.
– Большая численность экспертной группы не всегда повышает достоверность оценок.
– Высококвалифицированных экспертов достаточно мало.
– Нижняя граница количества
2. Квалификация приглашаемых экспертов может быть оценена различными методами.
Оценка квалификации эксперта обычно представляет собой некоторое число. Оно используется в качестве веса при определении итоговой оценки как средневзвешенной индивидуальных оценок.
Для определения весов используется ряд способов.
– В простейшем случае все веса равны 1.
– Лицо, принимающее решения, назначает больший вес тем экспертам, которым больше доверяет.
– Веса назначаются на основе прошлого опыта: эксперты, которые дали неверные оценки, в дальнейшем могут вообще не привлекаться к экспертизам.
– Исследователи, проводящие опрос, выбирают ряд показателей, характеризующих квалификацию эксперта. Это могут быть:
– уровень образования;
– опыт практической работы;
– широта кругозора.
Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале.
– Самооценка проводится на основе заполненной экспертом анкеты. В нее включаются вопросы об общем стаже работы, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. Опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью даваемых ими прогнозов.
– Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.
Для обобщения всех полученных оценок Е.П. Голубков предлагает вычислять вес эксперта по формуле:
где vi,И, vi,C, vi,O – балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами, соответственно; VИ, VC, VО – максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки, данные коллегами, соответственно.
Эта формула удобна тем, что результирующие веса находятся в пределах от 0 (совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок [39] ;
39
Интересно сравнить результаты расчетов по данной формуле и по формуле среднеарифметического.
Если эксперт получил высшие оценки по всем трем показателям, то его общая оценка будет высшей при использовании обеих формул.
Если эксперт получил оценки среднего уровня по всем трем показателям, то среднеарифметическое также даст среднюю общую оценку, а формула – достаточно низкую (1/8). Последнее означает, что эксперт, не являющийся высококлассным специалистом ни с одной из трех позиций, оценивается достаточно низко.
Наконец, если эксперт получил по трем показателям высшую, среднюю и низшую (нулевую) оценку, то при использовании среднеарифметического его общая оценка составит среднюю величину, а при расчетах по формуле – нулевую. Это значит, что отсутствие компетентности
по любой из оценок уничтожает ценность данного лица как эксперта.Какой из методов оценки выбрать, зависит от конкретной цели исследования, от количества и квалификации имеющихся экспертов.
3. Проведение опроса. Помимо общих требований к опросам, таких, как
– соответствие задаваемых вопросов целям исследования;
– удобство работы с анкетой;
– удобная для экспертов организация проведения опроса,
– имеется ряд правил именно для экспертных опросов. К их числу относятся:
– предоставление экспертам всей требуемой информации;
– проведение коллективных обсуждений, если это целесообразно;
– обеспечение независимости мнений экспертов;
– анонимность ответов для членов экспертной группы.
Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить формулировку вопросов к экспертам, согласовать порядок проведения опросов.
Затем экспертам направляются анкеты с пояснительной запиской.
На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.
Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.
Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять такие характеристики, как моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее) или медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).
При получении количественных оценок применяется обычная формула средневзвешенного значения:
где Xэксп – общая экспертная оценка; vi – вес каждой оценки (значимость эксперта).
5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства [40] . Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками.
40
При описательных исследованиях, например, при определении среднего дохода жителей города по выборке, можно подсчитать доверительный интервал, внутри которого с вероятностью 95% находится истинное значение среднего дохода. Это возможно потому, что величина среднего дохода по всем жителям оценивается по некоторым их представителям и, значит, истинное значение вряд ли сильно отличается от определенного по выборке, то есть, скорее всего, лежит "где-то рядом".
Если же используются экспертные оценки, то, хотя они обычно и "собираются", "группируются" вокруг некоторого значения, говорить о том, что это значение истинно, нет никаких оснований. Случается, что это просто коллективное заблуждение.
Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением повторных экспертиз.
6. Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции, о которых будет рассказано в разделе "Анализ данных".
Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить более или менее точные решения плохо формализуемых задач.