Ошибки маркетинговых исследований

Ошибка вмешательства, обмана и подлога — наиболее острая проблема маркетинговых исследований. Проблема подлога и обмана со стороны интервьюеров обусловлена несколькими причинами, в числе которых скромные заработки, недостаточный контроль и низкий культурный и дисциплинарный уровень. Подлог может оказаться очень серьезным, когда сфабрикованным окажется все интервью целиком или это коснется отдельных вопросов, ответы на которые не были получены в ходе беседы с респондентом. Поскольку это приводит к серьезным ошибкам, во многих исследовательских компаниях подвергаются проверке до 50% результатов интервью. Этот процесс предполагает повторный, обычно телефонный, опрос некоторого количества участников проведенного исследования.

Ошибка отказа от ответа является существенной проблемой, поскольку люди, отказавшиеся от участия в исследовании, скорее всего, будут значительно отличаться от тех, кто на сотрудничество пошел. Существует ряд причин для отказа от участия в исследовании. Главным образом — это страх перед последствиями. Также исследование может восприниматься как вторжение в частную жизнь. Кроме того, человек может быть недружелюбно настроен по отношению к исследователю.

Ошибка неспособности  ответить. Респонденты могут быть неспособны дать ответ в случае, если они его не знают или забыли; они также могут быть неспособны правильно выразить его. Проблемы в каждом из этих случаев могут оказаться еще серьезнее, если респонденты начнут выдумывать ответы, поскольку не хотят признаваться в своей некомпетентности или хотят оказать любезность интервьюеру. Следует помнить, что в большинстве случаев респонденты хотят помочь исследователю и стараются дать как можно больше информации. Свой вклад в ошибку исследования могут внести искажение временем, усреднение или упущение информации.

В ходе интервью могут проявиться ошибки нежелания дать точный ответ и искажения ответа. Среди причин, обусловливающих это явление, могут быть ощущение вторжения в частную жизнь, недостаток времени, усталость респондента, соображения престижа и социальной приемлемости ответа, любезность, отсутствие информации и стиль ответа.

Ошибки ввода, анализа и интерпретации данных

После того, как все заполненные  анкеты доставлены в офис исследовательского агентства, специалисты приступают к процессу формирования базы данных исследования. На этом этапе анкетные данные вводятся в специализированные статистические программы, кодируются и проходят многоступенчатую проверку. Это технические мероприятия, которые  могут допускать технические  ошибки. Например, некорректное кодирование может привести к потере ценных данных открытых вопросов, а ошибки ввода данных, допущенные под влиянием человеческого фактора, могут исказить данные правильно проведенного полевого этапа. Как правило, проводимые проверки позволяют нивелировать технические ошибки ввода и кодирования.

Неправильное применение методов статистического анализа  представляет более серьезную проблему. Обычно анализ данных маркетингового исследования ограничивается простым  табулированием — построением линейных и перекрестных распределений ответов  на вопросы анкеты. Конечно, применение элементарных статистических процедур, не требующих специальных навыков  и знаний, ограничивает риски неправильной интерпретации данных. Но когда используются сложные статистические методы кластерного, регрессионного, совместного анализа, риск неправильной обработки данных резко повышается. На выходе заказчик получает ложную информацию и основывает на ней такие же ложные выводы.

2000 слов о том,  как нельзя проводить фокус-группы

В основу легла показательная  ситуация, имевшая место в реальной практике маркетинговых исследований. Известное исследовательское агентство, назовем его «Absurd Research», недавно провело серию фокус-групп по заказу крупнейшего европейского автомобильного концерна. Один из методических светил качественных исследований из другого исследовательского агентства волей закономерного случая был приглашен к участию в одной из этих фокус-групп. Хроника этого события и будет изложена ниже. Будет изложена с нарочитым акцентом на допущенные фатальные ошибки, а точнее не ошибки, а убийственные отступления от методических требований, каждое из которых способно списать весь исследовательский проект в категорию бессмысленных и опасных для бизнеса заказчика. Для наименее посвященных читателей текст будут сопровождать комментарии-объяснения, чем именно опасны допущенные компанией ошибки.

Предмет проведенного исследования.

Существует старейшая  европейская автомобильная марка, очень распространенная в России. Когда-то это была полноценная во всех смыслах «иномарка» среднего класса, но сегодня мы скорее узнаем в ней  ближайшую альтернативу «Ладе». Остановимся  на определении «автомобильная марка  очень низкого класса», назвав ее условно «Despair».

Спортивное подразделение  этой автомобильной компании находится  в процессе принятия решений о  выпуске на российские дороги нового спортивного купе, с позиционированием  в сегменте 60–80 тысяч евро. Вполне здравая мысль со стратегической точки зрения, особенно после удачных  рыночных экспериментов других средних  производителей. «Целится» спортивный «Despair» в аудиторию «машин для эгоиста»: Mercedes SLK, Audi TT, Porsche 911, BMW Z4, Jaguar XKR и прочих «luxury-игрушек». Планируя пересадить «эгоистов» с перечисленных марок на «Despair», компания заказывает исследовательскому агентству проект, направленный на выявление отношения этой аудитории к возможным концепциям нового спорткара, особенностям и характеристикам, способным поставить его в перечисленный альтернативный ряд. По замыслу, на фокус-группы приглашаются владельцы тех самых Porsche, Jaguar, Audi и прочих. Оставим на совести рыночных стратегов попытки внедрить привычно дешевую марку на рынок роскоши и рассмотрим, чем исследовательская практика отличалась от вполне здравого теоретического замысла.

Привлечение участников фокус-группы.

Поиск участников для фокус-группы — одна из самых сложных задач качественных исследований. Когда речь идет о богатых респондентах, сложность возводится в степень их высокого дохода. Другими словами, найти высокодоходных респондентов и пригласить их на пару часов в офис агентства — дорогой и сложный бизнес-процесс. Решается эта проблема обычно двумя путями: методом «снежного кома» с истоками от сотрудников исследовательского агентства, либо с использованием соответствующих баз данных. Второй способ применяется в отношении высокодоходной группы агентствами, специализирующимися на исследовании luxury. Первый, хаотичный и непредсказуемый способ рекрутинга богатых респондентов методом «снежного кома», в России гораздо более распространен.

Применение этих способов в рассматриваемом проекте привело  к следующим результатам. Первые две запланированные фокус-группы, по признанию модератора, не состоялись из-за недобора респондентов. Критерии отбора были довольно простыми, но очень жесткими: в собственности респондента должен находиться автомобиль класса «спортивное купе», приобретенный в 2006–2008 годах у официального дилера. Перечень альтернатив ограничен двумя десятками конкретных моделей автомобилей. Соответственно, собрать фокус группу из четырех человек агентству «Absurd Research» удалось с третьего раза. Собственно, «удалось» — это не совсем корректное определение в данном случае. И вот почему.

Безусловно, заказчик хотел  общаться с богатыми «эгоистами-гедонистами», которые могли бы рассказать о  том, какими причудами характера  и личности они были ведомы, оставляя 100 тысяч евро за очень непрактичную безделушку на огромных колесах. В итоге, они получили следующее: мелкого предпринимателя на кабриолете Mercedes 2001 года выпуска, подростка-мажора на таком же кабриолете, тихую девушку на древнем Hyundai Coupe, и исследователя профессионала. К слову, у агентства был шанс собрать результативную фокус-группу, поскольку к назначенному времени в офис агентства явились около 15 приглашенных. К несчастью, ожидание начала дискуссии растянулось на полтора часа, и пятеро кандидатов ушли, не дождавшись внимания к ним. Речь идет о наиболее подходящих, на первый взгляд, к требованиям отбора людях. Другие приглашенные были «забракованы» за явным несоответствием критериям отбора.

Ни один из приглашенных участников не соответствовал критериям  отбора, установленным заказчиком исследования, поскольку никто из них не являлся  представителем целевой аудитории по признаку дохода. Только исследователь полностью соответствовал требованиям заказчика, но он не мог принимать участия в фокус-группе в силу профессиональной подготовки. Модератор группы был оповещен об этом факте, но не исключил исследователя из группы и, кроме того, попросил его скрыть свою профессию в случае проверки. Таким образом, изначально состав группы абсолютно не соответствовал требованиям исследования.

Подготовка к  началу фокус-группы.

Начало дискуссии было назначено на 19:00 рабочего дня, началась же она в 20:30. При входе приглашенных «встречала» женщина, буркая под  нос «Проходите прямо», не отрывая  глаз от журнала. Все полтора часа ожидания люди сидели в фойе, с каждой минутой все больше разочаровываясь  в своем визите. Как уже говорилось выше пятеро приглашенных покинули это молчаливое заседание, не дождавшись мероприятия. «Мошенники» терпеливо дожидались вердикта, а состоявшиеся участники дискуссии на последнем дыхании добрались до итога «подготовки» к фокус-группе, каждый в силу собственных причин. Профессиональный интерес Исследователя также превзошел предельное раздражение от затянувшегося ожидания.

Стоит заметить, что размер назначенного вознаграждения участников дискуссии составлял 6000 рублей, что  достаточно много для подобных мероприятий. Объяснение высокой компенсации  заключалось в планируемой продолжительности  встречи — около 3,5 часов. Вместе со временем ожидания это больше, чем  перелет из Москвы в Барселону. Соответственно, к началу дискуссии участники  были «заряжены» таким количеством  негатива, что ее впору было отменить. Но, тем не менее, фокус-группа состоялась.

Качественные  методы маркетинговых исследований направлены на выявление глубинных  мотиваций, мнений, отношений респондентов к изучаемой теме. Глубокие когнитивные  и эмоциональные контексты выявляются в психологической плоскости, поэтому  взаимное расположение, доверительная  и дружелюбная обстановка критически необходимы в таких процессах. В  противном случае исследователь  получит автоматические, социально  приемлемые или защитные высказывания, а не истинное отношение респондента. Более того, коллективное обсуждение подразумевает множество взаимных трансакций и эффективным может  быть лишь в случае позитивной атмосферы  дискуссии. Создать такую атмосферу  — задача модератора и его помощников, причем две трети этой работы должно приходиться на этап подготовки. Во время ожидания начала мероприятия  помощники модератора должны оживить  собравшихся, объединить их вокруг каких-либо интересов и тем настроить  на легкий дружелюбный лад. «Брошенные»  респонденты обычно накапливают  раздражение, особенно если фокус-группа назначается в будние дни, тем  более — вечером. Ожидать конструктивного  сотрудничества от деструктивно настроенных  респондентов бессмысленно.

Знакомство участников.

Пригласив четверых отобранных участников в помещение фокус-комнаты, модератор попросил их представиться и рассказать немного о себе, о своем образовании, месте работы, должности и других деталях, которые ораторы сочтут важными. Поочередно получив слово, участники рассказали свои истории, из которых составился такой социальный портрет группы, что мероприятие впору было отменить. Но оно состоялось. Фокус-группе, наполненной представителями диаметрально противоположных социальных сегментов, организаторы из «Absurd Research» дали право на жизнь, в очередной раз дискредитировав этот исследовательский метод.

Что обычно происходит с человеком, оказывающимся в  плотной среде представителей совершенно чужой социальной группы? Если говорить о человеке среднего уровня психологической  «закалки», коих в России большинство, он либо закрывается перед окружением, которое по умолчанию считает  недружественным, либо принимает одно из ролевых состояний, диктующих  дальнейшее поведение. В таких состояниях может быть проявлена агрессия, цинизм и крайний прагматизм, либо напротив, инфантильность или глуповатая игривость. Любое из этих состояний препятствует искреннему выражению мыслей и взглядов. Также выражению истины мешает стремление к социальной приемлемости себя и  своих заявлений, являющаяся главной проблемой продуктивности групповых дискуссий. Ошибкой модератора в этом случае было публичное извлечение информации о социальном уровне участников.

Ход дискуссии.

Тема исследования была достаточно близка и интересна участникам, но беспрецедентная четырехчасовая длительность беседы плюс монотонность ее организации  внесли ощутимые коррективы в результат. Фокус-группы не напрасно традиционно не выходят за пределы двух часов: физиологическое утомление участников делает их ответы автоматическими, притупляет внимание, демотивирует участие в дискуссии. В нашем случае, спустя два часа с момента начала фокус-группы, голодные участники думали только о еде, курящие — только о сигарете, не выспавшиеся — о своей подушке. Тем временем, вопросы и задания становились все сложнее, а сил на них у респондентов оставалось все меньше. Безусловным плюсом групповых дискуссий на фоне персональных интервью является динамика обсуждения, при которой истинное отношение вытачивается группой, как скульптура из камня. Это принципиальное преимущество метода очень легко разрушить скучным рутинным сценарием, когда модератор элементарно задает вопросы поочередно каждому из участников, будто проводит формализованное интервью по анкете. На проведенной фокус-группе задавались десятки вопросов, и каждый из них мог стать кладезем информации для заказчика, если бы модератор выносил их на обсуждение и выяснял перекрестные мнения, аргументы и контраргументы, а не просто «изымал» поверхностные суждения участников. Фактически, на этой дискуссии чаще задавался вопрос «что?», в то время как качественным исследованиям гораздо больше соответствует вопрос «почему?».

Еще одним крупнейшим недостатком  модератора была неспособность контролировать динамику группы. Бывало, наиболее «разговорчивый»  участник убивал по 10 минут на абсолютно  отвлеченные темы, никак не связанные  с предметом беседы. Модератор  должен пресекать такие непродуктивные «всплески», которые наносят ощутимый вред результатам, отвлекая участников от темы, размывая их внимание, затрачивая лишнее время. В нашем случае модератор  терпеливо выслушивал каждое такое  словоизвержение, не делая никаких  попыток вернуть разговор в тематическое русло.