Как фокус-группы стали главным ритуалом корпоративного мира — и почему они измеряют совсем не то, что обещают
Комната с зеркалом
Представьте комнату. Овальный стол, восемь удобных кресел, бутылки с водой, вазочка с печеньем. На одной стене — большое зеркало. Участники делают вид, что не знают, что это не зеркало: с другой стороны стекла, в полутьме, сидят бренд-менеджеры, представитель агентства и человек из отдела продаж. Они жуют сэндвичи, переглядываются и шёпотом комментируют каждую реплику.
Восемь человек отобрали по анкете и пообещали им вознаграждение за два часа разговора. Модератор улыбается и говорит, что «правильных и неправильных ответов не бывает». Затем он показывает новую упаковку йогурта, новый логотип банка или прототип приложения и спрашивает: «Что вы об этом думаете?»
Через два часа в отчёте появится фраза: «Потребители восприняли концепцию позитивно, большинство участников отметили…» В понедельник на совещании эту фразу произнесут как приговор или как благословение. От неё зависят бюджеты в десятки миллионов, судьба продуктовой линейки, а иногда и карьера людей, которые сидели за стеклом.
Главная мысль этого материала проста и неудобна. Фокус-группа не измеряет мнение рынка. Она фиксирует, что сказали восемь конкретных людей, в конкретный вечер, в конкретном настроении, под влиянием друг друга и модератора. А потом индустрия выдаёт это за знание о миллионах. Именно эта подмена — выдавание частного за общее — и делает метод, в том виде, в каком его применяют, ненаучным.
Откуда всё это взялось
У метода респектабельное происхождение. В 1940-х годах социологи Роберт Мертон и Патриция Кендалл в Колумбийском университете работали с коллегой Полом Лазарсфельдом над изучением того, как люди реагируют на радиопропаганду и кино военного времени. Они разработали так называемое «фокусированное интервью»: исследователь показывает людям материал и расспрашивает, что именно их задело и почему. Это был инструмент для выдвижения гипотез — способ понять, какие вопросы вообще стоит задавать.
Дальше случилось то, что случается со многими научными инструментами, попавшими в бизнес. Метод упростили, ускорили и сделали повторяемым в промышленных масштабах. В послевоенной Америке расцвели «мотивационные исследования», пообещавшие вскрыть тайные желания потребителя. К 1980–1990-м фокус-группы стали обязательным пунктом любого запуска: корпорациям требовалось что-то, на что можно сослаться, если продукт провалится. Сам Мертон впоследствии критически отзывался о том, как метод применяют в маркетинге, и о недостатке строгости в этой практике.
Обратите внимание на сдвиг. Для науки интервью было способом задать вопрос. Для бизнеса фокус-группа стала способом получить ответ. А ответ требует совсем другой логики — статистической.
Арифметика, которую нельзя отменить
Начнём с самого скучного, но самого неотвратимого — с чисел.
Типичный проект — от двух до шести групп по восемь–десять человек. Итого от шестнадцати до шестидесяти респондентов. Чтобы опрос с настоящей случайной выборкой дал погрешность около ±3 процентных пунктов, нужно примерно тысяча человек. Фокус-группа с настоящей погрешностью не может сравниться: она даже не претендует на то, чтобы быть выборкой.
Посмотрим на знаменитое «шесть из восьми». В отчёте это звучит внушительно: три четверти участников! Но даже если бы эти восемь человек были случайно выбраны из всего населения (а они не были), то 95-процентный доверительный интервал для доли 6/8 растянулся бы примерно от 41 до 93 процентов. Иначе говоря, «три четверти» с равным правом могут означать «меньше половины» и «почти все». Результат, который совместим и с провалом, и с триумфом, не является результатом.
Но дело даже не в малом числе. Хуже то, что эти люди не случайны.
Кто приходит. Участников набирают через базы рекрутёров, объявления и анкеты-скринеры. Соглашаются те, у кого есть свободный вечер, кто готов говорить вслух перед незнакомцами и кому интересны деньги за разговор. Это самоотбор, причём по чертам, которые напрямую влияют на ответы: общительность, уверенность в себе, готовность иметь мнение по любому поводу. Тихие, занятые и недоверчивые, то есть значительная часть реального рынка, в комнату не приходят.
Профессиональные респонденты. В индустрии давно известен феномен людей, которые ходят на группы регулярно и научились отвечать «как надо»: быть конструктивными, уметь формулировать, угадывать, чего хочет заказчик. Агентства борются с ними фильтрами, но фильтры — это тоже анкеты, которые можно пройти.
Независимость наблюдений. Статистика предполагает, что каждый респондент — отдельный источник информации. В комнате это не так. Когда пятеро из восьми соглашаются с шестым, это не пять независимых подтверждений. Это одно мнение и четыре эха. Об этом — подробно ниже.
Защитники метода скажут: «Мы никогда не говорили, что это статистика, это качественное исследование». Справедливо. Но тогда придётся признать, что значительная часть отчётов, презентаций и решений использует результаты именно как количественные: «большинство», «ключевой инсайт», «потребитель хочет». Метод формально честный, а практика — нет. А наука судит метод по тому, какие выводы из него действительно делают.
Люди не знают, почему они что-то хотят
Есть более глубокая проблема, чем размер выборки. Даже идеально отобранные, независимые и искренние респонденты не могут дать то, что от них требуют.
Фокус-группа построена на допущении: если человека спросить, почему ему нравится или не нравится продукт, он честно расскажет. Психология с 1970-х годов показывает, что это допущение неверно. В знаменитой статье 1977 года «Мы говорим больше, чем знаем» психологи Ричард Нисбетт и Тимоти Уилсон собрали десятки экспериментов, в которых люди уверенно объясняли причины своего выбора — и объясняли неверно. Причём они не врали: они не имели доступа к реальным причинам и просто сочиняли правдоподобные истории. Участники одного из экспериментов, например, выбирали чулки из одинаковых образцов, и на выбор влияло то, где образец лежал на столе (правый чаще побеждал), но объяснения касались «качества ткани». На вопрос о влиянии расположения испытуемые удивлялись.
Перескажем это для маркетолога. Когда человек в комнате говорит «мне не нравится этот цвет, он какой-то холодный», это не отчёт о работе его мозга. Это рационализация постфактум: ему задали вопрос «почему?», и мозг, как хороший адвокат, быстро подобрал аргумент. Реальная причина — ассоциация, усталость, запах в комнате, вчерашняя ссора — осталась за кадром.
Добавьте сюда разрыв между словами и делами. Люди искренне говорят, что будут покупать здоровую еду и пользоваться экологичной упаковкой, а в магазине берут привычное. Они искренне говорят, что готовы платить больше за качество, а потом идут за скидкой. Это не лицемерие, а нормальное устройство человека: намерение в комнате, где всё гипотетично и ничего не стоит, и решение у полки, где есть цена, спешка и усталость, — это два разных психологических события. Фокус-группа изучает первое и выдаёт результат за второе.
Группа — это не сумма людей
Социальная психология знает об этом больше семидесяти лет. В 1951 году Соломон Аш провёл серию экспериментов: испытуемым предлагали сравнить длину линий — задача, в которой ошибиться почти невозможно. Но в комнате сидели подставные участники, которые единогласно называли неверный ответ. Около трети ответов настоящих испытуемых совпали с ошибкой большинства, а около трёх четвертей участников хотя бы раз согласились с очевидно неправильным. Это были линии на карточках. Теперь вспомним, что в фокус-группе обсуждают вкус, дизайн, слоганы и «ощущения от бренда» — вещи, где правильного ответа не существует вообще, а значит, давление группы работает ещё сильнее.
Добавьте к этому групповую поляризацию: с 1960-х годов (Стоунер, затем Московичи и Дзаволони) известно, что обсуждение в группе обычно не усредняет мнения, а усиливает те, с которых люди начинали. Умеренная симпатия к идее после получаса разговора превращается в восторг, умеренное сомнение — в категорическое «нет». Добавьте каскад: первый, кто высказался уверенно и красиво, задаёт рамку, и остальные либо встраиваются в неё, либо молчат. Добавьте доминирующего участника — того самого человека, который в любой комнате говорит больше всех, — и социальную желательность: в присутствии незнакомцев и зеркала почти все становятся сторонниками здорового питания, разумных трат и экологичных решений.
Хороший модератор пытается всё это уравновешивать, но отменить законы групповой динамики не в его силах. В результате «мнение группы» — это продукт конкретного вечера и конкретного сочетания характеров. Те же восемь человек, опрошенные по отдельности, скорее всего, дали бы другой результат. Другие восемь человек в другой день — тоже. И это не гипотеза: две группы с одинаковым заданием регулярно приходят к разным выводам, после чего в отчёте появляется красивое объяснение, что в Казани люди «более традиционны», чем в Новосибирске. Разница между группами — самый обычный шум, но его принято выдавать за открытие.
Плохой день: геморрой и стрелка на колготках
Теперь — к самому наглядному. Представим мужчину по имени Андрей, ему сорок два. Три дня назад у него обострился геморрой. Об этом, разумеется, не знает никто: ни рекрутёр, ни модератор, ни соседи по столу. Андрей сидит на краю мягкого кресла, и вся его цель на ближайшие два часа — не выдать себя и дожить до конца. Когда ему показывают концепцию новой упаковки и просят «подробно рассказать о первых впечатлениях», он говорит либо «нормально, мне всё подходит» — лишь бы закончить, либо вдруг раздражённо критикует название. И дело совсем не в названии.
Или Марина, тридцать пять лет. По дороге она обнаружила стрелку на колготках, а запасной пары нет. Два часа она аккуратно держит ногу под столом и думает, заметят ли. Часть её внимания, а внимание — ограниченный ресурс, занята этим. Её оценка рекламы — это оценка человека, у которого половина головы занята другим, а вторая половина изо всех сил старается выглядеть собранной.
Можно улыбнуться, но за этой картинкой стоит вполне серьёзная наука. В классическом исследовании Нобелевского уровня влиятельности Норберт Шварц и Джеральд Клор в 1983 году показали: люди оценивают удовлетворённость жизнью выше в солнечные дни и ниже в дождливые, но стоит напомнить им о погоде — эффект исчезает. Человек принимает сиюминутное самочувствие за суждение о предмете. Тот же механизм работает в комнате с зеркалом: усталость, голод, боль, раздражение от пробки на дороге незаметно превращаются в «мне не понравилась идея».
Эксперимент Даттона и Эрона 1974 года (мужчины на шаткому мосту оценивали интервьюершу привлекательнее, чем на устойчивом) показал, что люди ошибочно приписывают физиологическое возбуждение не тому источнику. А теория настроенческой конгруэнтности памяти (Гордон Бауэр, 1981) говорит: в плохом настроении нам легче вспоминается плохое, в хорошем — хорошее. Спросите человека о его опыте с банком в день, когда у него неприятности, и вы получите иной банк, чем в день, когда ему повысили зарплату.
Главное тут не то, что люди несовершенны. Главное — ошибка не случайная и не усредняется. Случайный шум действительно гасится на больших выборках: тысяча человек, у каждого свой геморрой и своя стрелка, дадут картину, где эти факторы взаимно нейтрализуются. Но при восьми участниках один Андрей — это двенадцать с половиной процентов «мнения потребителей». А систематические причины никуда не деваются: люди приходят после работы, уставшие и голодные; в одно и то же время вечера; в одной и той же искусственной обстановке; зная, что за стеклом кто-то смотрит.
И ни один из этих факторов не попадает в отчёт. Скринер спрашивает возраст, доход и любимую марку йогурта, но не спрашивает, как у вас сегодня со здоровьем и настроением. Нельзя же учесть то, о чём не знаешь, а нельзя учитывать — значит, нельзя и утверждать.
Биография в комнате
Настроение — это ещё мелочи. За каждым участником стоит жизнь, и она тоже сидит за столом.
Человек, потерявший работу в прошлом году, смотрит на рекламу кредитной карты иначе, чем тот, кто никогда не оставался без дохода. Женщина после тяжёлого развода слышит рекламу семейной страховки не так, как её соседка по столу. Тот, кто однажды серьёзно отравился в суши-баре, воспринимает концепцию доставки еды иначе, чем остальные. Человек, потерявший близкого из-за болезни, по-своему реагирует на разговор о здоровье, медицине и «заботе о себе». Горе, тревога и пережитая травма меняют эмоциональную реактивность: повышают чувствительность к угрозе, сужают внимание, заставляют избегать напоминаний. Вопрос «что вы об этом думаете?» для таких людей не нейтрален — но выглядит нейтральным для всех, кто читает потом отчёт.
Проблема в том, что узнать об этом невозможно, да и не нужно: спрашивать участников об их потерях и травмах было бы неэтично и бестактно. Значит, эта часть реальности остаётся невидимой, но продолжает влиять на ответы, как погода на оценку жизни. В итоге то, что мы называем «мнением потребителя», на деле — смесь вкуса, обстоятельств и личных историй, которую невозможно разделить на составляющие.
Есть и общие события. Группы, проведённые в разгар кризиса, после тревожных новостей или в разгар пандемии, дают иное представление о ценностях, чем те же группы год спустя. Аналитик решит, что «потребитель изменился». А изменился на самом деле фон. Результат — не портрет, а моментальный снимок, и даже не портрета, а одного дня из жизни восьми людей.
К этому добавляется и ненадёжность памяти. Элизабет Лофтус десятилетиями показывала, что воспоминания не извлекаются, как файлы, а достраиваются заново при каждом обращении. Даниэль Канеман описал «правило пика и конца»: событие мы помним по самому яркому моменту и финалу, а не по средней длительности и качеству. Когда модератор просит: «Расскажите, как вы обычно выбираете шампунь», человек рассказывает не журнал наблюдений, а красивую и правдоподобную историю о себе.
Модератор, зеркало и клиент
Ещё один участник группы, которого нет в списке, — сам исследователь. В 1960-х Роберт Розенталь показал эффект ожиданий экспериментатора: тот, кто знает, какой результат желателен, невольно передаёт это участникам — тоном, мимикой, формулировкой уточняющего вопроса. Мартин Орн описал «характеристики требований»: участники эксперимента почти всегда догадываются, чего от них ждут, и стараются быть полезными.
Модератор знает бриф, симпатизирует проекту, часто работает в агентстве, которое хочет понравиться клиенту. Он кивает на одно, перефразирует другое, задерживает паузу в нужном месте. За стеклом сидит клиент, который ждёт подтверждения идеи, в которую вложены месяцы работы. И он его получит: если десять реплик были против, а две за, в отчёт попадут «яркие цитаты» обеих сторон, а в заголовок — удачная формулировка.
Затем наступает этап интерпретации, и здесь метод окончательно прощается с наукой. Если участники говорят «нравится» — значит, нравится. Если говорят «не нравится» — значит, «скрытое сопротивление новому» или «потребителю нужно время». Если молчат — «идея оказалась слишком глубокой, чтобы её обсуждать вслух». Любой исход трактуется как подтверждение. Карл Поппер назвал бы это классическим признаком ненаучной теории: гипотеза, которую нельзя опровергнуть, ничего не объясняет.
Добавьте отсутствие предварительной регистрации гипотез, отсутствие повторяемости, невозможность проверить выводы независимым наблюдателем, и вы получите процедуру, где выводы определяются не данными, а ожиданиями тех, кто эти данные собирает.
Громкие провалы и красивые легенды
Примеров, как «исследование показало одно, а рынок сделал другое», в индустрии хватает. Самый известный — New Coke 1985 года. Coca-Cola провела около двухсот тысяч слепых дегустаций, и новый вкус выигрывал у прежнего и у Pepsi. Но дегустация измеряла вкус одного глотка, а не отношение людей к символу, который они называли «своей колой». Рынок ответил возмущением, и спустя 79 дней компания вернула прежний рецепт под названием Classic. Участвовали в тестах настоящие люди, отвечавшие искренне. Просто их спросили не о том, что определяло их поведение.
Стив Джобс в 1998 году говорил в интервью, что проектировать продукты по результатам фокус-групп очень трудно, потому что люди не знают, чего хотят, пока им это не покажут. Часто цитируемая фраза про «более быстрых лошадей» Генри Форду, скорее всего, не принадлежит, но афоризм прижился именно потому, что описывает реальную проблему.
Однако честности ради: отдельные провалы — иллюстрации, а не доказательство. Строгий довод требует сопоставить прогностическую точность метода с альтернативами на большом числе проектов, и индустрия таких сопоставлений публикует удивительно мало. Это, пожалуй, самое красноречивое молчание во всей истории.
Что ответят защитники
Справедливость требует выслушать и другую сторону. Её аргументы серьёзны.
«Это качественное исследование, а не статистика». Верно, и грамотные исследователи так и говорят. Но тогда нельзя писать «большинство участников» и «потребители хотят», нельзя принимать решения о миллионных бюджетах по принципу «группа одобрила». Ответственность за подмену лежит не на методе, а на практике его применения.
«Группы помогают найти язык потребителя и выявить неочевидные проблемы». Да, как источник гипотез и способ отловить очевидные ляпы — непонятную инструкцию, нелепую ассоциацию с названием, пропущенную сторону использования — метод действительно полезен. Но это уровень «подсказки», а не «приговора».
«Опытные модераторы, проективные техники и тщательный отбор снижают искажения». Снижают, но не устраняют: проблема размера выборки, самоотбора, групповой динамики и влияния состояния и биографии сохраняется, как бы изящно ни была построена сессия.
«Альтернативы тоже несовершенны». Тоже верно: опросы страдают от социальной желательности, A/B-тесты не объясняют, почему люди так поступили, поведенческие данные не дают представления о мотивах. Метод должен выбираться под вопрос, а не по привычке.
Итак, точная формулировка тезиса такова: фокус-группа не антинаучна как идея, но ненаучна как способ измерять рынок и принимать по результатам крупные решения. Тот, кто использует её для первого, — разумен. Тот, кто использует для второго, — принимает атмосферу комнаты за закон природы.
Что делать вместо
- Смотреть на поведение, а не на заявления. Транзакции, пилоты в реальных магазинах, ценовые эксперименты, A/B-тесты на настоящих пользователях. Здесь решение принимается в реальных условиях и с реальными деньгами.
- Проверять гипотезы с рандомизацией и заранее заявленными критериями. Если нужно сравнить две упаковки, то на достаточно большой случайной выборке и с критерием успеха, записанным до начала.
- Наблюдать, а не спрашивать. Этнографические исследования, визиты домой, наблюдение за использованием показывают, что человек делает, а не что рассказывает.
- Использовать количественные опросы на репрезентативной выборке, где состояние и контекст хотя бы частично контролируются, а искажения измеряются.
- Если без групп никак — относиться к ним как к разведке. Проводить много групп с разными людьми, фиксировать контекст (время, место, состав), не писать слово «большинство», а все выводы считать гипотезами, которые затем надо проверить другими методами.
Вместо финала
Вернёмся в комнату с зеркалом. Два часа истекают. Андрей поднимается из кресла с таким облегчением, что его не скрыть, и говорит: «Вообще, нормально». Марина, поправив юбку, кивает: «Мне тоже понравилось». Модератор благодарит и вручает конверты. За стеклом аплодируют — тихо, чтобы не слышали.
В понедельник на совещании прозвучит: «Потребители одобрили».
Никто из тех, кто будет принимать решение, не узнает, что на самом деле одобрил Андрей: возможность наконец встать. И что на самом деле одобрила Марина: сохранившуюся тайну про колготки. Это не вина Андрея и Марины. Они просто люди. А вот выдавать их двухчасовое настроение за голос рынка — уже выбор тех, кто использует метод. Пока этот выбор не станет предметом честного разговора, комната с зеркалом будет оставаться самым дорогим способом получить мнение восьми случайно собравшихся людей и назвать его знанием.