В данном случае вы ищете обратную связь в масштабе. Мы использовали этот метод для доказательства гипотезы о подписке в компании электронной коммерции, где я работала. У начальника операционного отдела появилась отличная идея, как продавать больше существующих продуктов. Это было как раз в то время, когда Amazon внедрял свои услуги подписки в один клик. Наш босс понял, что этот подход применим и к нам, поскольку у нас на сайте было много продуктов, требующих от людей ежемесячного заказа – например, белковый порошок, витамины и добавки.
Он пришел ко мне с этой идеей и попросил изучить, сколько усилий потребуется для ее реализации. К сожалению, наша сторонняя система не поддерживала продукты по подписке, и это потребовало бы значительных затрат на разработку. Мы подсчитали, сколько примерно будет стоить полная реализация, и провели эксперимент в стиле «Волшебника страны Оз», чтобы выяснить, принесет ли подписка достаточный доход.
В итоге мы просто продублировали каждый продукт, который подходил для подписки, переименовали его, добавив к названию слово «подписка», и приложили простое соглашение в формате PDF. Для покупателей это выглядело как обычный продукт, однако на обратном конце заказы получал отдел обслуживания клиентов и ежемесячно их перезаказывал. Мы отслеживали продажи в течение четырех месяцев и обнаружили, что многие люди отменяли подписку на второй или третий месяц. Это было странно. То есть, если они хотели продолжать пользоваться продуктом, им нужно было заказывать его заново.
Я позвонила некоторым из них, чтобы выяснить это. У всех была одна общая проблема. Они говорили: «Я хочу контролировать покупки. Я подписан на слишком большое количество товаров. Я бы предпочел делать заказ самостоятельно». Зная это, мы попробовали применить другой подход. В итоге мы каждый месяц отправляли простое электронное письмо тем людям, которые покупали продукты с предложением перезаказа. Продажи резко возросли! А поскольку мы сначала экспериментировали, то в итоге сэкономили более 100 000 долларов на разработке.
У компаний есть соблазн оставить эксперименты «Волшебника страны Оз» на долгое время, потому что для клиентов они выглядят реальными. Это неразумно, потому что это все еще ручная работа. После того как вы поймете, в каком направлении хотите двигаться, вы можете начать думать о решении или перейти к другим формам экспериментов.
«Волшебник страны Оз» также можно сочетать с такими техниками, как A/B-тестирование. При A/B-тестировании вы распределяете часть трафика на новую идею решения, чтобы посмотреть, насколько она изменит показатели по сравнению с текущим состоянием сайта. Вы можете использовать этот метод и за пределами «Волшебника», чтобы протестировать новый дизайн или сообщения на вашем сайте.
Но в использовании A/B нужно быть осторожным. Его не стоит применять, если: 1) вы все еще не уверены в направлении решения; 2) у вас недостаточно трафика, чтобы результаты имели статистическую значимость. В последнем случае для получения обратной связи можно использовать такие методы, как концепт-тестирование.
Концепт-тестирование
Концепт-тестирование – это еще один эксперимент, направленный в большей степени на взаимодействие с клиентом. В этом случае вы пытаетесь продемонстрировать или показать концепцию пользователю, чтобы оценить его мнение. Они могут быть разными по исполнению: от целевых страниц и эскизов с низкой точностью, до прототипов с более высокой точностью или видеороликов о том, как реализуется услуга. Идея заключается в том, чтобы представить идею решения самым быстрым и легким способом.
Важно отметить, что данный тип эксперимента имеет тенденцию быть скорее генеративным, чем оценочным. Как и исследование проблем, генеративные эксперименты помогают лучше понять, чего хочет пользователь от решения. Объясняя концепцию, вы просите пользователей представить себя в определенной ситуации и задаете вопросы о том, решит или не решит проблему предложенный вариант.
Если вы хотите сделать его оценочным, чтобы твердо проверить гипотезу, вам нужен определенный критерий «прошел или не прошел». Это может быть то, что я называю просьбой – что-то, что вам потребуется от пользователя (либо в форме обязательства, денежной суммы, времени, либо какого-то другого вложения, которое покажет его заинтересованность). Целевые страницы, например, почти всегда предлагают идею и содержат просьбу в виде ввода адреса электронной почты.
Во многих компаниях, находящихся на ранних стадиях развития, концепт-тестирование – это способ получить первые продажи или капитал. Именно так компания Dropbox получила свой первый раунд инвестиций. Начиная свою деятельность, Dropbox догадывалась, что самой большой проблемой, которую она могла решить, была бесшовная синхронизация документов на компьютерах и в Интернете. Эта проблема, безусловно, существовала, но компании оказалось трудно предложить решение инвесторам. Когда они объясняли принципы работы Dropbox, инвесторы отвергали идею, ссылаясь на переполненный рынок аналогичных инструментов. Как бы они ни старались объяснить решение, инвесторы просто не могли его представить.
Поэтому компания прибегла к эксперименту с решением. Команда сняла видео, демонстрирующее возможности Dropbox. Она не создавала демонстрацию или прототип, а использовала видеомонтаж, чтобы показать инвесторам, как это будет выглядеть. Все это напоминало демонстрацию реального продукта, хотя это и не был готовый продукт. Когда инвесторы увидели концепцию своими глазами, они пришли в восторг. Dropbox смогла получить финансирование и убедиться в том, что находится на правильном пути.
Когда не нужно проводить тщательные эксперименты
Недавно на семинаре один из менеджеров спросил меня: «Всегда ли нам нужно проводить эксперименты? Что, если проблема легко устранима?» Ответ – нет. Хотя «Консьерж», «Волшебник страны Оз» и концепт-тестирование – хорошие методы, иногда вам не нужно так тщательно экспериментировать. Важно помнить, что эти инструменты используются при более высоком уровне неопределенности.
Например, я работала с одной командой, которая экспериментировала над тем, как уменьшить количество звонков в техподдержку. Команда обнаружила проблему – на экране пропала необходимая кнопка. Будучи отличниками в методологии, они хотели провести A/B-тест, отобразив кнопку для половины участников и измерив изменения. Я сказала команде, что это неправильный подход. В данном случае команда знала проблему и решение. Пришло время его реализовать. Здесь не было необходимости в предварительном тестировании, хотя они все равно должны были измерить, уменьшилось ли количество звонков после внедрения.
Зачастую решение не такое однозначное, как недостающая кнопка, но и не такое сложное, как некоторые другие примеры, рассмотренные в этой главе. В этом случае вам все равно следует разрабатывать продукт и учиться, а не спешить с готовым решением. Но есть, однако, и другие инструменты, к которым вы можете прибегнуть, например, прототипы.
Прототипы – это самый популярный инструмент в тестировании. Когда вам нужно узнать, решает ли конкретная функция проблему, и позволяет ли она достичь желаемого результата, вы можете к ним обратиться. Это отличный инструмент, поскольку он не требуют никакого кода. Кроме того, существует множество программ, которые помогут решить вашу задачу.
