Стартапы и вообще предпринимательство – это все в истории про неопределенность, Потому что если у вас есть высокая определенность, то вы берете кредит и просто масштабировать вас Поэтому есть набор инструментов чтобы эта неопределенность как-то убрать.
Тестирование гипотезы – это один из инструментов, чтобы снизить неопределенность, а также можно попутно получить улучшение каких-то метрик. В худшем случае, мы чему-то учимся в процессе тестирования, в лучшем случае можно еще получить какие-то хорошие метрики, что-то улучшить и двинуться дальше.
Что такое относительно хорошая гипотеза?
- Мало, но важное (тестируем один параметр)
- Понятно, как подтвердить или опровергнуть
- Измеряем численно
- Понятно, когда остановиться
Очень важно понимать момент старта и когда нужно остановить, иначе можно очень долго мусолить одну гипотезу. Например, у нас был кейс: продавали часы в нескольких европейских странах. Мы решили попробовать, посмотреть, уже запустили логистику, и шли продажи. Затем Мы решили проверить гипотезу, а что будет если повысить цену? Потому что на картинках часы были красивые и дорогие, результаты креативов были хорошими, а по факту часы могут оказаться слишком дешевыми, значит, для покупателя это что-то подозрительное.
Мы построили гипотезу, решили, что будем изменять показатель на каждый шаг повышением цены. Начали проверять: на шаг 10 евро к цене, делали 100 продаж на шаг и не тратили больше 2000 евро. Тестировали АБ методу, потому что очень часто, особенно этим медиабай-персонал страдает этим, если мы делаем АБ-тестирование и у нас какой-то вариант выигрывает, то решение очень быстро принимается. Только очень преждевременно, а когда у нас есть два варианта, и байер видит, что оба варианта могут расходиться на 30-40 процентов, он автоматически понимает, что нет смысла принимать решение сейчас. В итоге, мы повысили цену в два раза и, при этом, у нас вырос конверт почти в два раза. Мы повторяли шаги, а потом с определенной цены у нас пошло снижение конверта достаточно резко, после этого мы остановились и зафиксировались на этой цене. Это был любопытный эксперимент.
Вот еще один кейс – это уже про бизнес-модель. У нас было предположение, что на некоторых азиатских рынках facebook и instagram будет хорошо работать яркий продукт. Т.е. это та же история про часы, какие-то красивые сумки, рюкзаки, потому что здесь порог входа очень высокий. Тот, кто работал на азиатском рынке уже сталкивались с тем, что местные fulfillment могут кидать, очень некачественно работать. В общем, такая не ней очень комфортная история для европейцев, например. При этом, локальная экспертиза при работе facebook и instagram очень слаба. Мы решили проверить, сможем ли мы там что-то сделать.
Начали гонять драй-тест (когда товара ещё нет на складе), сделали целевую страницу, налили туда трафик и смотрим, какая конверсия там. В случае покупки, возвращаем деньги, а в случае лида просто перезваниваем и говорим, что товара нет в наличии. В рамках эксперимента мы увидели, что там просто огненный интерес к этим товарам. Т.е. там стоимость лида была в 20 раз меньше, чем продажная цена товара.
Вот после этого, наш логистический партнер столкнулся с рядом косяков местных fullfilment. Все заработало только тогда, когда открыли местный склад с управляющим-европейцем. Но самое главное в этой истории то, что гипотеза была проверена на драй-тестах без каких-либо товаров.
Из опыта: что делать, а что не делать?
Делать:
– тестировать гипотезы своевременно
– уметь остановиться
– уважать статзначимость
– делать разброс
НЕ делать:
– тестировать мелочи
– уважать статзначимость (если есть много трафика)
– делать поспешные решения
– долго, дорого и сложно
Смысл в том, что если у вас есть возможность получить много трафика, то нужно брать на значимость. Если у вас нет возможности получить много трафика, то если вы начнете брать на важность и значимость и делать это близко к каким-то научными точкам, то вы будете тратить много денег и здесь нужно пробовать какие-то другие варианты. Например, применять этот метод с разными тестами.
Что можно тестировать, если говорить про маркетинг?
– можно тестировать всю воронку;
– можно любой продукт;
– можно тестировать все, что вы показываете пользователю;
– можно тестировать какие-то сообщения;
– можно работать с аудиториями;
– можно тестировать источники.