К примеру, изменение одного слова в тексте email-рассылки, вероятно, не окажет большого влияния на конверсию или кликабельность ваших ссылок в письмах (CTR). Создание веб-сайта или запуск email-маркетинговой кампании – это лишь первый шаг в продвижении вашего бизнеса. Если после запуска одна из групп https://deveducation.com/ дает критично низкие показатели, мы сразу ищем причины такого падения. Самые частые — ошибки в конфигурации и настройках игрового уровня.
Это, в свою очередь, поможет собрать информацию для следующих тестов. Третий кейс демонстрирует Тестирование производительности результат тестирования изменений непосредственно на сайте компании. В рамках одного из экспериментов исследования к карточке каждого товара был добавлен блок с пятью преимуществами. Кнопки, расположение объектов, другие блоки остались на месте. Со временем вы начнете видеть все закономерности, которые увеличивают эффективность вашей маркетинговой активности. После А/B-тестирования можно создать собственную библиотеку проверенных лайфхаков, которые начнут работать на продвижение вашего бизнеса.
Но здесь уже можно поиграться с настройками, получить графический результат и сформулированные выводы. Поэтому длительность теста мы округляем до недель, чтобы учесть сезонность. Чаще наш цикл тестирования составляет одну-две недели в зависимости от типа А/В-теста. Однако a/b testing это их использование предполагает ввод специфичной начальной информации. Чтобы выбрать соответствующий вариант онлайн-калькулятора, вспомните про типы данных и разберитесь со следующими терминами.
По названию можно предположить, что идет тестирование каких-то двух объектов. В нашем случае речь будет идти про веб-сайты, но описываемую методику можно применить к интерфейсам приложений, почтовым рассылкам, лендингам и т.п. А вот на тысяче — упадет до 3% и останется такой же для остальной части аудитории. Для сплит-тестирования делим трафик поровну между вариантом Б и исходной страницей А.
Преждевременный просмотр результатов может испортить статистическую значимость. — В самом начале проведения тестирования проверьте, действительно ли оно работает. — Нулевая гипотеза предполагает, что результаты, А и В на самом деле не отличаются и что наблюдаемые различия случайны. Определите основные бизнес-задачи вашей компании и убедитесь, что цели A/B-тестирования с ними совпадают.
Помимо крупных сервисов для масштабных тестов есть простые онлайн-инструменты. Этот пример хорошо иллюстрирует, что разности средних значений недостаточно, чтобы считать полученные данные достоверными. Следует еще рассмотреть площадь пересечения распределений. Чем она меньше, тем с большей уверенностью мы можем сказать, что эффект действительно значим.
А/Б-тестирование — это инструмент, который поможет найти самые эффективные варианты для продвижения вашего сайта. Кроме этого, вы сможете проверить их сначала на вашей целевой аудитории, прежде чем внести решающие изменения. Перед началом проведения сплит-теста стоит проверить, подходит ли он вам. Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, то выборка может быть недостаточно репрезентативной.
Важно следить за мощностью эксперимента после его проведения, чтобы убедиться, что результаты являются значимыми. Бывает, что суть гипотезы именно в изменении подобных метрик, что ж, тут мы будем ориентироваться на два варианта проверки статистической значимости, которые основываются на размерах выборки. Длительность эксперимента рекомендуем рассчитывать, опираясь на объем выборки, позволяющей достичь репрезентативности.
В первую очередь нужно думать о том, как НЕ сделать продукт ХУЖЕ. Вы создаете 2 различных варианта рекламной продукции (пусть это будут электронные письма, продающие Ваши услуги) и в конце этих писем делаете разный призыв к действию. Метрики — количественные показатели, по которым вы оцените целесообразность изменений.
На клиентах, отобранных для тестовой и контрольной групп, нельзя запускать другие кампании. Поэтому такие клиенты замораживаются — до окончания текущего эксперимента их данные нельзя использовать для тестирования гипотез. Если тесты зависимые, то нужно проконтролировать, что одни и те же объекты не попадают в оба теста.
Допустим, если мы проверяем гипотезу на сотне человек, то увидим, что коэффициент конверсии составил 10%. Когда мы расширим выборку до тысячи человек, он останется таким же. Прежний вариант «Расчет цены» меняете на «Бесплатная консультация».
Если вы не хотите сопоставлять результаты А/Б-тестирования вручную по конверсиям, кликам, визитам и другим параметрам, проще воспользоваться базовыми возможностями Google Analytics. Второй вариант — объединить данные по доходам из CRM и расходам из рекламных кабинетов в одном отчете с помощью сквозной аналитики. Особенно это пригодится владельцам интернет-магазинов, которые хотят знать, куда тратится каждая копейка и сколько в итоге приносят вложения в сайт. Чтобы результатам А/Б-теста можно было доверять, тестирование должно быть статистически значимым и проводиться на статистически значимой выборке пользователей.
Причем позволяет делать это не вслепую, а ориентируясь на конкретные результаты. В итоге удается по крупицам выжать из первоначального дизайна максимальный доход (естественно, по ходу дела всячески меняя его и дополняя). Чтобы рассчитать статистическую значимость, можно использовать онлайн-инструменты — они проделают всю работу за вас и выдадут результаты в упрощенном виде. Чтобы потенциальный клиент дошел до страницы покупки, сайт должен быстро загружаться.
Тест Стьюдента не работает для метрик отношения из-за зависимых данных. Одна из причин этого — неправильная оценка дисперсии для таких типов данных. Как быстро собирать отчеты об эффективности рекламы, фиксировать путь лидов по каждой из ступеней продаж с помощью коннекторов, а также экономить силы на сборе аналитики — рассказываем в кейсе. Популярный инструмент для A/B-тестов — Google Optimize. Он бесплатный, но не всегда подходит для крупного бизнеса.
В первые два дня после запуска побеждал вариант игры без изменений (группа А), но это оказалось просто случайностью. Уже после второго дня показатель в группе В приобретает стабильно лучшие результаты. Для завершения тесту нужна не просто статистическая значимость, но и стабильность, поэтому ждем окончания теста.
