сплит тестирование что это
Сплит-тестирование: как это работает у нас
В своё время один из моих коллег начал работать на новом месте, и от него ожидали срочного и стремительного наращивания темпа продаж спортивного инвентаря. В частности, предполагалось активное продвижение через почтовые рассылки. Ситуация у него была сложная: и объем работы большой, и сделать нужно всё «вчера». В то время как клиентская база для него новая, и о ней ему мало что было на тот момент известно. Чтобы не ударить в грязь лицом, он начал потихоньку делать небольшие замеры через сплит-тесты каждый раз, когда делал рассылки. В итоге он разобрался с базой, клиенты полюбили его рассылки, а магазин начал постепенно увеличивать оборот.
Понять пристрастия и предпочтения ваших клиентов, угадать желания, создать непреодолимое желание у вас купить – вот что для вас действительно ценно. В ход идут различные опросы, анкеты, дорогостоящие маркетинговые исследования, долгие раздумья над результатами рекламных акций и продаж. Всё, лишь бы угодить клиенту. Всегда хочется избежать вот этой всей «тягомотины» и «прощупать» свою базу менее затратными по финансам и времени способом. Один из таких способов – сплит-тестирование.
Стандартный тест
И сразу вас огорчу, функционал сплит-тестирования есть не у каждой системы почтовых рассылок. Чаще всего, процесс тестирования выглядит достаточно громоздко. Вы отбираете часть вашего списка рассылки, разбиваете его на две рандомных группы и отправляете две разных кампании (группа А и группа B, откуда тестирование и получило своё второе название – A/B тестирование). После этого вы вновь возвращаетесь к рассылке и в ручную проверяете статистику каждого из двух писем, сравниваете её и выделяете письмо-победителя. Вы можете проверять количество открытых писем, или количество кликов – любой параметр, который вы хотели проверить перед началом тестирования. А затем письмо-победитель уже рассылается по оставшейся части базы в качестве настоящей кампании.
Это действительно занимает время, которого почти никогда нет. При том, что как бы вы ни были загружены, подразумевается, что вы повторяете подобную процедуру каждый раз. И если вы этого не делаете – значит, якобы, не такой уж вы и хороший маркетолог или менеджер. Это конечно неприятная затея при условии ручной обработки данных, при быстром темпе и большом объеме работы. А ведь без сплит-тестирования вы вынуждены работать с вашей базой «вслепую», на практике реальных кампаний терпя удачи и поражения «в реальном времени». Как выход – заказ маркетингового исследования, который может вылететь в копеечку.
На самом деле не пугайтесь, если система почтовых рассылок хочет удержаться на рынке, она обязана вас от всего этого избавить, и дать вам возможность делать рассылки легко и непринужденно, тогда, когда вам это нужно или прост этого хочется.
Автоматизированное тестирование
UniSender предлагает удобный функционал для сплит-тестирования, который позволяет провести весь тест в автоматизированном режиме и сократить время обработки результатов до минимума. В результате, ваше тестирование будет состоять из нескольких простых шагов, о которых мы уже писали в предыдущем посте.
Как это работает
После того, как вы создали два письма для теста, вы нажимаете не на отправку, как обычно а на кнопку «сплит-тестирования», после чего в открывшемся всплывающем окне вам сразу предлагается выбрать параметры вашего тестирования, включая процент вашей базы, который вы будете использовать. Таким образом вам не приходится выбирать сегмент «вручную», что определенно заняло бы дополнительное время. Вы можете выбрать и сегмент внутри сегмента: если при создании письма, вы выбрали, что оно будет уходить на конкретный сегмент вашей базы, то сплит-тест будет проводиться только в рамках этого сегмента.
Система сама предложит вам выбрать более широкий список, если вы включили в рассылку слишком мало адресов. В нашем случае, мы решили отправить тестовую рассылку на список, состоящий из 4 адресов, поэтому системе мы выдали задание отправить письмо на 90% базы. В режиме использования реальной базы вам, конечно оптимально будет использовать не больше 10-20% от неё для проведения теста. После этого вы можете следить за тем, как проходит рассылка в режиме реального времени:
Если совершенно очевидно, что одно письмо вырывается вперёд, вы можете нажать ссылку «считать победителем» до окончания рассылок. Письмо, которое очевидно вырвалось вперёд по заданным показателям, система автоматически дошлёт оставшемуся списку контактов:
После чего сплит-тестирование считается завершенным, а оставшаяся часть базы получает «выигрышную» рассылку. Вам предлагается проследить за результатами рассылки, что вы можете сделать по клику в этом же окне:
О том, как идёт рассылка каждого из писем можно следить в отдельном окне. Так же вы будете видеть результаты выигравшего письма, которое досылается по оставшейся базе:
В результате вы получаете сразу несколько преимуществ:
В нашей практике был случай, когда молодая коллега решила отправку сделать в пятницу вечером. Начальник отдела был категорически против и о всей этой идее был самого невысокого мнения: традиционно считается, что в пятницу вечером за компьютером ни души, и никто рассылку читать попросту не будет. Сотруднице не хотелось выглядеть бестолочью в глазах начальства, поэтому она предложила сделать сплит, так как у неё были основания полагать, что рассылка может быть успешной. Как ни странно, она оказалась права. В клиентской базе сайте знакомств, который они раскручивали, оказалось немало пользователей, которые по каким-то причинам проводили вечер пятницы не за телевизором и не с друзьями, а именно за компьютером. В результате рассылка привела скромный, но траффик, который компания без её инициативы могла бы и не получить.
Маленькие хитрости
В идеале, сплит-тестирование должно проводиться с каждой вашей рассылкой. Но если со стандартными системами это превращалось бы в бесконечную трату времени с выбранными вручную сегментами и со сравниваемыми вручную результатами, с Unisender это довольно быстро. От обычной рассылки это будет отличаться лишь несколькими кликами.
Благодаря сплит-тестированию вы сможете со всех сторон наиболее подробно «прощупать» вашу базу. Вам не нужно будет заказывать дополнительное маркетинговое исследование ваших клиентов и выделять на это бюджет, так как с каждой вашей рассылкой вы будете проводить мини-тестирование.
Важным моментом является правильно построенный сбор информации о вашей базе. Если вы владеете данными о возрасте, поле, географии ваших лидов, вы можете сегментировать вашу базу более детально. В этом случае, вы можете сделать, например, сплит-рассылку только женщинам, или только клиентам от 25 до 35 лет, например. Таким образом, можно «рассмотреть под лупой» каждый сегмент, узнать, на какие сообщения тот или иной клиент откликается охотней, когда он более доступен для вашей почты, и многое другое.
Варианты исследования
Протестируйте сплит-тестирование и другие возможности сервиса UniSender бесплатно: воспользуйтесь тест-драйвом наших услуг. Таким образом, без каких-либо обязательств и затрат с вашей стороны вы сможете оценить результативность e-mail рассылок для вашего бизнеса. Мы докажем вам, что эффективность ваших рассылок с нашей помощью можно повысить минимум на 20%.
Что такое сплит-тестирование
Несмотря на обилие статей о том, как правильно рекламировать, настраивать внешний вид и разрабатывать сайт так, чтобы конверсия была высокой, советы редко бывают универсальными: то, что хорошо работает для одних проектов, может не дать никакого эффекта в других. Многие боятся отрицательного эффекта от изменений и годами ничего не меняют. Вариант кажется безопасным, а на самом деле сайт будет устаревать, давая дорогу конкурентам, которые будут гибче реагировать на интересы пользователей и внедрять полезные изменения.
Но как узнать, что изменение скажется на конверсии сайта положительным образом?? А вдруг лучше ничего не менять?
Вот для таких ситуаций и существует сплит-тестирование. Сразу предупреждаю, что статья носит общеобразовательный характер и рассчитана на начинающих пользователей.
Понятие сплит-тестирования
Как и многие другие, этот термин пришел к нам с Запада: на английском он звучит как A/B testing или Split testing.
Сплит-тестирование – это метод исследования, при котором сравниваются два (или более) варианта, чтобы понять, какой из вариантов предпочтителен с точки зрения маркетинговых показателей (увеличение конверсии, посещаемости и т.д.).
Сплит-тестирование позволяет оценить эффективность различных элементов на странице (их расположения, цвета, контента и т.д.).
Что можно тестировать с помощью A/B?
Тестировать можно все что угодно, начиная с цвета отдельной кнопки и заканчивая разными вариантами дизайна сайта. Давайте рассмотрим на примере.
У вас есть кнопка «Купить» белого цвета. Вы видите, что на других сайтах кнопку обычно делают красной, и думаете, может быть, и вам сделать ее такого же цвета? Идея хороша, но как узнать, будет ли она эффективной? Если просто изменить цвет кнопки с одного на другой, то конверсия может вырасти или упасть. Но повлиять на это может и сотня других, не зависящих от кнопки факторов.
Поэтому наиболее удобный и правильный вариант – создать две версии сайта: на одной будет старая кнопка (белого цвета), на другой – новая кнопка (красного цвета).
Далее используем специальные инструменты для сплит-тестирования – теперь примерно половина трафика будет уходить на старую версию сайта, а вторая половина – на новую. Желательно, чтобы трафик равномерно распределялся на разные сайты (по крайней мере, маркетологам стоит это отслеживать).
Анализ результатов через некоторое время позволит понять, стоит ли внедрять изменения на сайт или надо попробовать что-то другое. 
Таким образом, тестирование позволяет искать и внедрять новые идеи, направленные на увеличение конверсии и результативности сайта в целом.
Когда проводить сплит-тестирование?
Тестировать и менять элементы можно в любое время, с причиной или без (но все же не слишком часто).
Вы узнали о новом тренде, который может увеличить конверсию – сделайте сплит-тестирование. Лендинг не дает результатов – подумайте, что можно изменить, и сделайте сплит-тестирование. Конверсия сайта стабильна на протяжении какого-то времени, но вы хотите увеличить ее – посмотрите, какими способами это можно сделать, и проведите сплит-тестирование.
Что чаще всего меняют:
Инструменты для тестирования
Существует несколько разных сервисов, которые дают возможность провести подобное тестирование. Им можно посветить отдельную статью. Здесь я упомяну Google Analytics – в нем есть бесплатный инструмент Google Analytics Experiements, который можно использовать для тестирования.
Прочитать про эксперименты от Google можно тут (и также найти другие полезные статьи). Плюсы использования Google Analytics очевидны: инструмент знакомый, русифицированный, бесплатный.
Другие сервисы, на которое можно обратить внимание:
Дополнительно
Сплит-тестирование используется и в рассылках. Принцип тот же самый: часть писем уходит одной половине подписчиков, часть – другой. Это можно реализовать своими силами, создав два разных письма и разделив базу подписчиков на две части.
Напоследок несколько идей, которые вы можете попробовать, чтобы увеличить конверсию страницы:
A/B-тесты: как развивать бизнес с помощью экспериментов
Для всех, кто думает, как зарабатывать больше на своем интернет-магазине. Рассказываем, зачем A/B-тесты нужны ecommerce, когда их проводить и как избежать ошибок.
Немного о Growth marketing или Growth hacking
Четкого определения термина Growth hacking нет. Впервые он был озвучен относительно недавно, в 2010 году, Шоном Эллисом, маркетологом Dropbox. В своей статье о старт-апах он упомянул о гроу хакере, как о специалисте, который с помощью нестандартных решений и тестов находит наилучшие решения, позволяющие проектам расти.
Growth hacking (гроу хакинг) — это подход, который позволяет с помощью быстрых экспериментов над разными составляющими бизнеса определить самые эффективные пути развития.
Объектом эксперимента может выступать что-угодно: от самого продукта до отдельного этапа воронки продаж. Главное, чтобы на основе полученных данных, можно было формировать стратегии роста. И если в оффлайне проведение маркетингового исследования может стоит десятки тысяч долларов, то экспериментировать онлайн не только бюджетно, но и доступно.
В интернет-маркетинге эксперименты проводятся с помощью а\б-тестов.
A/B-тестирование (оно же сплит-тестирование или аб-тестирование) — это метод исследования, который позволяет оценить эффективность различных элементов путем сравнения. Такой тест показывает, какой вариант лучше решает поставленные задачи.
Мы проводим тесты с помощью Google Optimize. Можно использовать и другие сервисы, но GO совершенно бесплатный. К тому же, интеграция с Google Analytics обеспечивает сохранность данных (не нужно предоставлять доступ сторонним сайтам).
A/B-тесты позволяют найти способ, как улучшить конверсию, экономические показатели и поведенческие факторы.
Главные преимущества A/B-тестов — это доступность и относительная малобюджетность. В зависимости от изменений, которые будут тестироваться, при малых затратах можно достигнуть больших результатов.
Увеличить объем продаж или количество регистраций, задержать клиента на странице магазина — все это и намного больше можно сделать благодаря сплит-тестированию.
Например, тестируя более заметный СТА-элемент, мы увеличили количество регистраций на сайте клиента на 9%.
В интернет-магазине можно тестировать расположение элементов, дизайн, надписи и тексты. Если говорить о страницах, то чаще всего это корзина, карточка товара и разные формы захвата (регистрация, подписка на новости).
АБ-тесты помогают оставаться конкурентоспособными, подстраиваясь под изменения рынка и пожелания клиентов, с наибольшей выгодой для компании.
Идеального времени, чтобы начать тестирование нет. Проводить тесты необходимо непрерывно, при условии, что у компании есть четкие цели и ресурсы. У приемов, которые позволяют бизнесу расти, есть жизненный цикл. Те тактики, которые приносили вам деньги год назад с каждым днем становятся менее эффективными. Во-первых, потому что пользователи быстро привыкают к любым изменениям и перестают обращать на них внимание. Во-вторых, потому что игроки рынка копируют работающие приемы. Для того чтобы проекты росли, необходимо постоянно развиваться.
Стоит учесть, что нежелательно одновременно тестировать гипотезы, которые касаются пересекающихся элементов (например, изменение цвета кнопки и текста). Это влияет на продолжительность экспериментов. По этой причине в крупных компаниях, тесты проводятся постоянно.
Идеи для тестирования берутся из аналитики (скажем, определяются слабые места сайтов) или из бизнес-задачи (например, увеличить количество транзакций). Можно подсматривать идеи у конкурентов, но то, что сработало для другой компании и аудитории, может не сработать у вас.
Крупные онлайн-ритейлеры проводят эксперименты самостоятельно, ведь на проектах такого масштаба чаще всего есть выделенная команда, которая состоит из специалистов по маркетингу, веб-аналитике, дизайну, копирайтингу и разработке.
На практике, средним и мелким ecommerce проектам проводить тестирование внутри компаний бывает тяжело из-за отсутствия кадров и опыта. Именно по этим причинам обращаются в агентства. Владельцу или менеджеру достаточно прийти с запросом формата хочу увеличить объемы продаж, а команда агентства сама просчитает возможные варианты, протестирует и презентует результат.
Если ваша компания обладает временными и кадровыми ресурсами, то можно провести исследования самостоятельно. Важно понимать, что отсутствие опыта влечет за собой риски, в том числе финансовые.
АБ-тестирования — один из самых доступных методов маркетингового исследования, но есть определенные тонкости, которые делают проведение аб-тестирования невозможным.
1. Отсутствие целей, проблемы, гипотезы. Прежде, чем проводить тестирование, необходимо определить проблему или установить цель. Получать больше заказов или сократить отток клиентов? Например, если вы хотите получать больше заказов, то можете поработать с текстом и дизайном кнопки, которая за это отвечает. Затем формулируется гипотеза, например: «Красный цвет кнопки срабатывает лучше, чем зеленый, так как он заметней».
Важно понимать, что гипотеза — это не прогнозирование. Прогноз — это ваши предположения, если гипотеза оправдается.
2. Тестирование нескольких гипотез одновременно. АБ-тесты могут проводиться одновременно только если не касаются пересекающихся элементов или процессов. Иначе, нельзя будет определить, что привело к результату.
Приоритезируйте. У вас или компании наверняка есть первоочередные цели. Достигнуть их можно разными путями, но благодаря опыту и данным аналитики, специалисты помогут определиться, какой тест окажется эффективней.
3. Останавливать тест, когда захочется. Для проверки каждой гипотезы нужно свое время, это зависит от множества факторов: сезона, трафика, наличия промо-активностей и т.д. Даже если кажется, что один вариант явно лидирует. Остановив тестирование раньше, можно получить недостоверные результаты, которые повлекут неверные стратегические решения. Проводить тест нужно до тех пор, пока не будет достигнут минимальный результат.
4. Привязываться к одному показателю. Будьте внимательны при оценке результатов. Допустим, вы тестировали показатель конверсии и определили, что красную кнопку нажимают чаще. Не забудьте проверить экономические показатели. Средний чек или объем продаж мог упасть.
Обязательно убедитесь, что выполнили следующие действия:
Ecommerce рынок в Украине выроc практически на 30%, а это значит, что продавать становится тяжелее. Для того чтобы стать действительно крупным игроком рынка, необходимо постоянно развиваться и совершенствоваться. Благодаря своей бюджетности и доступности, AB-тесты становятся универсальным инструментом для поиска новых возможностей. Важно понимать, что не успешных аб-тестов не бывает. Данные полученные на их основе, позволяют бизнесу масштабироваться.
Делитесь своими успешными и не очень историями сплит-тестирования. Будет интересно почитать.
Очень мало практической информации. Пересказ каждой второй статьи про сплит-тесты. Если хотите поделиться экспертностью в теме, то лучше осветить вопросы:
1) Как эффективно организовать процесс генерации гипотез для тестов?
2) Как с помощью GO (или другого инструмента) тестировать более сложный гипотезы, чем замена цвета кнопки? Например, 2 варианта первого экрана на товарных страницах в интернет магазине, при условии что точкой входа может быть и товарная страница, и страница другого типа.
3) Как правильно проверять статистическую значимость тестов более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека? Или как правильно принять решение о необходимости исключения из анализа статистических выбросов?
4) Нужны ли a/b тесты, если ты не яндекс или озон, а обычный региональный бизнес с 10к визитов и 100 лидами в месяц?
Дмитрий, спасибо за фидбек.
Эта статья — не техническая, мы не хотели рассказать механизм проведения тестирования, кстати, таких пересказов тоже хватает.
Данный материал мы готовили для владельцев бизнеса и специалистов, которые ищут возможные точки роста и не рассматривали аб-тесты в принципе.
Вы предложили отличные вопросы, будем думать над тем, чтобы написать вторую статью, более практичную.
Как всегда годный материал от вас. Спасибо!
Что такое сплит-тестирование (a/b split-testing)
Создайте рассылку в конструкторе за 15 минут. Отправляйте до 1500 писем в месяц бесплатно.
Отправить рассылку
Сплит-тестирование (А/В тестирование, a/b split-testing) – это метод, который применяется для оценки эффективности веб-страниц. А/В тесты позволяют повысить конверсию целевых страниц, подобрать заголовки, контент в электронной рассылке, простимулировать сбыт и повысить доходность интернет-проекта.
Метод split-testing носит практический характер, поскольку при эксперименте оцениваются количественные показатели функционирования тестируемых страниц. На основании полученных результатов подбираются способы улучшения.
Зачем нужно А/В тестирование?
Представьте, что вы запустили образовательный проект. На сайте собирается определенный трафик и просматривается некая активность. Конверсионность посадочной страницы составляет 3%, но вы желаете увеличить показатель эффективности до 6%. Предполагаете, что, изменив цвет СТА-кнопки с нейтрально зеленого на яркий оранжевый, сделаете призыв к действию более заметным.
Просто изменить цвет в текущей версии посадочной страницы нельзя. Ведь ваше решение интуитивное, а также вы не можете знать, понравится ли оно пользователям Интернет-ресурса. Чтобы проверить свою гипотезу, вам следует создать тестовый вариант страницы и посмотреть, приведет ли оранжевый цвет кнопки к увеличению конверсии и продаж.
Таким образом, А/В тестирование позволит:
Как работает А/В тестирование?
Механизм метода А/В тестов достаточно прост – вы разделяете всех посетителей ресурса на группы и направляете на две разные страницы. Половине пользователей вы показываете контрольную страницу А, а другой – измененную страницу В.
Чтобы получить статически валидные результаты, необходимо исключить влияние частей сегментации друг на друга, то есть один пользователь должен принадлежать к одной аудитории. Сделать это можно, прописав сегментную метку в cookies браузера.
При этом важно учитывать все каналы трафика (социальный, поисковый, рекламный, email) и делать замеры в одно время. Желательно также снизить влияние внутренних факторов – любых действий операторов call-центра, сервисной службы, модераторов ресурса, сотрудников редакции и т.д. Помогут вам в этом специальные фильтры в Google Analytics.
Бывает затруднительно разделить число пользователей на равные части. Тогда стоит ориентироваться на относительные метрики количества просмотров страниц, CTR, среднего чека. На первом этапе можно тестировать небольшие сегменты, постепенно увеличивая их объем.
Какими инструментами пользоваться при А/В тестировании?
Для выполнения А/В тестирования необходимо воспользоваться специализированным сервисом, который позволит правильно разметить аудиторию и собрать статистические данные.
Наиболее популярным инструментом для А/В тестирования считается Google Analytics Experiements. С его помощью можно протестировать разные компоненты страницы и настроить полную автоматизацию эксперимента. Сервис бесплатный, но здесь необходимо работать в редакторе HTML.
Для проведения сплит-тестирования также можно применять:
Для проведения А/В тестирования рассылки можно воспользоваться сервисом UniSender. Он позволяет не только создавать серию электронных писем, но и тестировать их неограниченное количество раз.
Какие элементы можно тестировать?
А/В тестирование (a/b split-testing) – прикладной метод, который позволяет влиять на метрики Интернет-ресурса и рассылки. Поэтому выбор компонента тестирования зависит от ваших целей и задач.
Фактически каждый элемент веб-страницы, конвертирующий посетителя в клиента, может быть протестирован. В классическом варианте тестируют изменения одного компонента. Но существует мультивариантное А/В тестирование нескольких измененных элементов.
Чаще всего тестируются такие элементы:
Как провести сплит-тестирование?
При проведении А/В тестирования не стоит руководствоваться исключительно опытом и интуицией. Такой подход не принесет должного результата, а время и ресурсы будут потрачены впустую. Здесь применима определенная методология, которая включает следующие этапы:
Для сравнения случайных параметров оценивают средние показатели, поэтому потребуется 7–14 дней для накопления сведений. Следует отметить, что чем большая емкость сегмента, тем меньше разброс суточных показателей. При небольшом трафике тестирование может занять больше времени.
Сплит-тестирование – полезный инструмент маркетинга. Он позволяет оценивать результативность веб-проектов и разрабатывать эффективную маркетинговую стратегию бизнеса.