A/B-тестирование — что это и как работает

A/B-тестирование — это способ сравнить две версии страницы, письма, баннера, кнопки или функции и понять, какая версия лучше влияет на выбранную метрику. A/B-тестирование в маркетинге помогает проверять идеи на данных, а не на вкусе команды.

A/B-тест отличается от подхода «изменили и посмотрели». Если просто поменять кнопку и сравнить продажи до и после, результат может исказить сезонность, акция, новый источник трафика или внешняя новость. В A/B-тесте пользователи попадают в контрольную и экспериментальную группу в один период. Так сравнение становится чище.

Простой пример: есть посадочная страница с кнопкой «Оставить заявку». Команда хочет понять, какой вариант сработает лучше: «Оставить заявку» или «Получить консультацию». Одной части пользователей показывают первый вариант. Другой части показывают второй. Затем сравнивают конверсию.

A/B-тесты применяют в продукте и маркетинге. Их запускают на сайтах, в приложениях, имейл-рассылках, СМС, коротких всплывающих сообщениях от приложений или сайтов, платной рекламе, баннерах, карточках товаров и формах заявки.

Главная цель теста — снизить риск. Команда не внедряет идею сразу для всех. Она сначала проверяет ее на части аудитории.

Когда A/B-тест уместен, а когда нет

A/B-тест нужен не всегда. Он полезен, когда у вас есть трафик, понятная метрика и возможность разделить аудиторию на группы, то есть:

• можно показать разные варианты разным людям; 

• есть стабильный поток пользователей; 

• есть измеримая цель; 

• можно сохранить вариант для одного пользователя; 

• нет крупной акции, которая ломает сравнение; 

• команда заранее понимает, какую метрику считает главной.

Измеримая цель — это не «сделать лучше». Это конкретная метрика. Например: увеличить коэффициент конверсии формы (CR, conversion rate), кликабельность баннера (CTR, click-through rate), долю оплат, средний доход на одного пользователя или удержание пользователей.

A/B-тест может быть лишним, если трафика мало. При малой выборке результат легко превращается в шум. Например, 3 заявки против 5 заявок не всегда доказывают, что второй вариант лучше. Разница может появиться случайно.

Тест также не подходит, если изменение нужно внедрить срочно. Например, вы исправляете критическую ошибку в оплате. В этом случае не нужно тестировать. Нужно чинить.

Иногда лучше использовать аналитику без теста. Например, если нужно понять, на каком шаге воронки люди уходят. Для этого достаточно отчета, карты кликов, записей сессий или интервью.

Можно использовать квази-эксперимент – метод, где группы не распределяют случайно. Например, изменение запускают в одном регионе и сравнивают с похожим регионом. Такой подход слабее классического A/B-теста. Но он бывает полезен, если случайное распределение пользователей по группам в тесте невозможно.

Подготовка: гипотеза, метрики и аудитория

Хороший тест начинается до запуска. Сначала команда формулирует гипотезу.

Гипотеза отвечает на три вопроса:

1. Что меняем? 

2. Какую метрику хотим изменить? 

3. Почему это должно сработать?

Удобная формула: если мы изменим А, то получим Б, потому что В.

Пример: если мы заменим текст кнопки с «Оставить заявку» на «Получить консультацию», то увеличим конверсию формы, потому что пользователь яснее поймет ценность действия.

Это лучше, чем «поменяем кнопку и посмотрим». Во втором варианте нет причины, метрики и ожидаемого эффекта.

Метрики делят на основные и защитные. Основная метрика показывает успех, ее еще называют метрикой успеха. Защитные метрики помогают не ухудшить продукт. Например, такие метрики могут выглядеть следующим образом:

Нельзя выбирать метрику после теста — это частая ошибка, вывод по такому тесту будет слабым.

Аудиторию тоже нужно задать заранее. Новые и возвратные пользователи могут вести себя по-разному. Платный трафик и органический трафик тоже отличаются. Поэтому полезна сегментация.

Пример сегментов:

• новые пользователи; 

• возвратные пользователи; 

• пользователи из рекламы; 

• пользователи из поиска; 

• мобильные пользователи; 

• пользователи из конкретного региона.

Сегменты помогают понять результат. Но нельзя бесконечно дробить данные после теста. Чем больше разрезов, тем выше риск случайной находки.

Дизайн эксперимента и размер выборки

Дизайн эксперимента — это план теста, который описывает, кого включаем в тест, как делим пользователей, какие метрики считаем и когда принимаем решение.

В A/B-тесте есть две группы:

• контрольная группа — видит старый вариант; 

• экспериментальная группа — видит новый вариант.

Пользователей нужно распределять случайно, это еще называют рандомизацией, случайное распределение снижает риск перекоса. Например, нельзя показывать вариант А только утром, а вариант B только вечером. Поведение аудитории в разное время может отличаться, и это будет влиять на показатели.

Иногда используют стратификацию – это более аккуратное распределение, способ разделить аудиторию на важные группы до начала теста, а потом случайно распределить пользователей внутри каждой группы.

Например, команда заранее делит аудиторию на новых и возвратных пользователей, а потом внутри каждого сегмента случайно распределяет людей между вариантами.

Перед запуском нужно оценить размер выборки. Он зависит от нескольких параметров:

• текущая конверсия; 

• ожидаемый эффект; 

• уровень значимости α (максимально допустимая вероятность принять ложный результат за истинный); 

• мощность теста; 

• дисперсия метрики; 

• размер аудитории; 

• длительность теста.

Уровень значимости α показывает, какой риск ложного вывода команда готова принять. Часто используют 5%, но это не закон. Мощность теста показывает шанс заметить эффект, если он есть. Часто берут 80%, но это тоже зависит от задачи.

Минимальный обнаруживаемый эффект (или вы можете встретить аббревиатуру MDE или Minimum Detectable Effect) — это эффект, который имеет смысл заметить. Например, если текущая конверсия 5%, команда может решить, что рост до 5,1% не окупит работу. А рост до 5,8% уже важен. Тогда минимальный обнаружимый эффект задают до старта.

Простой пример. Базовая конверсия формы — 5%. Команда хочет увидеть рост до 6%. Это прирост на 1 процентный пункт. Если трафика мало, тест может идти долго. Если трафика много, нужная выборка наберется быстрее.

Точную выборку считают в калькуляторе или статистическом инструменте, универсального числа нет.

Запуск и проведение теста

Перед запуском нужно зафиксировать план. Это защищает команду от споров после получения данных.

В плане укажите:

• гипотезу; 

• контрольный и экспериментальный вариант; 

• основную метрику; 

• защитные метрики; 

• аудиторию; 

• доли распределения; 

• дату старта; 

• плановую длительность; 

• минимальный размер выборки; 

• правила остановки; 

• ответственного за анализ.

Техническая часть тоже важна. Пользователь должен видеть один и тот же вариант при повторном визите. Для этого используют идентификаторы пользователей или другие устойчивые признаки. Если человек видит сегодня вариант А, а завтра вариант B, тест загрязняется.

Загрязнение трафика — это ситуация, когда группы смешиваются или получают лишнее влияние. Например, один пользователь видит оба варианта. Или платная кампания меняется во время теста. Или менеджеры начинают вручную вести часть клиентов иначе.

Нужно следить за ходом событий и их фиксацией. События должны записываться одинаково для обеих групп. Например, клик по кнопке, отправка формы, оплата, ошибка, возврат в корзину. Метрики нужно канонизировать — заранее договориться, что именно считается заявкой, оплатой или активным пользователем.

Для маркетинга важны ютм-метки (специальные параметры ссылки, которые помогают системам аналитики понять, откуда именно пришел посетитель, по какой рекламе он кликнул и какую акцию искал) и атрибуция: ютм-метки помогают понять источник трафика, а атрибуция показывает, как распределять вклад каналов. Если пользователь увидел рекламу, потом пришел из поиска и позже купил через имейл, результат нельзя читать слишком упрощенно.

Как оценивать результаты

После теста нельзя смотреть только на «победил вариант B». Нужно пройти несколько шагов.

Порядок анализа:

1. Собрать данные. 

2. Проверить, что группы распределились честно. 

3. Проверить объем выборки. 

4. Посчитать эффект. 

5. Посчитать доверительный интервал. 

6. Проверить p-значение. 

7. Посмотреть защитные метрики. 

8. Сделать вывод. 

9. Принять решение о постепенном выводе конкретного варианта продукта на всех пользователей.

p-значение — это сигнал, который показывает мог ли результат появиться случайно. p-значение не доказывает, что какой-то вариант точно лучше. Он только помогает оценить статистическую уверенность.

Доверительный интервал показывает диапазон, где может находиться реальный эффект. Если интервал широкий, данных мало или метрика слишком шумная. Если интервал включает ноль, уверенного эффекта может не быть.

Пример распределения контрольной и экспериментальной групп

Разница = 0,8 процентного пункта.

Относительный рост = 16%.

На первый взгляд вариант B лучше. Но нужно проверить статистику и защитные метрики. Если вместе с ростом заявок выросли жалобы или упала оплата, внедрять вариант В нельзя без дополнительной проверки.

Важно запомнить так: хороший вывод должен отвечать не только на вопрос «что выросло», но и на вопрос «что могло ухудшиться».

Типичные ошибки и как их избежать

A/B-тест легко испортить. Ошибка может появиться в гипотезе, запуске, сборе данных или анализе.

Частые ошибки:

• тест остановили слишком рано; 

• результат проверяли каждый час и ждали красивое p-значение; 

• метрику выбрали после запуска; 

• запустили тест во время акции; 

• не учли сезонность; 

• группы распределились неслучайно; 

• один пользователь видел оба варианта; 

• изменили рекламу во время теста; 

• не проверили защитные метрики; 

• сделали много сравнений без поправки; 

• нашли хорошие значения только в маленьком сегменте после теста.

Досрочная остановка опасна. В первые дни результат может прыгать. Это нормально. Если остановить тест в момент удачного скачка, можно принять шум за эффект.

Множественные сравнения тоже искажают вывод. Например, команда проверяет 20 сегментов, 10 метрик и 5 вариантов. Где-то почти всегда появится «значимый» результат. Для таких случаев используют коррекции. Новичку не нужно сразу считать их вручную. Но нужно понимать риск.

A/B-тестирование в маркетинге

A/B тестирование в маркетинге помогает проверять креативы, заголовки, оферы, посадочные страницы, письма и рекламные связки.

Что можно тестировать:

• заголовок объявления; 

• изображение или видео; 

• текст кнопки; 

• форму заявки; 

• тему письма; 

• порядок блоков на посадочной странице; 

• цену или формат предложения; 

• посадочную страницу; 

• аудиторию в рекламном кабинете.

В рекламе важно следить за пересечением аудиторий. Если один человек видит сразу несколько вариантов, тест становится не точным. Поэтому рекламные группы нужно разделять аккуратно.

Для рекламных каналов часто смотрят такие показатели как: кликабельность объявления (CTR), стоимость клика (CPC), стоимость тысячи показов (CPM), стоимость лида (CPL), стоимость целевого действия (CPA), коэффициент конверсии (CR) и окупаемость маркетинговых вложений (ROMI). Но в одном тесте лучше выбрать одну главную метрику. Например, для баннера это может быть кликабельность объявления (CTR). Для посадочной страницы — коэффициент конверсии (CR) в заявку. Для рекламной кампании — стоимость лида (CPL) или стоимость целевого действия (CPA).

Пример. Два баннера имеют разную кликабельность объявления (CTR): первый дает 2,1%, второй — 3,0%. Но второй приводит дорогие и слабые заявки. Тогда он не обязательно лучше. Маркетинговая воронка важнее одного клика.

Альтернативы и расширения A/B-теста

Классический A/B-тест сравнивает два варианта, но есть и другие форматы.

A/A-тест полезен перед запуском серии экспериментов. Если два одинаковых варианта показывают большую разницу, значит проблема в распределении, метриках или трекинге.

A/B/n помогает сравнить несколько вариантов. Например, три заголовка и старый вариант. Но чем больше вариантов, тем больше нужна выборка.

Мультивариантное тестирование (MVT) — многофакторный тест. Он проверяет несколько элементов сразу. Например, заголовок, кнопку и изображение. Такой тест требует больше трафика. Для новичка чаще проще начать с A/B.

Мини-кейс: расчет эффекта и чтение отчета

Представим онлайн-школу, на посадочной странице которой есть форма заявки. Команда хочет проверить новый заголовок.

Гипотеза: если заменить заголовок «Курс по аналитике данных» на «Соберите первое портфолио аналитика за 8 недель», то конверсия в заявку вырастет, потому что пользователь увидит конкретный результат обучения.

Обещание «за 8 недель» нужно подтверждать программой, условиями и реальными материалами. Если подтверждений нет, лучше использовать другую формулировку.

Исходные данные

После теста команда получила данные

Разница = 0,9 процентного пункта. Относительный рост = 22,5%.

Что делать дальше? Нужно посчитать доверительный интервал и p-значение. Затем проверить, не упало ли качество заявок. Если заявок стало больше, но менеджеры чаще ставят им статус «нецелевой лид», результат нельзя считать успешным без оговорок.

Пример вывода: вариант B увеличил конверсию в заявку с 4,0% до 4,9%. Защитные метрики не ухудшились. Качество заявок осталось на прежнем уровне. Рекомендуем развертывание на 100% трафика и повторную проверку через 2 недели.

Если статистическая уверенность слабая, вывод будет другим: данных недостаточно, чтобы подтвердить эффект. Вариант B выглядит лучше по точечной оценке, но доверительный интервал слишком широкий. Рекомендуем продлить тест или снизить ожидаемый минимальный обнаруживаемый эффект только при достаточном трафике.

Чек-лист запуска A/B-теста

Перед запуском проверьте:

• гипотеза записана одной фразой; 

• основная метрика выбрана до старта; 

• защитные метрики указаны; 

• аудитория описана; 

• сегменты заданы заранее; 

• размер выборки оценен; 

• длительность теста рассчитана; 

• правило остановки записано; 

• рандомизация настроена; 

• пользователь видит стабильный вариант; 

• события пишутся в лог; 

• метки и атрибуция ссылок не ломают отчет; 

• план анализа согласован; 

• результаты будут оформлены в таблице; 

• решение о развертывании зависит от данных, а не от вкуса команды.

A/B-тестирование помогает проверять идеи на данных. Оно показывает, как изменение влияет на метрику, а не просто нравится ли вариант команде.

Начинайте с простого. Выберите одну гипотезу, одну основную метрику и одну аудиторию. Проверьте размер выборки. Настройте рандомизацию. Не останавливайте тест раньше плана. После завершения смотрите не только на рост, но и на защитные метрики.

Хороший A/B-тест не гарантирует рост. Он помогает принять более честное решение. Именно поэтому A/B-тестирование используют в продукте, маркетинге и аналитике.

Где изучать A/B-тестирование и продуктовую аналитику

A/B-тестирование проще понять на практике. Новичку нужно не только знать термины, но и уметь формулировать гипотезу, выбирать метрику, считать результат и делать вывод без подгонки данных. Курсы помогают разобрать этот путь по шагам: от базовой статистики и маркетинговых метрик до запуска тестов и анализа отчетов.

Ниже — подборка курсов, которые могут помочь освоить A/B-тесты, продуктовую аналитику, маркетинговую аналитику и работу с экспериментами. Сравните программы, уровень сложности, количество практических заданий, обратную связь и инструменты, с которыми вы будете работать.