A/B-тесты
«Изменили кнопку — конверсия выросла на 20%» — но так ли это? Без A/B-теста невозможно понять, что сработало: изменение или случайность. A/B-тестирование — это метод, который позволяет принимать решения на основе данных, а не интуиции. В 2027 году главный тренд — автоматизация A/B-тестов, интеграция с BI, ML для анализа. Зарплаты аналитиков, которые умеют проводить тесты, — 150–300 тыс. ₽. В этой статье — как проводить A/B-тесты, какие метрики, как считать значимость и каких ошибок избежать.
📋 Содержание статьи
Что такое A/B-тест
A/B-тест — это метод сравнения двух версий (A и B) чего-либо: страницы, кнопки, текста, рекламы. Пользователи случайно делятся на две группы: одна видит версию A, другая — версию B. Затем сравниваются метрики.
Что можно тестировать
- Дизайн: цвет кнопки, расположение элементов;
- Текст: заголовок, описание, призыв к действию;
- Функционал: формы, шаги оформления;
- Реклама: объявления, аудитории;
- Цены: скидки, тарифы.
Зачем нужен
- Данные вместо интуиции: решение на основе цифр;
- Рост конверсии: находите лучшие варианты;
- Снижение рисков: проверяете гипотезы до внедрения;
- Понимание аудитории: что нравится пользователям.
Этапы проведения
- Гипотеза: что хотите проверить;
- Метрики: что измеряете;
- Дизайн теста: размер выборки, длительность;
- Запуск: создание версий, разделение трафика;
- Сбор данных: ждёте, пока наберётся выборка;
- Анализ: проверка значимости;
- Выводы: внедрять или нет;
- Документация: запись результатов.
Гипотеза
Гипотеза должна быть конкретной и проверяемой.
Формат гипотезы
Если [изменение], то [метрика] изменится [на сколько], потому что [причина].
Примеры
- Плохо: «Изменим кнопку — станет лучше»;
- Хорошо: «Если заменить кнопку "Отправить" на "Получить скидку", то конверсия формы вырастет на 10%, потому что предложение выгоды мотивирует».
Откуда брать гипотезы
- Аналитика: где пользователи уходят;
- Отзывы: что не нравится клиентам;
- Конкуренты: что делают они;
- Эксперты: мнения коллег;
- Исследования: статьи, кейсы.
Метрики
Основная метрика
Та, которую хотите изменить: конверсия, средний чек, CTR.
Дополнительные метрики
Те, которые могут измениться: время на сайте, глубина просмотра, отказы.
Guardrail-метрики
Те, которые не должны ухудшиться: выручка, NPS, количество ошибок.
Пример
- Основная: конверсия формы (цель: +10%);
- Дополнительная: время на странице;
- Guardrail: количество отказов (не должно вырасти).
Размер выборки
Размер выборки определяет, сколько пользователей нужно, чтобы результаты были значимыми.
От чего зависит
- Базовая конверсия: текущий процент;
- Минимальный эффект: на сколько хотите изменить;
- Мощность теста: обычно 80%;
- Уровень значимости: обычно 0.05;
- Трафик: сколько пользователей в день.
Пример
- Базовая конверсия: 5%;
- Целевая: 5.5% (+10%);
- Мощность: 80%;
- Значимость: 0.05;
- Нужно: ~30 000 пользователей на группу.
Используйте калькуляторы: Evan Miller, AB Test Calculator, Яндекс.Метрика.
Статистическая значимость
Статистическая значимость — вероятность того, что результат не случаен.
p-value
- p-value < 0.05: результат значим (вероятность случайности < 5%);
- p-value > 0.05: результат не значим (может быть случайностью).
Доверительный интервал
Показывает диапазон, в котором находится истинное значение. Например: «Конверсия выросла на 10% (95% ДИ: 5–15%)».
Мощность теста
Вероятность обнаружить эффект, если он есть. Обычно 80%.
Инструменты
- Яндекс.Метрика: эксперименты, A/B-тесты;
- Google Optimize: закрыт, но есть альтернативы;
- Amplitude, Mixpanel: продуктовые A/B-тесты;
- Optimizely, VWO: международные;
- Калькуляторы: Evan Miller, AB Test Calculator.
Ошибки
1. Маленькая выборка
Останавливают тест раньше времени. Результаты случайны.
2. Подглядывание
Проверяют результаты каждый день. Ложные срабатывания.
3. Множественные сравнения
Тестируют много метрик. Растёт вероятность случайности.
4. Игнорирование сезонности
Тест в праздники или выходные даёт искажённые данные.
5. Нет guardrail-метрик
Конверсия выросла, но выручка упала. Нет контроля.
6. Нет документации
Результаты не записываются. Повторяют ошибки.
Наши рекомендации
Что вы получаете на наших курсах аналитики
- Методологию — как проводить A/B-тесты;
- Гипотезы — как формулировать;
- Выборку — как рассчитывать;
- Значимость — как интерпретировать;
- Инструменты — Метрика, Amplitude, калькуляторы;
- Практику — на реальных данных.
📌 Итоговый вывод
A/B-тест — это способ принимать решения на данных, а не на интуиции.
Что нужно знать:
- Что это: сравнение двух версий на случайных группах;
- Этапы: гипотеза → метрики → выборка → запуск → анализ;
- Гипотеза: конкретная, проверяемая, с причиной;
- Метрики: основная, дополнительные, guardrail;
- Выборка: зависит от базовой конверсии и эффекта;
- Значимость: p-value < 0.05, доверительный интервал;
- Ошибки: маленькая выборка, подглядывание, множественные сравнения.
Хотите освоить A/B-тесты? Запишитесь на курс в Lead Hub.
Также рекомендуем: обучение аналитике, что такое аналитика, сквозная аналитика, BI-дашборды, все статьи об аналитике.