A/B-тесты

A/B-тесты

«Изменили кнопку — конверсия выросла на 20%» — но так ли это? Без A/B-теста невозможно понять, что сработало: изменение или случайность. A/B-тестирование — это метод, который позволяет принимать решения на основе данных, а не интуиции. В 2027 году главный тренд — автоматизация A/B-тестов, интеграция с BI, ML для анализа. Зарплаты аналитиков, которые умеют проводить тесты, — 150–300 тыс. ₽. В этой статье — как проводить A/B-тесты, какие метрики, как считать значимость и каких ошибок избежать.

Что такое A/B-тест

A/B-тест — это метод сравнения двух версий (A и B) чего-либо: страницы, кнопки, текста, рекламы. Пользователи случайно делятся на две группы: одна видит версию A, другая — версию B. Затем сравниваются метрики.

Что можно тестировать

  • Дизайн: цвет кнопки, расположение элементов;
  • Текст: заголовок, описание, призыв к действию;
  • Функционал: формы, шаги оформления;
  • Реклама: объявления, аудитории;
  • Цены: скидки, тарифы.

Зачем нужен

  • Данные вместо интуиции: решение на основе цифр;
  • Рост конверсии: находите лучшие варианты;
  • Снижение рисков: проверяете гипотезы до внедрения;
  • Понимание аудитории: что нравится пользователям.

Этапы проведения

  1. Гипотеза: что хотите проверить;
  2. Метрики: что измеряете;
  3. Дизайн теста: размер выборки, длительность;
  4. Запуск: создание версий, разделение трафика;
  5. Сбор данных: ждёте, пока наберётся выборка;
  6. Анализ: проверка значимости;
  7. Выводы: внедрять или нет;
  8. Документация: запись результатов.

Гипотеза

Гипотеза должна быть конкретной и проверяемой.

Формат гипотезы

Если [изменение], то [метрика] изменится [на сколько], потому что [причина].

Примеры

  • Плохо: «Изменим кнопку — станет лучше»;
  • Хорошо: «Если заменить кнопку "Отправить" на "Получить скидку", то конверсия формы вырастет на 10%, потому что предложение выгоды мотивирует».

Откуда брать гипотезы

  • Аналитика: где пользователи уходят;
  • Отзывы: что не нравится клиентам;
  • Конкуренты: что делают они;
  • Эксперты: мнения коллег;
  • Исследования: статьи, кейсы.

Метрики

Основная метрика

Та, которую хотите изменить: конверсия, средний чек, CTR.

Дополнительные метрики

Те, которые могут измениться: время на сайте, глубина просмотра, отказы.

Guardrail-метрики

Те, которые не должны ухудшиться: выручка, NPS, количество ошибок.

Пример

  • Основная: конверсия формы (цель: +10%);
  • Дополнительная: время на странице;
  • Guardrail: количество отказов (не должно вырасти).

Размер выборки

Размер выборки определяет, сколько пользователей нужно, чтобы результаты были значимыми.

От чего зависит

  • Базовая конверсия: текущий процент;
  • Минимальный эффект: на сколько хотите изменить;
  • Мощность теста: обычно 80%;
  • Уровень значимости: обычно 0.05;
  • Трафик: сколько пользователей в день.

Пример

  • Базовая конверсия: 5%;
  • Целевая: 5.5% (+10%);
  • Мощность: 80%;
  • Значимость: 0.05;
  • Нужно: ~30 000 пользователей на группу.

Используйте калькуляторы: Evan Miller, AB Test Calculator, Яндекс.Метрика.

Статистическая значимость

Статистическая значимость — вероятность того, что результат не случаен.

p-value

  • p-value < 0.05: результат значим (вероятность случайности < 5%);
  • p-value > 0.05: результат не значим (может быть случайностью).

Доверительный интервал

Показывает диапазон, в котором находится истинное значение. Например: «Конверсия выросла на 10% (95% ДИ: 5–15%)».

Мощность теста

Вероятность обнаружить эффект, если он есть. Обычно 80%.

Инструменты

  • Яндекс.Метрика: эксперименты, A/B-тесты;
  • Google Optimize: закрыт, но есть альтернативы;
  • Amplitude, Mixpanel: продуктовые A/B-тесты;
  • Optimizely, VWO: международные;
  • Калькуляторы: Evan Miller, AB Test Calculator.

Ошибки

1. Маленькая выборка

Останавливают тест раньше времени. Результаты случайны.

2. Подглядывание

Проверяют результаты каждый день. Ложные срабатывания.

3. Множественные сравнения

Тестируют много метрик. Растёт вероятность случайности.

4. Игнорирование сезонности

Тест в праздники или выходные даёт искажённые данные.

5. Нет guardrail-метрик

Конверсия выросла, но выручка упала. Нет контроля.

6. Нет документации

Результаты не записываются. Повторяют ошибки.

Наши рекомендации

1. Начните с гипотезы

Конкретной и проверяемой. Что такое аналитика.

2. Рассчитайте выборку

До запуска теста. О дашбордах.

3. Проверьте значимость

p-value и доверительный интервал. О сквозной.

Что вы получаете на наших курсах аналитики

  • Методологию — как проводить A/B-тесты;
  • Гипотезы — как формулировать;
  • Выборку — как рассчитывать;
  • Значимость — как интерпретировать;
  • Инструменты — Метрика, Amplitude, калькуляторы;
  • Практику — на реальных данных.

📌 Итоговый вывод

A/B-тест — это способ принимать решения на данных, а не на интуиции.

Что нужно знать:

  • Что это: сравнение двух версий на случайных группах;
  • Этапы: гипотеза → метрики → выборка → запуск → анализ;
  • Гипотеза: конкретная, проверяемая, с причиной;
  • Метрики: основная, дополнительные, guardrail;
  • Выборка: зависит от базовой конверсии и эффекта;
  • Значимость: p-value < 0.05, доверительный интервал;
  • Ошибки: маленькая выборка, подглядывание, множественные сравнения.

Хотите освоить A/B-тесты? Запишитесь на курс в Lead Hub.

Также рекомендуем: обучение аналитике, что такое аналитика, сквозная аналитика, BI-дашборды, все статьи об аналитике.

Хотите освоить A/B-тесты?

Оставьте заявку — расскажем о курсе, покажем методологию и инструменты. Практика на реальных данных, портфолио, помощь с трудоустройством.

Нажимая кнопку, вы соглашаетесь на обработку персональных данных в соответствии с политикой конфиденциальности.

Почему учатся аналитике у нас

8 причин выбрать наш курс по веб-аналитике

Практика на реальных данных

Работаем с выгрузками из Метрики, GA4, рекламных кабинетов, CRM и 1С — как в реальной работе аналитика.

Аналитики-практики

Ведут специалисты с опытом в e-commerce, B2B, медиа и продуктовой аналитике от 5 лет.

Современный стек

Яндекс.Метрика, GA4, Looker Studio, Power BI, SQL, Python — то, что используется на рынке.

SQL с нуля

Отдельный модуль по SQL: запросы, JOIN, агрегация, оконные функции. Без SQL аналитик не работает.

Дашборды и визуализация

Собираем дашборды в Looker Studio и Power BI: графики, воронки, карты, KPI.

Измеримый прогресс

Тесты после каждого модуля, финальный проект на реальных данных, сертификат.

Онлайн и офлайн

Учитесь в удобном формате: живые вебинары, очные занятия, записи.

Поддержка после курса

Консультации по рабочим задачам, разбор реальных кейсов, помощь с трудоустройством.

Программы курса по аналитике

12 модулей — от Метрики до сквозной аналитики

Яндекс.Метрика

Счётчики, цели, события, отчёты, сегменты, электронная коммерция.

  • Счётчики
  • Цели
  • Отчёты
Google Analytics 4

Настройка GA4, события, конверсии, аудитории, интеграции.

  • GA4
  • События
  • Аудитории
SQL для аналитика

Запросы, JOIN, агрегация, оконные функции. Работа с реальными базами.

  • SELECT
  • JOIN
  • Window
Looker Studio

Дашборды, графики, воронки. Визуализация данных для отчётов.

  • Дашборды
  • Отчёты
  • Воронки
Power BI

Продвинутые дашборды, модели данных, интеграции.

  • Модели
  • Дашборды
  • Отчёты
Сквозная аналитика

Настройка связки рекламы, сайта и CRM. Атрибуция, ROI, LTV.

  • Атрибуция
  • ROI
  • LTV
A/B-тестирование

Методика тестов, статистическая значимость, интерпретация.

  • Гипотезы
  • Выборка
  • Оценка
Когортный анализ

Retention, LTV, поведение групп клиентов во времени.

  • Когорты
  • Retention
  • LTV
Python для аналитика

pandas, NumPy, matplotlib для анализа и визуализации данных.

  • pandas
  • NumPy
  • matplotlib
Продуктовая аналитика

Метрики продукта, воронки, событийная аналитика.

  • Метрики
  • Воронки
  • События
Веб-аналитика для маркетинга

UTM, каналы, конверсии, ROI рекламы. Практика на реальных кампаниях.

  • UTM
  • Каналы
  • ROI
Финальный проект

Разработка дашборда и отчёта для реального бизнеса.

  • Проект
  • Дашборд
  • Защита

Как проходит обучение

8 этапов от заявки до финального проекта

1
Заявка

Обсуждаем цели, уровень подготовки, текущий стек инструментов.

2
Диагностика

Определяем, нужна ли база по SQL и Excel или можно начинать сразу с Метрики.

3
Программа

Подбираем формат и модули: Метрика, GA4, SQL, дашборды, сквозная аналитика.

4
Теория

Осваиваем метрики, отчёты, работу с данными — на понятных примерах.

5
Практика

Работаем на реальных выгрузках: строим отчёты, дашборды, воронки.

6
Сквозная аналитика

Настраиваем связку реклама → сайт → CRM, считаем ROI и LTV.

7
Финальный проект

Каждый студент разрабатывает дашборд и отчёт по реальной задаче.

8
Защита и сертификат

Презентация проекта, обратная связь, помощь с портфолио и трудоустройством.

Стоимость обучения

Выберите формат под цели и уровень

Базовый
от 30 000 ₽

Для знакомства с аналитикой

  • Яндекс.Метрика и GA4
  • Отчёты и цели
  • Онлайн-формат
  • Тесты
  • Сертификат
Заказать
ХИТ
Профессиональный
от 60 000 ₽

Для смены профессии

  • Полная программа
  • SQL с нуля
  • Looker Studio
  • Сквозная аналитика
  • Финальный проект
  • Портфолио
Заказать
С наставником
от 130 000 ₽

Для глубокого погружения

  • Всё из «Профессионального»
  • Python для аналитика
  • Power BI
  • A/B-тесты
  • Личный наставник
  • Сопровождение 3 месяца
Заказать

* Цены ориентировочные. Точный расчёт после консультации и аудита целей.

Проекты выпускников

Что делают студенты к концу курса

Дашборд для e-commerce

Сводный дашборд по трафику, конверсии и продажам в Looker Studio.

Looker Studio E-commerce
Сквозная аналитика

Связка рекламы, сайта и CRM для подсчёта ROI.

Сквозная ROI
SQL-отчёт

Аналитический отчёт по продажам на SQL-запросах.

SQL Отчёт
Когортный анализ

Анализ retention и LTV клиентов по месяцам.

Когорты LTV
Воронка продаж

Анализ воронки и поиск узких мест для B2B-компании.

Воронка B2B
A/B-тест

Результаты и интерпретация теста посадочной страницы.

A/B Тест

Часто задаваемые вопросы об аналитике

Развёрнутые ответы на популярные вопросы

Аналитика перестала быть «инструментом для избранных». В 2027 году решения на основе данных принимают не только маркетологи, но и продажи, продукт, поддержка и руководители. Компании, которые умеют считать воронку, LTV, стоимость лида и окупаемость каналов, реже принимают решения «на интуиции» и быстрее замечают проблемы.

Обучение аналитике даёт бизнесу общий язык: когда все видят одни и те же метрики, споры о том, «что работает», становятся короче. Это особенно важно, когда бюджеты ограничены и каждый рубль должен быть обоснован.

Курсы по аналитике рассчитаны на новичков без технического бэкграунда. Начинаем с основ: как устроены системы веб-аналитики, что такое цели, события, источники трафика. Постепенно переходим к сквозной аналитике, дашбордам и интерпретации данных.

Для тех, у кого уже есть опыт, есть продвинутые модули: BI-инструменты, A/B-тесты, статистическая значимость. Программа адаптируется под уровень группы.

На базовом уровне — нет. Современные системы аналитики (Яндекс.Метрика, GA4) позволяют работать через интерфейс: настраивать цели, строить отчёты, смотреть воронки. Основной инструмент аналитика — не код, а умение задавать правильные вопросы и интерпретировать данные.

Продвинутые модули могут включать SQL для выгрузки данных и Python для автоматизации отчётов. Но это не обязательная часть базовой программы.

Обычная веб-аналитика показывает, что происходит на сайте: сколько пришло, откуда, что смотрели. Но она не отвечает на главный вопрос бизнеса: «Сколько денег принесла эта кампания?».

Сквозная аналитика связывает данные сайта с CRM. Вы видите не просто заявку, а сделку: какой канал привёл клиента, который в итоге купил. Это позволяет считать реальную окупаемость каждого канала, а не догадываться о ней.

Стек зависит от уровня программы. Базовый набор включает Яндекс.Метрику и Google Analytics 4 — две основные системы веб-аналитики в России. Для сквозной аналитики и дашбордов обычно добавляются инструменты визуализации: Looker Studio, Power BI или Яндекс.Данные.

Для продвинутых групп — SQL и Python для работы с выгрузками. Но главное не инструменты, а логика: что и зачем считать.

Для российского рынка приоритет — Яндекс.Метрика. Она глубже интегрирована с рекламными системами Яндекса, лучше работает с российским трафиком и содержит инструменты, которых нет в GA4 (например, Вебвизор для записи действий пользователей).

GA4 полезен для международных проектов и как дополнительный источник данных. В программе разбираем оба инструмента, но фокус — на том, что реально нужно в работе.

BI-дашборд — это интерактивная панель с ключевыми метриками, которая обновляется автоматически. Вместо десятков отчётов и Excel-файлов руководитель видит одну картину: продажи, трафик, конверсии, окупаемость.

Дашборд не заменяет аналитика, но экономит время. Он отвечает на рутинные вопросы («сколько заявок вчера», «какой канал растёт»), оставляя время на более глубокий анализ.

A/B-тест — это сравнение двух версий чего-либо (лендинга, кнопки, заголовка объявления) на реальной аудитории. Одна группа видит версию A, другая — версию B. Через некоторое время сравниваются метрики: конверсия, CTR, средний чек.

Проблема в том, что «на глаз» победителя не определить. Разница может быть случайной. Поэтому в аналитике учат считать статистическую значимость: достаточно ли данных, чтобы утверждать, что изменение действительно сработало, а не произошло из-за шума.

Базовая программа обычно занимает от 4 до 8 недель при нагрузке 6–10 часов в неделю. Этого достаточно, чтобы уверенно работать с Метрикой, строить базовые отчёты и понимать логику сквозной аналитики.

Продвинутые темы (SQL, BI, статистика) требуют больше времени. Но главное — практика. Аналитика осваивается через реальные данные, а не через конспекты.

Да, онлайн-формат полноценный: живые вебинары с разбором данных, практические задания на реальных выгрузках, записи занятий. Для аналитики онлайн даже удобнее: вы работаете в тех же инструментах, что и в реальной работе.

Практика проверяется куратором или преподавателем. Вы получаете обратную связь по каждому заданию, а не просто смотрите видео.

Для базового уровня — нет. Достаточно школьной арифметики и умения читать графики. Основные метрики (конверсия, CTR, CPL) считаются простыми действиями.

Для A/B-тестов и продвинутой аналитики понадобится понимание статистической значимости. Но это разбирается на курсе с нуля, без сложных формул. Главное — понять логику, а не заучивать термины.

Это базовые метрики, которые должен понимать любой аналитик:

  • CPL (Cost Per Lead) — стоимость заявки. Сколько денег потрачено на рекламу, чтобы получить одного лида.
  • CAC (Customer Acquisition Cost) — стоимость привлечения клиента. Учитывает не только рекламу, но и все затраты на привлечение.
  • LTV (Lifetime Value) — сколько денег клиент приносит за всё время работы с вами.
  • ROMI (Return on Marketing Investment) — окупаемость маркетинга. Показывает, сколько прибыли приносит каждый рубль, вложенный в продвижение.

На курсе разбираем, как считать каждую метрику и, главное, как их использовать для решений.

Маркетолог отвечает за стратегию и каналы: что запускать, где размещаться, какой оффер использовать. Аналитик отвечает за измерение: сработало ли это, сколько стоило, что можно улучшить.

На практике границы размываются. Хороший маркетолог умеет читать данные, а хороший аналитик понимает бизнес-контекст. Курс аналитики не делает из вас маркетолога, но даёт инструменты, без которых маркетинг превращается в угадайку.

В продвинутых программах — да. Помогаем с резюме, готовим к типичным вопросам на собеседовании аналитика, разбираем тестовые задания. Даём рекомендации партнёров, которые ищут специалистов.

Но честно: аналитика — это профессия, где решает портфолио и умение мыслить. Сертификат помогает, но не заменяет практику.

В первые недели аналитик обычно:

  • Проверяет корректность настроек аналитики (цели, события, источники);
  • Строит базовые отчёты: трафик, конверсии, воронка;
  • Считает стоимость лида и клиента по каналам;
  • Помогает маркетингу понять, какие кампании работают, а какие нет;
  • Настраивает или обновляет дашборд с ключевыми метриками.

Это базовый уровень, с которого начинается любая аналитическая работа.

Это нормальная ситуация, с которой сталкиваются почти все аналитики. В курсе разбираем, как работать с неидеальными данными: как находить дубли, как чистить источники, как строить отчёты, которые не врут, даже если данные неполные.

Важно понять: идеальных данных не бывает. Задача аналитика — не ждать, пока всё станет идеально, а работать с тем, что есть, и постепенно улучшать качество.

Да, корпоративный формат возможен. Программа адаптируется под роли: маркетологам — больше про каналы и окупаемость, продажам — про воронку и конверсии, руководителям — про дашборды и ключевые метрики.

Для команд есть групповые практические задания на реальных данных компании. Это даёт общий язык и позволяет сразу применять знания в работе.

Атрибуция — это правило, по которому заслуга за конверсию приписывается тому или иному каналу. Клиент мог увидеть рекламу в Яндексе, потом зайти из соцсетей, потом вернуться по прямому заходу. Кто «заслужил» продажу?

Разные модели атрибуции дают разные ответы. Понимание этого помогает не обманывать себя: канал, который «даёт лиды», может на самом деле получать клиентов, пришедших из другого источника.

Для базовой работы с Метрикой и GA4 — не обязательно. Но SQL открывает доступ к данным, которых нет в готовых отчётах: выгрузки из CRM, базы данных, сырые логи. Это уровень, который отличает начинающего аналитика от уверенного специалиста.

В продвинутых программах SQL включён в курс. Если ваша цель — быстро начать работать с веб-аналитикой, можно обойтись без него на первом этапе.

Главная ловушка — строить красивые отчёты, которые никто не использует. Аналитика имеет смысл только тогда, когда она меняет решения: перераспределяет бюджет, отключает убыточный канал, улучшает воронку.

В курсе учим задавать вопрос «что мы сделаем иначе, когда увидим эту цифру?» до того, как строить отчёт. Иначе дашборд превращается в произведение искусства, на которое смотрят раз в месяц.

Контент измеряется не только просмотрами. Ключевые метрики зависят от цели: если цель — трафик, смотрим визиты и источники; если заявки — конверсии и CPL; если узнаваемость — брендовые запросы и упоминания.

В аналитике контента важно отделять «шум» (случайные заходы) от реального эффекта. Для этого используются когортный анализ и сравнение с контрольными группами.

Когорта — это группа пользователей, объединённых общим признаком: месяц регистрации, источник трафика, первая покупка. Когортный анализ показывает, как ведут себя разные группы с течением времени: сколько возвращаются, сколько тратят, когда уходят.

Это позволяет увидеть, что «средние» метрики скрывают: например, что клиенты из одного канала остаются надолго, а из другого — уходят через месяц.

Стоимость зависит от глубины программы и формата. Базовые курсы, как правило, дешевле продвинутых с SQL и BI. Корпоративные программы рассчитываются индивидуально под количество участников и адаптацию под данные компании.

Точную стоимость мы называем после обсуждения задач: важно понять, какой уровень нужен и какие инструменты используются в вашей компании.

Аналитика — навык, который развивается через практику. Если что-то не получается, это нормально. В программе предусмотрены повторные разборы, дополнительные материалы и поддержка куратора.

Главное — не бросать после первой сложной задачи. Большинство студентов выходят на уверенный уровень через 2–3 месяца регулярной практики.

Оставьте заявку на сайте или позвоните: 8 (920) 654-75-95. Мы проведём бесплатную консультацию, обсудим ваш уровень и цели, подберём программу. После согласования — договор и старт обучения в ближайшем потоке.

Можно написать в Telegram @lead_hub_ru или WhatsApp +79206547595.

Остались вопросы? Закажите консультацию

Наш специалист свяжется с вами и бесплатно проконсультирует по всем вопросам. Без навязчивых звонков и спама.

Нажимая кнопку, вы соглашаетесь на обработку персональных данных в соответствии с политикой конфиденциальности.

* Необязательное поле

Загрузка...

Заказать
звонок
Заказать обратный звонок
Получите консультацию уже сегодня.
Наш специалист свяжется с вами и абсолютно бесплатно проконсультирует по всем вопросам.
Данные отправлены. Вам скоро перезвонят.
Жду звонка