dsrupt.
Войти Артём — автор базы Артём · авторТГ-канал
Статья · Аналитика

A/B-тест: сколько нужно данных, чтобы результат что-то значил

CPL упал на 15 % за неделю — это оптимизация или колебание? Разбираем минимальные объёмы для каждого типа решения и почему малому бизнесу честный A/B-тест чаще всего недоступен.

Коротко

Главный риск при обилии данных — не отсутствие информации, а неверные выводы из шума. В любом наборе цифр найдётся то, что выглядит закономерностью: один канал дал пять заявок вместо двух, статья собрала втрое больше, CPL упал на 15 % за неделю. Минимальные объёмы различаются на порядки: несколько десятков кликов, чтобы отключить группу объявлений, но сотни конверсий на вариант, чтобы сделать вывод об A/B-тесте посадочной. Именно последней цифры у малого бизнеса обычно нет — и это не повод тестировать «как получится», а повод не тестировать вовсе и чинить очевидное.

  • десятки кликовчтобы отключить группу объявлений
  • сотни показовчтобы отключить креатив
  • сотни конверсийна вариант в A/B-тесте
  • неделяминимум перед сменой стратегии
Если данных малосмотреть записи сессий и чинить барьеры, а не тестировать
Чего не делатьпринимать решение по недельному колебанию на десятке конверсий
Источник: курс «Начни понимать маркетинг», Акт IX (урок 22.6) и Акт IV (урок 10.7) · Автор: · обновлено 02.08.2026
Пороги
Сколько данных нужно под каждое решение

Сверху вниз — по возрастанию требований. Разброс между первой и последней строкой на два порядка.

РешениеМинимум данных
Отключить группу объявленийнесколько десятков кликов
Отключить креативнесколько сотен показов
Сменить стратегиюнеделя работы кампании
Сделать вывод об A/B-тесте посадочнойсотни конверсий на вариант
Признать канал нерабочимполный цикл сделки в вашей нише
↔ таблица листается в сторону
Почему A/B-тест самый требовательный. Вы сравниваете две близкие величины: конверсию 2,4 % и 2,8 %. Чтобы отличить такую разницу от случайной, нужны сотни событий в каждой группе. На двадцати конверсиях разница в четверть не значит ничего — она возникнет сама, если просто разделить один и тот же трафик пополам.
Что делать вместо
Когда трафика на тест не хватает
Так получают ложное знание
Тест на малых объёмах. Две версии страницы, по 30 конверсий на каждую, разница 20 % в пользу второй. Выкатываем вторую, докладываем об успехе. Через месяц конверсия возвращается к прежней — потому что разницы не было, было колебание.
Так получают результат
Работа без теста. Смотрим записи сессий: где люди останавливаются, что не находят, на каком поле бросают форму. Чиним найденное. Результат не статистически доказан, зато основан на том, что видно глазами, и обычно крупнее любых 20 %.
  1. Определите решение до сбора данных
    «Что я сделаю, если увидим X» — это надо сформулировать заранее. Иначе вы будете искать в данных подтверждение того, что уже решили.
  2. Считайте цикл сделки, а не календарь
    Если у вас сделка идёт три недели, недельный тест не покажет продажи — только заявки. Это разные метрики и разные выводы.
  3. Не меняйте ничего в процессе
    Правка объявлений посреди теста обнуляет его. Это звучит очевидно и нарушается постоянно.
  4. Отдавайте предпочтение крупным изменениям
    Тест кнопки другого цвета требует огромных объёмов. Тест другой структуры страницы даёт разницу, которую видно и на скромных данных.
Вопросы
Частые вопросы
Сколько нужно данных, чтобы делать выводы?
Зависит от решения. Отключить группу объявлений — несколько десятков кликов. Отключить креатив — несколько сотен показов. Сменить стратегию — неделя работы. А вот вывод об A/B-тесте посадочной требует сотен конверсий на каждый вариант, и это та цифра, которая обычно отсутствует у малого бизнеса.
Почему нельзя доверять росту конверсии на 15 %?
Потому что в любом наборе данных найдётся то, что выглядит закономерностью. Один канал дал 5 заявок вместо обычных 2, статья собрала втрое больше, CPL упал на 15 % за неделю — на малых объёмах всё это укладывается в обычное колебание. Без правил вы принимаете решения по шуму, и каждое такое решение стоит бюджета.
Что делать, если трафика на честный тест не хватает?
Не делать A/B-тест. Малым объёмам подходят другие инструменты: смотреть записи сессий, разбирать путь клиента, чинить очевидные барьеры в форме. Это не так красиво, зато не требует статистики и обычно даёт больше — на маленьком сайте очевидных проблем хватает без всяких тестов.
Можно ли тестировать две вещи сразу?
Можно, но тогда вы не узнаете, какая из них сработала. Для малого бизнеса это чаще всего приемлемо: цель — улучшить страницу, а не защитить диссертацию. Важно только не выдавать потом результат за знание о том, «что именно работает».
Телеграм автора
Пишу об этом между статьями

Здесь — разборы с цифрами, они выходят редко и долго готовятся. В канале то, что живёт быстрее: свежие ставки аукционов, сломавшиеся связки, причины, по которым у клиента заявка подорожала вдвое за месяц. Без марафонов и рекламных постов.

@targetchannl Читать канал →
Дальше по теме
Что читать следующим

Эта страница оказалась полезной?

Три касания, без регистрации. По ответам я решаю, что дописать и какие темы разобрать следующими.
Насколько полезно — от 1 до 10
Как читается и выглядит
Чего не хватило
Ответы анонимные — сохраняем только сами оценки.
Спасибо. Учту при следующем обновлении базы.