Коротко: A/B-тест сравнивает одновременно работающие варианты на случайно распределённых группах. До запуска нужны гипотеза, основная метрика, минимальный полезный эффект, расчёт выборки и правило остановки. Если подходящих посетителей слишком мало, сначала наблюдайте за покупателями и исправляйте подтверждённые ошибки. Отсутствие статистически значимого результата ещё не доказывает отсутствие эффекта.
Команда изменила заголовок, увидела рост заявок за три дня и объявила победу. Через неделю результат исчез. Возможно, новый текст ничего не улучшил; возможно, изменился состав посетителей. Без заранее спланированного сравнения эти объяснения не разделить.
Наша позиция: тест полезен, когда его результат может изменить решение бизнеса. Выбирать цвет кнопки по вкусу дорого, если люди уходят из-за неожиданной доставки. Но и сильная на вид гипотеза требует данных — уверенность редактора не заменяет проверку.
Сколько посетителей нужно для A/B-теста
Размер выборки зависит от исходной конверсии и изменения, которое важно обнаружить. MDE — минимальный обнаруживаемый эффект. Его задают до запуска, соотнося с экономикой внедрения.
Рост CR с 2% до 2,4% — это 20% относительного роста, но только 0,4 процентного пункта. Если перепутать эти величины, расчёт трафика станет неверным.
Ниже — расчётные ориентиры для двух независимых групп одинакового размера, двустороннего теста с уровнем значимости 5% и мощностью 80%. Использовано нормальное приближение для сравнения двух долей, без поправки на непрерывность. Значения округлены вверх; это оценка планирования, не гарантия результата.
| Исходная CR → цель | Участников на вариант / всего |
|---|---|
| 1% → 1,2% | 42 700 / 85 400 |
| 2% → 2,4% | 21 200 / 42 400 |
| 3% → 3,6% | 14 000 / 28 000 |
| 5% → 6% | 8 200 / 16 400 |
| 10% → 12% | 3 900 / 7 800 |
Эти числа рассчитаны для события «конвертировался или нет» на уровне независимого участника. Для выручки, повторных покупок, других статистических методов и нескольких вариантов нужен отдельный расчёт. Нельзя выдавать каждое посещение одного человека за независимого нового покупателя.
Если лендинг получает 10 000 подходящих участников в месяц, тест строки 2% может потребовать более четырёх месяцев при разделении 50/50. Это время только на набор объёма; учитывайте также задержку оплаты или сделки. Трафик всего магазина не равен трафику конкретного теста.
Microsoft рекомендует определять цель, аудиторию, метрики и статистическую мощность на этапе подготовки эксперимента. Числа таблицы выше — наш расчёт при явно заданных условиях, а не опубликованный отраслевой норматив. Microsoft Research
Какие ошибки делают результат ненадёжным
Ранняя остановка. В классическом тесте с фиксированной выборкой нельзя завершать эксперимент каждый раз, когда случайно появился красивый процент. План может включать две или четыре недели для покрытия рабочих и выходных дней, но календарь не заменяет нужный объём. Последовательные методы допускают другой порядок наблюдения только со своими заранее выбранными правилами.
Непонятный предмет сравнения. Изменение заголовка, изображения и формы одновременно проверяет весь пакет. Это допустимо, если бизнес выбирает между двумя предложениями целиком. Но приписать результат одному из трёх элементов нельзя. Для такого вывода нужен отдельный эксперимент или факторный дизайн.
Нет объяснения гипотезы. Вместо «сделаем новую форму» запишите: «Если уберём обязательный вопрос, который не нужен до первого ответа, больше подходящих посетителей завершат заявку, потому что им не придётся искать неизвестные данные». Целевое улучшение затем определите по экономике и расчёту выборки.
Неравное качество данных. Одна версия может позднее загружать аналитику или терять событие оплаты. Сохраняйте стабильное назначение выбранного участника в вариант. Сравните назначенные и фактически учтённые группы. Существенное отклонение от ожидаемого распределения называется Sample Ratio Mismatch, или SRM. Microsoft проверяет этот признак до анализа эффекта; сначала нужно выяснить причину, иначе вывод может быть смещён. Microsoft Research
Во время эксперимента отдельно контролируйте поломки и защитные показатели. Исправление критической ошибки может требовать остановки раньше плана, но такая остановка не превращает оставшийся вариант в статистически доказанного победителя. Microsoft Research
Что тестировать первым
Выбирайте наблюдаемый барьер и стоимость его проверки. «Высокий потенциальный эффект» означает полезную гипотезу, а не заранее известную прибавку.
| Элемент | Когда гипотеза заслуживает приоритета |
|---|---|
| Заголовок и предложение | Человек не понимает товар, результат или условия |
| Главное изображение или видео | Визуал противоречит объявлению или не объясняет продукт |
| Отзыв и кейс | Перед действием остаётся конкретное сомнение в доверии |
| Поля формы | Есть воспроизводимые отказы или ненужные вопросы |
| Текст CTA | Кнопка не объясняет, что произойдёт после клика |
| Длина лендинга | Необходимый ответ спрятан или текст мешает найти действие |
| Цвет и оформление кнопки | Недостаточный контраст или человек не замечает управление |
| Подвал сайта | Важные условия доступны только там и их не находят |
Ошибка доступности требует исправления независимо от желания проводить тест. Когда барьер ещё не доказан, полезно начать с разбора конверсии лендинга и системы тестирования креативов.
Два учебных примера
Fashion-магазин: покажите релевантный отзыв рядом с первым действием, чтобы ответить на наблюдаемое сомнение. Сохраните сопоставимые цены и условия привлечения. Измеряйте подтверждённые покупки и возвраты, затем оцените интервал неопределённости и пользу для бизнеса.
B2B-заявка: сравните длинную форму с понятными этапами и сохранением введённых данных. До запуска согласуйте с продажами определение качественной заявки и задержку её оценки. Больше отправленных форм при худшем качестве обращений может быть плохим результатом. Это учебные сценарии для дизайна проверки.
Как выбрать инструмент и оценить расходы
Google Optimize и Optimize 360 недоступны с 30 сентября 2023 года. Нельзя включать их в новый план как действующий бесплатный инструмент. Google Analytics Help
Коммерческие платформы нужно сравнивать по задачам: визуальный редактор, перенаправление на разные URL, поддержка разработки, метод анализа, предотвращение пересечений и экспорт данных. При проверке официальные pricing-ссылки VWO и AB Tasty ведут на Wingify. Уточняйте текущие условия по странице платформы, вместо использования старого списка отдельных тарифов.
На 28 сентября 2026 публичная страница пробного доступа Convert указывает тарифы от $399 в месяц. Это пример стартовой цены в USD на дату проверки. Годовую оплату, лимиты участников, функции, налоги и общую стоимость уточняйте до покупки; цена не является фиксированным предложением для вашего проекта.
Собственная реализация через GTM или код сайта тоже имеет стоимость: разработка распределения, сохранение варианта, события, проверка ошибок, поддержка и откат. Бесплатный менеджер тегов не делает весь эксперимент бесплатным. Платформа сама по себе не гарантирует отсутствие мерцания или соблюдение требований к данным. До подключения сервиса проверьте обработку данных, согласие, скорость сайта и доступ команды.
Смена A на одной неделе и B на следующей может дать наблюдение до и после, но не контролируемый A/B-тест. Различия рекламы, зарплатных дней, сезона и ассортимента способны объяснить результат. Такой подход нельзя представлять равнозначной заменой случайному одновременному распределению.
Когда лучше начать с наблюдения покупателей
Если нужная выборка не набирается в разумный для бизнеса срок, не покупайте инструмент ради отчёта с двумя колонками. Сначала ищите ошибки и непонимание: как человек выбирает доставку, исправляет адрес, находит доказательства или пытается отправить форму.
Тепловая карта показывает взаимодействия, а запись сеанса — последовательность действий. Они не раскрывают намерение человека автоматически. Интервью или наблюдение нескольких пользователей помогают сформулировать причины. Пять пользователей могут выявить проблему, но не дадут надёжную оценку её распространённости.
Соблюдайте правила обработки данных и маскировки записей. После исправления явной ошибки отслеживайте подтверждённые заказы и качество заявок. Сравнение до и после полезно для контроля, но без экспериментального дизайна не доказывает, что весь рост вызван именно исправлением.
Жёсткой границы «меньше 5 000 посетителей — тест запрещён» нет. Большой эффект или частое действие иногда измеряются при меньшем объёме. И наоборот, редкие покупки требуют длительного наблюдения даже при большом общем трафике.
Что подготовить на этой неделе
Сегодня: зафиксируйте число подходящих участников, исходную CR, задержку конверсии и стоимость внедрения. Проверьте, одинаково ли работают события у всех пользователей.
Завтра: сформулируйте три гипотезы, выберите основную бизнес-метрику и ограничения: маржу, качество заявок, скорость, возвраты. Тестировать всё сразу необязательно.
На этой неделе: рассчитайте выборку и срок для одной гипотезы. Запишите распределение групп, исключения, критерий остановки и решение для трёх исходов: полезный эффект, вред, недостаточно данных. Если срок слишком длинный, проведите качественную диагностику и сократите неопределённость перед следующим тестом.
Итог эксперимента должен отвечать на вопрос о решении: внедрять ли вариант, продолжать ли исследование или отказаться от изменения. Один процент в отчёте этого не обеспечивает.
Частые вопросы
Сколько должен длиться A/B-тест?
До заранее выбранного объёма и покрытия важного цикла поведения. Две–четыре недели могут быть подходящим планом, но не гарантируют достаточной выборки. Учитывайте выходные, сезонность и время до оплаты. Правило остановки зависит также от метода анализа.
Можно проводить несколько тестов одновременно?
Можно при контроле пересечений, распределения и возможного взаимодействия изменений. Разные URL не гарантируют независимость: один покупатель способен увидеть несколько тестов в одной воронке. Для небольшого магазина последовательность часто проще в поддержке и объяснении результата.
Что означает отсутствие статистически значимого результата?
Оно означает, что выбранный анализ не дал достаточных оснований утверждать эффект. Возможно, эффект мал, выборки мало или изменение действительно не помогает. Смотрите интервал неопределённости и MDE. Доказательство практической эквивалентности требует отдельного критерия; фраза «эффекта нет» без него слишком сильна.
Чем A/B-тест отличается от многовариантного?
A/B сравнивает целые варианты. Многовариантный, или факторный, эксперимент проверяет комбинации нескольких элементов и их взаимодействия. Нужный объём зависит от числа комбинаций и анализа; универсального множителя трафика нет. Начинайте с вопроса, какой отдельный вывод бизнесу необходим.
Нужен ли разработчик?
Простой текстовый вариант иногда можно подготовить в визуальном редакторе. Формы, платежи, сохранение варианта и события обычно требуют технической работы. В любом случае нужны проверка мобильного интерфейса, корректное измерение и возможность отката.
Если команда меняет сайт, но не может объяснить результат, CRO-работа Canem Errant помогает выбрать наблюдаемый барьер, гипотезу и критерий решения. Опишите лендинг или checkout, доступный трафик и подтверждённую конверсию: это позволит оценить, нужен ли эксперимент или сначала диагностика.
