A/B-тести для інтернет-магазину: як отримати результат, якому можна довіряти

Коротко: A/B-тест порівнює варіанти, що працюють одночасно, на випадково розподілених групах. До запуску потрібні гіпотеза, основна метрика, мінімальний корисний ефект, розрахунок вибірки та правило зупинки. Якщо відповідних відвідувачів замало, спочатку спостерігайте за покупцями й виправляйте підтверджені помилки. Відсутність статистично значущого результату ще не доводить відсутності ефекту.

Команда змінила заголовок, побачила зростання заявок за три дні й оголосила перемогу. За тиждень результат зник. Можливо, новий текст нічого не поліпшив; можливо, змінився склад відвідувачів. Без заздалегідь спланованого порівняння ці пояснення не розділити.

Наша позиція: тест корисний, коли його результат може змінити рішення бізнесу. Обирати колір кнопки на смак дорого, якщо люди йдуть через несподівані умови доставки. Але й сильна на вигляд гіпотеза потребує даних — упевненість редактора не замінює перевірки.

Скільки відвідувачів потрібно для A/B-тесту

Розмір вибірки залежить від початкової конверсії та зміни, яку важливо виявити. MDE — мінімальний виявлюваний ефект. Його задають до запуску, співвідносячи з економікою впровадження.

Зростання CR з 2% до 2,4% — це 20% відносного зростання, але лише 0,4 відсоткового пункту. Якщо переплутати ці величини, розрахунок трафіку стане неправильним.

Нижче — розрахункові орієнтири для двох незалежних груп однакового розміру, двостороннього тесту з рівнем значущості 5% і потужністю 80%. Використано нормальне наближення для порівняння двох часток, без поправки на неперервність. Значення округлені вгору; це оцінка планування, не гарантія результату.

Ці числа розраховані для події «конвертувався чи ні» на рівні незалежного учасника. Для виручки, повторних покупок, інших статистичних методів і кількох варіантів потрібен окремий розрахунок. Не можна видавати кожне відвідування однієї людини за незалежного нового покупця.

Якщо лендинг отримує 10 000 відповідних учасників на місяць, тест рядка 2% може потребувати понад чотири місяці за розподілу 50/50. Це час лише на набір обсягу; враховуйте також затримку оплати або угоди. Трафік усього магазину не дорівнює трафіку конкретного тесту.

Microsoft рекомендує визначати мету, аудиторію, метрики та статистичну потужність на етапі підготовки експерименту. Числа таблиці вище — наш розрахунок за явно заданих умов, а не опублікований галузевий норматив. Microsoft Research

Які помилки роблять результат ненадійним

Рання зупинка. У класичному тесті з фіксованою вибіркою не можна завершувати експеримент щоразу, коли випадково з’явився гарний відсоток. План може включати два або чотири тижні для охоплення робочих і вихідних днів, але календар не замінює потрібного обсягу. Послідовні методи допускають інший порядок спостереження лише зі своїми заздалегідь обраними правилами.

Незрозумілий предмет порівняння. Зміна заголовка, зображення й форми одночасно перевіряє весь пакет. Це допустимо, якщо бізнес обирає між двома пропозиціями цілком. Але приписати результат одному з трьох елементів не можна. Для такого висновку потрібен окремий експеримент або факторний дизайн.

Немає пояснення гіпотези. Замість «зробимо нову форму» запишіть: «Якщо приберемо обов’язкове запитання, яке не потрібне до першої відповіді, більше відповідних відвідувачів завершать заявку, бо їм не доведеться шукати невідомі дані». Цільове поліпшення потім визначте за економікою та розрахунком вибірки.

Неоднакова якість даних. Одна версія може пізніше завантажувати аналітику або втрачати подію оплати. Зберігайте стабільне призначення обраного учасника у варіант. Порівняйте призначені й фактично враховані групи. Суттєве відхилення від очікуваного розподілу називається Sample Ratio Mismatch, або SRM. Microsoft перевіряє цю ознаку до аналізу ефекту; спочатку потрібно з’ясувати причину, інакше висновок може бути зміщеним. Microsoft Research

Під час експерименту окремо контролюйте поломки й захисні показники. Виправлення критичної помилки може вимагати зупинки раніше за план, але така зупинка не перетворює варіант, що залишився, на статистично доведеного переможця. Microsoft Research

Що тестувати насамперед

Обирайте спостережуваний бар’єр і вартість його перевірки. «Високий потенційний ефект» означає корисну гіпотезу, а не заздалегідь відомий приріст.

Помилка доступності потребує виправлення незалежно від бажання проводити тест. Коли бар’єр ще не доведений, корисно почати з розбору конверсії лендингу і системи тестування креативів.

Два навчальні приклади

Fashion-магазин: покажіть релевантний відгук поруч із першою дією, щоб відповісти на спостережуваний сумнів. Збережіть порівнянні ціни й умови залучення. Вимірюйте підтверджені покупки та повернення, потім оцініть інтервал невизначеності й користь для бізнесу.

B2B-заявка: порівняйте довгу форму зі зрозумілими етапами та збереженням введених даних. До запуску погодьте з продажами визначення якісної заявки й затримку її оцінки. Більше надісланих форм за гіршої якості звернень може бути поганим результатом. Це навчальні сценарії для дизайну перевірки.

Як обрати інструмент і оцінити витрати

Google Optimize та Optimize 360 недоступні з 30 вересня 2023 року. Не можна включати їх у новий план як чинний безкоштовний інструмент. Google Analytics Help

Комерційні платформи потрібно порівнювати за завданнями: візуальний редактор, перенаправлення на різні URL, підтримка розробки, метод аналізу, запобігання перетинам і експорт даних. Під час перевірки офіційні pricing-посилання VWO та AB Tasty ведуть на Wingify. Уточнюйте поточні умови на сторінці платформи, замість використання старого списку окремих тарифів.

На 28 вересня 2026 публічна сторінка пробного доступу Convert зазначає тарифи від $399 на місяць. Це приклад стартової ціни в USD на дату перевірки. Річну оплату, ліміти учасників, функції, податки й загальну вартість уточнюйте до купівлі; ціна не є фіксованою пропозицією для вашого проєкту.

Власна реалізація через GTM або код сайту також має вартість: розробка розподілу, збереження варіанта, події, перевірка помилок, підтримка й відкат. Безкоштовний менеджер тегів не робить весь експеримент безкоштовним. Платформа сама по собі не гарантує відсутності мерехтіння або дотримання вимог до даних. До підключення сервісу перевірте обробку даних, згоду, швидкість сайту й доступ команди.

Зміна A одного тижня й B наступного може дати спостереження до та після, але не контрольований A/B-тест. Відмінності реклами, днів виплати зарплат, сезону й асортименту здатні пояснити результат. Такий підхід не можна представляти рівнозначною заміною випадковому одночасному розподілу.

Коли краще почати зі спостереження за покупцями

Якщо потрібна вибірка не набирається за розумний для бізнесу строк, не купуйте інструмент заради звіту з двома колонками. Спочатку шукайте помилки й нерозуміння: як людина обирає доставку, виправляє адресу, знаходить докази або намагається надіслати форму.

Теплова карта показує взаємодії, а запис сеансу — послідовність дій. Вони не розкривають намірів людини автоматично. Інтерв’ю або спостереження за кількома користувачами допомагають сформулювати причини. П’ять користувачів можуть виявити проблему, але не дадуть надійної оцінки її поширеності.

Дотримуйтеся правил обробки даних і маскування записів. Після виправлення явної помилки відстежуйте підтверджені замовлення й якість заявок. Порівняння до та після корисне для контролю, але без експериментального дизайну не доводить, що все зростання спричинене саме виправленням.

Жорсткої межі «менше 5 000 відвідувачів — тест заборонений» немає. Великий ефект або часта дія іноді вимірюються за меншого обсягу. І навпаки, рідкі покупки потребують тривалого спостереження навіть за великого загального трафіку.

Що підготувати цього тижня

Сьогодні: зафіксуйте кількість відповідних учасників, початкову CR, затримку конверсії та вартість впровадження. Перевірте, чи однаково працюють події в усіх користувачів.

Завтра: сформулюйте три гіпотези, оберіть основну бізнес-метрику й обмеження: маржу, якість заявок, швидкість, повернення. Тестувати все одразу необов’язково.

Цього тижня: розрахуйте вибірку й строк для однієї гіпотези. Запишіть розподіл груп, виключення, критерій зупинки та рішення для трьох результатів: корисний ефект, шкода, недостатньо даних. Якщо строк надто довгий, проведіть якісну діагностику та скоротіть невизначеність перед наступним тестом.

Підсумок експерименту має відповідати на запитання про рішення: чи впроваджувати варіант, чи продовжувати дослідження, чи відмовитися від зміни. Один відсоток у звіті цього не забезпечує.

Поширені запитання

Скільки має тривати A/B-тест?

До заздалегідь обраного обсягу й охоплення важливого циклу поведінки. Два–чотири тижні можуть бути відповідним планом, але не гарантують достатньої вибірки. Враховуйте вихідні, сезонність і час до оплати. Правило зупинки залежить також від методу аналізу.

Чи можна проводити кілька тестів одночасно?

Можна за контролю перетинів, розподілу та можливої взаємодії змін. Різні URL не гарантують незалежності: один покупець здатний побачити кілька тестів в одній воронці. Для невеликого магазину послідовність часто простіша в підтримці та поясненні результату.

Що означає відсутність статистично значущого результату?

Вона означає, що обраний аналіз не дав достатніх підстав стверджувати наявність ефекту. Можливо, ефект малий, вибірки замало або зміна справді не допомагає. Дивіться інтервал невизначеності та MDE. Доведення практичної еквівалентності потребує окремого критерію; фраза «ефекту немає» без нього надто сильна.

Чим A/B-тест відрізняється від багатоваріантного?

A/B порівнює цілі варіанти. Багатоваріантний, або факторний, експеримент перевіряє комбінації кількох елементів та їхню взаємодію. Потрібний обсяг залежить від кількості комбінацій і аналізу; універсального множника трафіку немає. Починайте із запитання, який окремий висновок потрібен бізнесу.

Чи потрібен розробник?

Простий текстовий варіант іноді можна підготувати у візуальному редакторі. Форми, платежі, збереження варіанта й події зазвичай потребують технічної роботи. У будь-якому разі потрібні перевірка мобільного інтерфейсу, коректне вимірювання та можливість відкату.

Якщо команда змінює сайт, але не може пояснити результат, CRO-робота Canem Errant допомагає обрати спостережуваний бар’єр, гіпотезу та критерій рішення. Опишіть лендинг або checkout, доступний трафік і підтверджену конверсію: це дасть змогу оцінити, чи потрібен експеримент, чи спочатку діагностика.