A/B эксперименты

Если коротко. A/B-тест — это не магия роста, а способ перестать спорить «какая кнопка лучше» и посмотреть на цифры. Но только когда у тебя уже есть трафик и понятная метрика.

Объяснение

6.1. Что такое A/B-тест

Ты показываешь половине пользователей вариант A, половине — вариант B. Меняешь одну вещь: заголовок, кнопку, цену, порядок блоков. Смотришь, какой вариант лучше по выбранной метрике — регистрации, клики, оплаты.

Это не «мнение команды» и не «мне кажется, синяя кнопка круче». Это сравнение на реальных людях.

6.2. Когда A/B имеет смысл

Когда уже есть поток пользователей — хотя бы сотни в неделю на тестируемый экран. Когда знаешь, что именно хочешь улучшить. Когда можешь измерить результат за разумный срок.

На старте с 20 визитами в день A/B бессмысленен: выборка слишком мала, результат будет шумом. Лучше просто поговорить с 10 пользователями и поменять экран руками.

6.3. Как провести простой эксперимент

Шаг 1. Сформулируй гипотезу: «Если изменить X, метрика Y вырастет, потому что Z».

Шаг 2. Выбери одну метрику — конверсию в регистрацию, клик по CTA, оплату. Не пять сразу.

Шаг 3. Сделай два варианта. Меняй только одну переменную. Иначе не поймёшь, что сработало.

Шаг 4. Запусти на достаточной выборке. Грубо: для конверсии 5% нужны сотни показов на вариант, чтобы отличить сигнал от случайности.

Шаг 5. Зафиксируй результат, внедри победителя, переходи к следующей гипотезе.

6.4. Что тестировать на старте

Заголовок и оффер на лендинге. Текст и цвет главной кнопки. Длина формы регистрации. Цена и формулировка тарифа. Порядок блоков на странице оплаты.

Не трать время на тест мелочей — оттенок серого фона, форму иконки, скругление углов — пока не выстроена базовая воронка.

6.5. Инструменты

Google Optimize (закрыт) — исторически популярен; сейчас смотри альтернативы.

VWO, Optimizely, AB Tasty — полноценные платформы, часто дороги для старта.

PostHog, Amplitude Experiments, GrowthBook — если уже используешь аналитику, эксперименты можно встроить туда.

Ручной сплит — показываешь вариант A одной неделе, B другой, сравниваешь. Грубо, но для микро-старта иногда достаточно.

Примеры

Не так

Запустил A/B с 30 визитами, поменял сразу заголовок, картинку и цену, через два дня объявил победителя

Так лучше

Гипотеза: «Заголовок с конкретной выгодой даст больше заявок». 500 визитов на вариант, одна метрика — отправка формы. Вариант B +18%, внедрил

Ошибки

Тестировать при мизерном трафике и верить результату
Менять несколько элементов одновременно
Не записывать гипотезу до запуска — потом «подгоняешь» выводы
Останавливать тест, как только один вариант «повёл» — часто это шум
Гоняться за +0.5% конверсии, когда продукт вообще не решает боль
Тестировать ради тестирования вместо разговоров с пользователями

Что сделать руками

Выбери один экран с наибольшим отвалом — обычно лендинг или регистрация.
Запиши гипотезу и одну метрику. Сделай второй вариант с одним изменением.
Если трафика мало — не A/B, а 5 интервью: покажи оба варианта и спроси, что понятнее и что бы нажали.

Чеклист

Есть гипотеза до запуска, не после
Меняю только одну переменную за эксперимент
Выбрана одна главная метрика
Достаточно трафика или использую качественный метод вместо A/B
Результат записан: победитель, цифры, вывод
Не тестирую мелочи, пока воронка не работает базово
A/B дополняет, а не заменяет разговоры с пользователями