Новости

Как провести A/B-тест ИИ-подбора в интернет-магазине

15.10.2026

После установки чата диалогов стало больше. Это ожидаемо: раньше поговорить было негде. Чтобы понять, помогает ли виджет покупать, сравните не тех, кто открыл чат, с остальными, а две сопоставимые группы посетителей, которым случайно показали разные версии витрины.

Сформулируйте гипотезу и одно главное число

Например: «Если в категории наушников добавить подбор по задаче, доля посетителей с оплаченным заказом вырастет». Главный показатель — посетители с хотя бы одной оплатой, делённые на всех отнесённых к группе посетителей категории. Для магазина со сделками после звонка разумно заранее выбрать другой результат — квалифицированную заявку — и письменно определить, что менеджер считает квалификацией. Не меняйте показатель после просмотра цифр.

Что оставить одинаковым

В A сохраните привычный поиск и фильтры. В B оставьте их же и добавьте виджет. Не меняйте одновременно цены, карточки и рекламную кампанию только для B. Распределяйте посетителей случайно средствами сайта или системы экспериментов, сохраняйте вариант при повторном визите. Проверьте телефоны и компьютеры, исключите тестовые заказы команды. Эксперимент требует настройки на стороне магазина: одного отчёта об обращениях недостаточно.

До старта проверьте измерение

Сделайте контрольный проход в обеих версиях: открытие категории, просмотр карточки, тестовый заказ. В журнале событий должны остаться группа, время и один идентификатор заказа без повторного учёта при обновлении страницы. Заранее определите минимальное улучшение, ради которого стоит запускать виджет, оцените нужный объём по исходной конверсии и зафиксируйте правило окончания. Учтите недельный цикл и задержку между визитом и оплатой.

Пример результата и решение

В A оплатили 40 из 2 000 посетителей (2%), в B — 48 из 2 000 (2,4%). Разница составляет 0,4 процентного пункта, или 20% относительно исходных 2%. Это наблюдаемая разница, а не доказанный прирост. Оцените неопределённость: для этих условных чисел приближённый 95%-й интервал разности составляет примерно от −0,5 до +1,3 процентного пункта. Данные совместимы и с отсутствием улучшения. Не останавливайте тест при первом красивом результате.

Если тест не дал убедительного ответа

Посмотрите вспомогательные сигналы: долю обращений с переходом, ошибки, скорость страницы, стоимость поддержки и возвраты. Они помогают поставить следующую гипотезу, но не заменяют выбранный показатель. Если трафика мало, честный итог — «недостаточно данных». Разберите несколько неудачных диалогов, исправьте конкретную проблему и запланируйте новую проверку вместо обещания гарантированных продаж.

Что зафиксировать до сравнения вариантов

Сохраните дату обновления фида и несколько контрольных карточек с ценами и наличием. Если во время теста в одном варианте появились полные характеристики, а в другом осталась старая выгрузка, меняются сразу два условия. Для обеих групп задайте одинаковое правило учёта заказа и один период наблюдения. В журнале теста отметьте дни акций и массовых обновлений ассортимента.