Как сравнить два варианта страницы на сайте службы доставки еды

На сайте доставки страница — это шаг в короткой цепочке: выбрать блюдо, понять, привезут ли по адресу и когда, собрать корзину, оплатить. Поэтому фраза «новый вариант выглядит лучше» ничего не доказывает. Ниже — как сравнить две версии так, чтобы выводу можно было доверять.

Что сравнивать: одну гипотезу, а не два дизайна

Если во второй версии изменены фото, порядок блоков, текст кнопки и форма адреса, то при любом результате вы не узнаете причину. Сформулируйте гипотезу одним предложением: «Если показать минимальную сумму заказа и время доставки до выбора блюд, меньше людей будут бросать корзину в конце из-за неожиданных условий». Одна гипотеза — одно главное отличие. Всё остальное в обеих версиях должно совпадать.

Условный пример: страница ресторана в каталоге доставки

Возьмём страницу с меню одного заведения.

• Вариант А. Условия доставки (минимальный заказ, стоимость, время) набраны мелким шрифтом внизу, под списком блюд. Кнопка «Оформить заказ» находится в конце страницы.
• Вариант Б. Под названием заведения стоит строка вида «Доставка [время] · заказ от [сумма]». На телефоне корзина закреплена внизу экрана: в ней видны сумма и подсказка «Добавьте ещё на [сумма], чтобы оформить».

Меню, фотографии, цены и порядок блюд одинаковы. Меняется только место и подача условий и корзины. Тогда разницу в поведении можно связать именно с этим изменением.

Какие метрики считать и какая из них главная

Выберите одну главную метрику до запуска. Для примера выше это доля сессий, дошедших до подтверждения заказа, среди сессий, где открыли меню. Вспомогательные показатели нужны, чтобы не получить «победу» ценой других потерь:

• доля тех, кто добавил блюдо в корзину, но не начал оформление;
• доля ушедших на шаге ввода адреса и оплаты;
• средний размер заказа;
• отмены заказов и обращения в поддержку по условиям доставки.

В системе аналитики (например, в Яндекс Метрике) заранее настройте цели: «добавил в корзину», «начал оформление», «подтвердил заказ». Проверьте, что они срабатывают одинаково в обеих версиях: частая ошибка — новый блок сломал событие, и данные искажены с первого дня.

Как разделить посетителей и сколько ждать

Версии показывают одновременно и случайным образом. За посетителем закрепляйте один вариант, иначе человек, выбравший пиццу в обед и вернувшийся к заказу вечером, увидит другую страницу, и его поведение нельзя будет честно учесть.

Не сравнивайте «А по будням, Б по выходным» и «неделя до, неделя после». В доставке на заказы влияют погода, акции, праздники, спортивные трансляции, зарплатные дни. Эти факторы окажутся в одной из версий и исказят итог.

Что ещё учесть:

• смотрите телефон и компьютер отдельно: на мобильном поведение и заказы часто сильно отличаются;
• исключите заказы сотрудников и тестовые оформления;
• заранее задайте срок и берите полные недели: понедельничный обед и пятничный вечер — разные аудитории;
• не останавливайте проверку на первом заметном всплеске — он может оказаться случайным.

Если заказов мало, небольшую разницу между версиями не увидеть. Тогда проверяйте более крупное изменение или дополняйте цифры качественными данными: записями действий посетителей и вопросами, которые клиентам приходится задавать оператору.

Проверочный список перед запуском

• Гипотеза записана одним предложением.
• Версии отличаются одним главным изменением.
• Выбрана главная метрика и 2–4 контрольные.
• Цели в аналитике проверены в обеих версиях на тестовых заказах.
• Посетители делятся случайно, версия за ними закреплена.
• Версии идут параллельно, срок задан заранее и кратен неделям.
• Заказы сотрудников и тесты исключены из отчёта.
• Заранее решено, что делать при каждом исходе: внедрять, оставить как было или повторить с другой гипотезой.

Что делать с результатом

Если вариант Б лучше по главной метрике и не хуже по контрольным, внедряйте его для всех. Если разницы нет, это тоже вывод: оставьте версию, которую проще поддерживать. Если заказов стало больше, но выросли отмены или звонки в поддержку, проверьте, насколько точно на странице обещаны время и условия, и сверьтесь с тем, как их выполняет служба доставки. Записывайте гипотезу, даты, версии и итог — через полгода эта история избавит от повторных проверок того же самого.

Все статьи блога