Как сравнить два варианта страницы на сайте книжного магазина

Разбираем, как честно сравнить два варианта карточки книги или каталога: что взять за метрику, как учесть сезонность и наличие товара и когда тест не нужен.

Раздел: Интернет-маркетинг: статьи о рекламе, SEO и аналитике
Обложка статьи: как сравнить два варианта страницы

Владельцу книжного магазина легко поддаться соблазну: поменять карточку книги, подождать неделю и сравнить заказы с прошлой неделей. Но за это время могли выйти новинки, начаться школьный сезон или закончиться хит на складе. Тогда вы сравниваете не два дизайна, а два разных периода. Ниже описано, как устроить сравнение, которому можно доверять.

Что именно сравнивать: одна гипотеза вместо «нового дизайна»

Если во втором варианте изменено всё сразу, вывод будет расплывчатым: непонятно, что сработало. Сформулируйте одну гипотезу в виде «если изменить X, изменится Y, потому что Z».

Условный пример. Сейчас в карточке книги сначала идут обложка, аннотация и характеристики, а цена и кнопка «В корзину» расположены ниже. В варианте B над аннотацией выводится блок: цена, статус («в наличии», «под заказ», «предзаказ»), ориентировочный срок получения и кнопка. Гипотеза: покупателю нужно быстро понять, сможет ли он получить книгу к нужной дате, поэтому понятный блок снизит число уходов из карточки без добавления в корзину. Всё остальное, включая тексты и порядок фотографий, остаётся прежним.

Какие метрики выбрать для книжного магазина

Главную метрику выберите до запуска, иначе после можно подогнать вывод под любой результат. Для карточки книги это обычно доля посетителей, добавивших товар в корзину. Для каталога или подборки — переход в карточку и затем добавление в корзину.

Добавьте контрольные метрики, которые не должны ухудшиться:

  • Доля оформленных заказов от добавлений в корзину: вдруг новый блок привлёк «случайные» клики;
  • Отмены заказов и обращения в поддержку, если покупатели неверно поняли срок или наличие;
  • Средний состав заказа, если вы продаёте книги вместе с сопутствующими товарами.

Клики по кнопкам и глубина просмотра сами по себе не доказывают пользу: человек мог кликать, потому что не нашёл нужное.

Как учесть сезонность, новинки и остатки

Книжная торговля неровная: учебный сезон, праздничные подарки, выход громкой новинки, предзаказы. Поэтому варианты A и B нужно показывать одновременно, случайно распределяя посетителей между ними. Тогда сезонный всплеск затронет обе группы одинаково.

Проверьте технические детали:

  • Один посетитель всегда видит один и тот же вариант, иначе он увидит разные цены и сроки при повторном заходе;
  • Наличие и цены берутся из одной и той же учётной системы в обоих вариантах;
  • Промо-акции и рассылки не направляют на один вариант чаще, чем на другой;
  • Тест идёт не меньше одного-двух полных недель, чтобы попали и будни, и выходные.

Когда остановить тест и как читать результат

Не завершайте сравнение в день, когда один вариант вырвался вперёд. На малых числах разница часто возникает случайно. Заранее определите условие остановки: длительность и минимальное число целевых действий в каждой группе. Если разница небольшая, а заказов мало, честный вывод звучит так: «данных недостаточно».

Отдельно посмотрите результат по устройствам. Блок, который удобен на компьютере, на телефоне может сдвинуть аннотацию так далеко, что читатель не найдёт отзывы или содержание. Если по мобильным и десктопам выводы расходятся, возможно, нужен разный вариант для каждого типа устройств.

Что делать, если посетителей мало

В небольшом магазине трафика может не хватить на статистически надёжное сравнение. Тогда не стоит имитировать точность. Подойдут другие способы: записи сессий, анализ того, где посетители бросают оформление, короткие проверки на нескольких знакомых с магазином покупателях, вопрос в чате поддержки. Задание участнику проверки: «Найдите, сможете ли вы получить эту книгу до конца недели». Если человек ищет ответ дольше нескольких секунд, проблема видна без большой выборки.

Ещё один вариант — тестировать на самых посещаемых страницах: общей карточке книги или основном шаблоне каталога, где действий набирается быстрее.

Проверочный список перед запуском

  • Записана одна гипотеза и одно отличие между вариантами.
  • Определены главная метрика и контрольные метрики.
  • Посетители делятся случайно, а вариант закрепляется за человеком.
  • Варианты показываются одновременно, а не по очереди.
  • Цены, наличие и сроки одинаково берутся из учётной системы.
  • Заранее назначены срок теста и минимальное число целевых действий.
  • Проверена вёрстка на телефоне, планшете и компьютере.
  • Решено, что делать при ничьей: оставить текущий вариант и сформулировать новую гипотезу.

Такой подход делает сравнение скучнее, чем «поменяли и посмотрели», но именно он защищает от решений, принятых на случайных колебаниях спроса.

Все статьи блога

Читайте также

Заявка

Расскажите о проекте

Свяжемся в течение рабочего дня, зададим уточняющие вопросы и предложим варианты. Без навязчивых звонков.

Форма обратной связи

Согласия перед отправкой

Отвечаем в рабочие дни с 10:00 до 19:00

Написать в Telegram
Расчёт стоимости

Узнайте стоимость сайта