Бизнес — статьи о сайтах
Разбираем, как честно сравнить два варианта карточки книги или каталога: что взять за метрику, как учесть сезонность и наличие товара и когда тест не нужен.
Владельцу книжного магазина легко поддаться соблазну: поменять карточку книги, подождать неделю и сравнить заказы с прошлой неделей. Но за это время могли выйти новинки, начаться школьный сезон или закончиться хит на складе. Тогда вы сравниваете не два дизайна, а два разных периода. Ниже описано, как устроить сравнение, которому можно доверять.
Если во втором варианте изменено всё сразу, вывод будет расплывчатым: непонятно, что сработало. Сформулируйте одну гипотезу в виде «если изменить X, изменится Y, потому что Z».
Условный пример. Сейчас в карточке книги сначала идут обложка, аннотация и характеристики, а цена и кнопка «В корзину» расположены ниже. В варианте B над аннотацией выводится блок: цена, статус («в наличии», «под заказ», «предзаказ»), ориентировочный срок получения и кнопка. Гипотеза: покупателю нужно быстро понять, сможет ли он получить книгу к нужной дате, поэтому понятный блок снизит число уходов из карточки без добавления в корзину. Всё остальное, включая тексты и порядок фотографий, остаётся прежним.
Главную метрику выберите до запуска, иначе после можно подогнать вывод под любой результат. Для карточки книги это обычно доля посетителей, добавивших товар в корзину. Для каталога или подборки — переход в карточку и затем добавление в корзину.
Добавьте контрольные метрики, которые не должны ухудшиться:
Клики по кнопкам и глубина просмотра сами по себе не доказывают пользу: человек мог кликать, потому что не нашёл нужное.
Книжная торговля неровная: учебный сезон, праздничные подарки, выход громкой новинки, предзаказы. Поэтому варианты A и B нужно показывать одновременно, случайно распределяя посетителей между ними. Тогда сезонный всплеск затронет обе группы одинаково.
Проверьте технические детали:
Не завершайте сравнение в день, когда один вариант вырвался вперёд. На малых числах разница часто возникает случайно. Заранее определите условие остановки: длительность и минимальное число целевых действий в каждой группе. Если разница небольшая, а заказов мало, честный вывод звучит так: «данных недостаточно».
Отдельно посмотрите результат по устройствам. Блок, который удобен на компьютере, на телефоне может сдвинуть аннотацию так далеко, что читатель не найдёт отзывы или содержание. Если по мобильным и десктопам выводы расходятся, возможно, нужен разный вариант для каждого типа устройств.
В небольшом магазине трафика может не хватить на статистически надёжное сравнение. Тогда не стоит имитировать точность. Подойдут другие способы: записи сессий, анализ того, где посетители бросают оформление, короткие проверки на нескольких знакомых с магазином покупателях, вопрос в чате поддержки. Задание участнику проверки: «Найдите, сможете ли вы получить эту книгу до конца недели». Если человек ищет ответ дольше нескольких секунд, проблема видна без большой выборки.
Ещё один вариант — тестировать на самых посещаемых страницах: общей карточке книги или основном шаблоне каталога, где действий набирается быстрее.
Такой подход делает сравнение скучнее, чем «поменяли и посмотрели», но именно он защищает от решений, принятых на случайных колебаниях спроса.
Читайте также
Бизнес — статьи о сайтах
SEO — статьи о сайтах
Интернет-маркетинг: статьи о рекламе, SEO и аналитике
Интернет-маркетинг: статьи о рекламе, SEO и аналитике
Заявка
Свяжемся в течение рабочего дня, зададим уточняющие вопросы и предложим варианты. Без навязчивых звонков.
Форма обратной связи