Как сравнить два варианта страницы на сайте автомойки и не обмануться в выводах

Владелец автомойки часто хочет «переделать страницу, чтобы записывалось больше». Но если заменить всё сразу и через неделю посмотреть на звонки, понять причину изменений невозможно: могли повлиять и новый текст, и дождь, и акция. Сравнение двух вариантов нужно, чтобы отделить эффект страницы от внешних причин.

Что именно сравниваем: одна гипотеза вместо «нового дизайна»

Сформулируйте гипотезу одной фразой: «Если показать цену по классу кузова до описания услуги, больше посетителей дойдёт до формы записи». В такой фразе есть изменение, ожидаемое действие и причина. Если вы меняете одновременно заголовок, цены, фото и кнопку, победителя можно выбрать, но объяснить его нельзя, и в следующий раз вы начнёте с нуля.

Для автомойки обычно проверяют: порядок блоков (цены или описание первыми), способ выбора класса автомобиля, текст кнопки, наличие выбора времени, заметность телефона на мобильном экране.

Условный пример: страница «Комплексная мойка»

Допустим, у страницы такая структура.

• Вариант A. Заголовок «Комплексная мойка», абзац о том, что входит в услугу, фото, внизу таблица цен для трёх классов кузова и кнопка «Оставить заявку».
• Вариант B. Сразу под заголовком переключатель «Седан / Кроссовер / Большой внедорожник», рядом цена и примерное время, ниже кнопка «Записаться на сегодня» и список того, что входит в услугу.

Гипотеза: людям с телефона, которые стоят в очереди или едут мимо, нужны цена и срок, а не описание. Меняется только верхний экран; тексты, фото и цены остаются теми же. Тогда разница в результате относится именно к этому блоку.

Какие действия считать результатом

«Просмотров страницы» мало: человек мог открыть её и уйти. Выберите главное действие и пару вспомогательных.

• Отправка формы записи или заявки.
• Нажатие на номер телефона с мобильного (настраивается как цель в системе аналитики).
• Нажатие на кнопку мессенджера, если вы принимаете записи там.
• Переход к схеме проезда: по нему видно намерение приехать.

Для сопоставления с реальностью добавьте офлайн-проверку: администратор спрашивает у новых клиентов, откуда они узнали и звонили ли по сайту. Клик по номеру ещё не звонок, а звонок не всегда приезд, поэтому эти данные дополняют друг друга.

Как разделить посетителей, если заявок немного

Идеальный способ: система случайно показывает одним посетителям вариант A, другим B одновременно. Тогда погода, день недели и реклама действуют на оба варианта одинаково. Следите, чтобы один человек при повторном визите видел ту же версию.

Если инструментов нет или заявок мало, возможны запасные схемы, но с оговорками:

• Чередование по дням. Понедельник A, вторник B и так далее. Нужно охватить несколько полных недель, иначе один вариант получит больше выходных.
• Разные адреса для рекламы. Одна кампания ведёт на A, другая на B. Условия кампаний (аудитория, бюджет, время показа) должны быть одинаковыми.
• До и после. Самый слабый вариант: сравнивать неделю с неделей можно только с поправкой на сезон и погоду, и вывод остаётся предположением.

Не останавливайте тест на второй день из-за того, что один вариант «ушёл вперёд». При малом числе заявок разрыв в две-три записи легко получается случайно. Заранее договоритесь о сроке, например о нескольких неделях, и не меняйте его по ходу.

Что мешает честному сравнению именно на автомойке

Спрос на мойку зависит от внешних причин сильнее, чем в большинстве сфер. После дождя, снега и реагентов очереди растут независимо от сайта. Влияют также выходные, зарплатные дни, праздники, закрытие соседней мойки и ваши собственные акции.

• Не запускайте тест одновременно со сменой цен или скидкой.
• Не сравнивайте посетителей из разных источников в общей куче: у людей из карт и из рекламы разное намерение.
• Смотрите мобильные и компьютерные визиты отдельно: большая часть мойщиков и клиентов «на ходу» заходит с телефона.
• Исключите свои визиты и визиты сотрудников из статистики.
• Проверьте, что форма и номер работают в обоих вариантах: ошибка в одном из них испортит весь результат.

Проверочный список перед запуском

• Гипотеза записана одной фразой.
• Отличается один блок, остальное идентично.
• Главное действие и цели в аналитике настроены, тестовая заявка прошла.
• Определены срок теста и условия, при которых вы его не прерываете.
• Посетители разделяются случайно либо чередованием, а условия рекламы одинаковы.
• В период теста не меняются цены, акции и режим работы.
• Мобильные и компьютерные визиты анализируются отдельно.
• Администратор знает, что нужно спрашивать у клиентов об источнике.
• Если разница небольшая, результат записан как «неясно», а тест продлён или повторён.

Хороший итог теста не обязательно победа новой версии. Даже ответ «порядок блоков почти не влияет» полезен: вы перестаёте тратить деньги на переделку и переходите к следующей гипотезе, например к выбору времени записи.

Все статьи блога