Как сравнить два варианта страницы на сайте службы переездов

Фразу «давайте поменяем форму, и заявок станет больше» владельцы служб переездов слышат часто. Проверить её можно, но только если сравнение построено так, чтобы разницу нельзя было объяснить сезоном, рекламой или загруженной пятницей в конце месяца.

Что сравнивать: одну гипотезу, а не два «дизайна»

Если во втором варианте изменились заголовок, форма, фото и цены, то после теста вы не поймёте, что сработало. Сформулируйте одно предположение: «Если просить в форме только адреса и дату, а не полный список вещей, больше людей дойдёт до отправки». Всё остальное оставьте одинаковым.

Условный пример: страница «Квартирный переезд»

Допустим, на странице есть длинная форма, а мы хотим проверить короткий расчёт.

• Вариант А. Заголовок «Квартирный переезд с грузчиками». Кнопка «Оставить заявку». Форма из шести полей: имя, телефон, адрес «откуда», адрес «куда», дата, список вещей.
• Вариант Б. Тот же заголовок и тот же текст. Форма из четырёх полей: адрес «откуда», адрес «куда», дата, телефон. Кнопка «Получить расчёт». Под ней фраза: «Перезвоним и уточним объём вещей, лифт и этаж».

Гипотеза: список вещей пугает людей, которые ещё не решили, с кем переезжать, а уточнить его можно и по телефону. Заодно проверяем, что изменится по другим показателям. Заявок может стать больше, но если все они окажутся без внятных данных, диспетчеру придётся перезванивать каждому.

Как разделить посетителей и не исказить результат

Лучший способ — показывать оба варианта одновременно, случайно распределяя посетителей между ними. Тогда сезон, погода и рекламные кампании действуют на обе версии одинаково. Сравнивать «прошлую неделю» с «этой» ненадёжно: у переездов выраженные пики (конец месяца, выходные, летние месяцы), и разницу создаст сам календарь.

Для случайного деления существуют сервисы A/B-тестов, например Google Optimize. Можно также попросить разработчика сделать разделение на стороне сайта. Важно, чтобы один и тот же человек при повторном визите видел ту же версию, иначе он запутается, а данные исказятся.

Ещё два правила:

• Не запускайте тест одновременно с новой рекламной кампанией или сменой тарифов: источник трафика и цена влияют на решение сильнее формы.
• Не включайте в сравнение сотрудников: их звонки и тестовые заявки лучше исключить.

Какие цели считать для службы переездов

Отправленная форма — только первая ступень. В этой отрасли заявки приходят и другими путями, и их нужно учитывать в обоих вариантах:

• отправка формы или заказ обратного звонка;
• нажатие на номер телефона с мобильного (настраивается как отдельная цель);
• звонки, которые фиксирует подмена номера, если она у вас подключена;
• сообщения в мессенджере или онлайн-чате, если они есть на странице.

Затем сверяйте результат с реальностью: сколько заявок из каждого варианта дошло до подтверждённого заказа. Для этого в CRM или в журнале диспетчера достаточно отмечать, с какой версии пришла заявка. Если вариант Б даёт больше обращений, но заказов не прибавляет, то выигрыш мнимый.

Сколько ждать и когда делать вывод

Заявок на странице услуги обычно немного, и по десятку обращений судить нельзя: перевес в две-три заявки может оказаться случайностью. Заранее решите, при каком условии вы остановите тест. Например, он идёт не меньше двух полных недель, чтобы в него вошли все дни недели, и вы не смотрите на промежуточные цифры, чтобы не прекратить его в удачный момент. Если разница на таком сроке остаётся небольшой, считайте варианты равноценными и выбирайте тот, что проще для менеджеров.

Если трафика мало, лучше проверять крупное изменение (скажем, форма с расчётом против формы без него), чем менять цвет кнопки. Мелкие правки на малом числе посетителей разглядеть невозможно.

Проверочный список перед запуском

• Сформулирована одна гипотеза, и отличается только то, что её проверяет.
• Варианты показываются одновременно, посетители делятся случайно.
• Один человек всегда видит одну и ту же версию.
• Настроены цели: форма, звонок с сайта, мессенджер.
• Заявки в CRM помечаются версией страницы.
• Тест не совпадает с запуском рекламы или изменением цен.
• Срок и условие остановки записаны до начала.
• Обе версии проверены на телефоне: форма открывается, кнопка звонка работает.

Такой порядок займёт немного времени, зато даст ответ, на который можно опираться при следующих правках сайта.

Все статьи блога