Как сравнить два варианта страницы на сайте языковой школы

Знакомая ситуация: на странице курса поменяли кнопку, через месяц заявок стало больше, и все довольны. Но в этот месяц начался январский набор и подключили новую рекламу. Что сработало на самом деле, неясно. Сравнение двух вариантов страницы нужно, чтобы отделить эффект правки от всего остального.

Что именно сравнивать на странице курса

Тест должен отвечать на один вопрос. Формулировка «новый дизайн лучше старого» не годится: изменено всё, и непонятно, что повлияло. Нужна гипотеза: «если сократить форму записи на пробный урок, больше посетителей доведут её до отправки».

Условный пример: страница курса «Английский для взрослых, уровень A2–B1».

• Вариант А. Кнопка «Оставить заявку». Форма из семи полей: имя, телефон, e-mail, город, текущий уровень, удобное время, комментарий.
• Вариант Б. Кнопка «Записаться на пробный урок». Форма из трёх полей: имя, телефон, цель обучения (выпадающий список: работа, переезд, путешествия, экзамен).

Здесь меняется весь блок записи целиком: текст кнопки и состав формы. Это одна гипотеза про блок, но победу нельзя приписать только кнопке или только числу полей. Если нужно узнать про каждое изменение отдельно, делайте два теста по очереди. Остальная часть страницы (программа, преподаватели, расписание, цены) в обоих вариантах одинакова.

Как разделить посетителей, чтобы сравнение было честным

• Показывайте варианты одновременно. Сравнение «январь со старой версией и февраль с новой» ничего не доказывает: меняются спрос, погода, акции и рекламный бюджет.
• Распределяйте посетителей случайно. Для этого подойдёт сервис для A/B-тестов или настройка на стороне сайта. Один человек должен всегда видеть один и тот же вариант, иначе он увидит обе формы и запутается.
• Не привязывайте вариант к источнику. Если вариант А получает рекламу, а Б только поиск и прямые заходы, вы сравните аудитории, а не страницы.
• Исключите из подсчёта визиты сотрудников школы и тестовые заявки администратора.

Какой показатель считать главным, а какие проверять рядом

Главный показатель в примере — доля посетителей страницы, отправивших заявку на пробный урок. Настройте цель на успешную отправку формы, а не на нажатие кнопки: нажать можно и без отправки.

Короткая форма может дать больше заявок, но менее подготовленных: человек не указал уровень и время, и администратору приходится уточнять всё по телефону. Поэтому проверяйте и показатели после заявки:

• сколько заявок администратор смог дозвониться;
• сколько человек пришли на пробный урок;
• сколько после него записались на курс.

Для этого заявкам нужна пометка варианта (скрытое поле формы или метка в CRM либо в таблице администратора). Без неё различить заявки с А и Б будет невозможно.

Сколько ждать и когда останавливать тест

Срок и условия остановки запишите до старта. Иначе велик соблазн закончить тест в тот день, когда один вариант случайно вырвался вперёд.

• Берите целое число недель, не меньше двух, чтобы в выборку попали будни и выходные.
• Учитывайте сезон набора. Начало учебного года и январь отличаются от середины лета, а результаты разных периодов напрямую сравнивать нельзя.
• Не запускайте тест одновременно с акцией, сменой цен или новой рекламной кампанией.
• Если на каждый вариант приходятся единицы заявок, разница в одну-две заявки случайна. Либо продлевайте тест, либо проверяйте более заметное изменение.

Результат «разницы нет» тоже полезен: можно оставить вариант, который проще поддерживать.

Что проверить на телефоне и в технике

Проверьте оба варианта на смартфоне. В поле телефона должна открываться цифровая клавиатура, выпадающий список не должен перекрывать кнопку, а сообщение об ошибке должно быть понятным. Убедитесь, что после отправки формы срабатывает цель в аналитике и администратору приходит уведомление. Сломанная форма в одном из вариантов обесценит весь тест.

Проверочный список перед запуском

• Сформулирована одна гипотеза, ясно, что меняется.
• Главный показатель и цель в аналитике настроены и проверены тестовой отправкой.
• Заявки помечаются вариантом страницы.
• Посетители делятся случайно, вариант не меняется при повторном визите.
• Срок теста и условие остановки записаны заранее.
• В период теста нет акций и смены рекламы, а если есть, они одинаково влияют на оба варианта.
• Обе версии проверены на телефоне и в основных браузерах.
• Администраторы знают о тесте и фиксируют итоги: дозвон, приход на пробный урок, запись на курс.

Если пункты выполнены, итог можно обсуждать как рабочее решение для сайта: оставить новую версию, вернуть старую или проверить следующую гипотезу.

Все статьи блога