Как сравнить два варианта страницы на сайте организатора деловых конференций

У организатора деловых конференций страница мероприятия живёт ограниченное время: открывается продажа билетов, действуют ранние цены, приближается дата, а вместе с ними меняются и посетители. Поэтому сравнить два варианта здесь сложнее, чем на сайте с постоянным каталогом. Ниже описано, как сделать это аккуратно и без сложных инструментов.

Что именно вы сравниваете и какая у вас гипотеза

Начните с одной формулировки: «Если показать состав билета и срок действия цены сразу под первым экраном, больше посетителей начнут оформлять заявку, потому что им не придётся искать условия по всей странице». В такой гипотезе есть изменение, ожидаемое действие и причина.

Меняйте одно. Если в новом варианте вы переписали заголовок, переставили блоки, поменяли форму и цвет кнопки, то при любом результате не поймёте, что сработало. Отдельные идеи лучше проверять по очереди.

Пример: страница конференции в двух вариантах

Возьмём условную страницу однодневной конференции по управлению складской логистикой с тремя типами участия: стандартный, расширенный и корпоративный пакет для группы.

• Вариант A. Сверху название, дата, город и кнопка «Зарегистрироваться». Ниже идут спикеры, программа, партнёры. Билеты и форма стоят в конце страницы.
• Вариант B. Первый экран тот же, но сразу под ним блок «Форматы участия»: три карточки с составом, сроком действия цены и кнопкой «Выбрать билет». Программа и спикеры расположены ниже.

Не меняется всё остальное: цены, тексты программы, поля формы, адрес для отправки заявок. Тогда разницу в поведении можно связать именно с порядком блоков.

Какую метрику взять для конференции

Основной показатель: доля посетителей страницы, которые отправили заявку или запросили счёт. Настройте его как цель в системе аналитики, например в Яндекс Метрике, и убедитесь, что цель срабатывает именно после успешной отправки, а не после клика по кнопке.

Вспомогательные показатели помогают понять причину:

• клики по кнопкам выбора билета;
• начало заполнения формы и доля тех, кто её бросил;
• ошибки валидации полей (например, при вводе телефона или названия компании);
• переходы к программе и списку спикеров.

Если на той же странице есть предложение для спонсоров или докладчиков, оценивайте их отдельно. Заявок от спонсоров обычно меньше, но каждая значимее, и общий счётчик заявок скроет их динамику. Также сверьте, что рост числа заявок не сопровождается ухудшением их качества. Это можно проверить по вашим внутренним данным: заполнены ли реквизиты компании, есть ли среди заявок целевые участники.

Как не исказить сравнение сезонностью и источниками трафика

Нельзя показывать вариант A в мае, а B в июне: за это время закончился ранний тариф, ушла рассылка, опубликовали новых спикеров. Показывайте оба варианта одновременно и распределяйте посетителей случайно.

Следите за деталями:

• Один посетитель при повторных визитах должен видеть один и тот же вариант. В B2B решение часто обсуждают коллеги, и путаница в версиях ломает картину.
• Доли трафика из рассылки, рекламы, поиска и прямых заходов в обоих вариантах должны быть похожи. Иначе смотрите результат по источникам отдельно.
• Сравнивайте мобильные устройства и компьютеры раздельно: блок с тремя карточками на телефоне выглядит совсем иначе.
• Исключите визиты сотрудников и подрядчиков.
• Если варианты открываются по разным адресам, настройте основной адрес как канонический, чтобы не плодить дубли страниц.

Сколько ждать и когда делать вывод

Захватывайте целые недели: в будни и выходные деловая аудитория ведёт себя по-разному. Не останавливайте проверку из-за первого всплеска: в первые дни разница часто случайна. Заранее решите, что будет условием окончания: срок, число заявок на каждый вариант или дата закрытия ранней цены.

Если заявок немного (десятки за период), разница в три-четыре заявки может оказаться совпадением. В этом случае дополните сравнение качественными данными: записями сессий, короткой строкой в форме «Что вам было непонятно?», звонком нескольким участникам прошлых мероприятий. Можно также повторить тест на следующей похожей конференции.

Проверочный список перед запуском сравнения

• Записана одна гипотеза и одно изменение.
• Выбрана основная метрика, цель проверена тестовой заявкой.
• Варианты показываются одновременно и случайно.
• Посетитель при возврате видит тот же вариант.
• Цены, сроки и тексты, кроме проверяемого блока, одинаковы.
• Мобильная и компьютерная версии проверены вручную.
• Внутренний трафик исключён.
• В расписании нет крупных событий: рассылки, смены цены, анонса спикеров. Если они есть, они отмечены в заметках.
• Заранее определено условие остановки.
• Решено, что делать при ничьей: чаще всего оставить более простой вариант.

Все статьи блога