Как сравнить два варианта страницы на сайте благотворительного фонда

Разбираем на условном примере страницы пожертвования, как честно сравнить две версии: одна гипотеза, правильные показатели, одновременный показ и типичные ошибки.

Раздел: Интернет-маркетинг: статьи о рекламе, SEO и аналитике
Обложка статьи: как сравнить два варианта страницы

Часто звучит: «Давайте сделаем форму иначе, и пожертвований станет больше». Проверить это можно, не споря: две группы посетителей одновременно видят разные версии страницы, а вы сравниваете результат. Ниже описано, как устроить такое сравнение на сайте фонда, чтобы вывод не оказался случайным.

Что именно сравнивать: одна гипотеза за раз

Сначала сформулируйте предположение в виде «если… то…». Например: «Если на странице пожертвования вместо пустого поля показать готовые суммы, больше посетителей дойдёт до оплаты». Меняйте один блок. Если вы одновременно переписали заголовок, переставили форму и сменили фотографию, то при любом итоге не поймёте, что сработало.

Выбирайте то, что влияет на действие: порядок шагов в форме, выбор суммы, предложение сделать платёж регулярным, объяснение, на что идут средства. Цвет кнопки редко меняет картину сам по себе.

Условный пример: блок выбора суммы

Представим фонд и страницу «Помочь сейчас». Это иллюстрация, а не описание чьей-то работы.

  • Вариант А: поле «Сумма» пустое, под ним кнопка «Пожертвовать».
  • Вариант Б: три кнопки с суммами (например, 300, 500 и 1000 рублей), четвёртая кнопка «Другая сумма», под выбранной суммой короткая подпись о том, на что направляются деньги.

Остальное в обеих версиях совпадает: заголовок, текст, переключатель «Ежемесячно», способы оплаты. Подписи под суммами должны опираться на ваши реальные программы и отчёты. Если подтвердить их нечем, не сочиняйте их ради теста.

Какие показатели считать

Главный показатель выберите до запуска. Для страницы пожертвования это обычно доля посетителей, дошедших до страницы «Спасибо» после успешной оплаты. Добавьте вспомогательные:

  • Доля тех, кто начал заполнять форму: она показывает, где люди отваливаются, до оплаты или во время неё;
  • Средняя сумма платежа;
  • Доля регулярных платежей среди всех;
  • Доля ошибок и незавершённых оплат: так вы заметите, что новая версия ломается в каком-то браузере.

Не смотрите только на число платежей. В нашем примере кнопки с малой суммой могут увеличить количество пожертвований и снизить среднюю сумму. Поэтому сравнивайте ещё и общий сбор в расчёте на одного посетителя страницы.

Как разделить посетителей и сколько ждать

Версии нужно показывать одновременно и случайным образом, причём вернувшийся посетитель должен видеть ту же версию, что и в первый раз. Для этого есть сервисы: в 2015 году доступны эксперименты в Google Analytics, Optimizely, Visual Website Optimizer. Цели и сегменты можно настроить и в Яндекс.Метрике, но разделение трафика тогда придётся делать на стороне сайта.

Не сравнивайте «первую неделю с прежней страницей» и «вторую с новой». За это время могут выйти рассылка, пост в соцсетях или публикация в СМИ, и вы сравните не страницы, а разные события.

Срок тоже определите заранее. Захватите хотя бы две полные недели, чтобы в выборку попали и будни, и выходные. Не останавливайте тест в день, когда одна версия вырвалась вперёд: ранние перекосы часто выравниваются. Если платежей на каждую версию набирается мало, различие будет тонуть в случайности. Тогда сравнивайте более ранний шаг, например долю начавших заполнять форму, или проверяйте более заметное изменение.

Что портит сравнение именно на сайте фонда

  • Срочные сборы и инфоповоды. Во время экстренного сбора приходят люди с другим настроем, чем в обычные недели. Итог теста в такой период может не повториться потом.
  • Оплата на чужом домене. Если форма платежа открывается на стороне платёжного сервиса, убедитесь, что успешная оплата корректно фиксируется как цель, а не только переход на форму.
  • Платежи вне сайта. Банковские квитанции, переводы по реквизитам и оплата через SMS в тест не попадут. Помните об этом, когда делаете выводы обо всех пожертвованиях.
  • Разные аудитории. Постоянные доноры и новые посетители ведут себя по-разному. Смотрите результаты хотя бы отдельно для смартфонов и компьютеров, а при достаточном трафике ещё и для новых и вернувшихся.
  • Тестовые платежи сотрудников. Исключите их из подсчёта.
  • Разные обещания. Версии могут отличаться подачей, но не фактами. Нельзя в одной версии написать то, чего фонд не делает.

Проверочный список перед запуском

  • Гипотеза записана одной фразой, меняется один блок.
  • Выбран главный показатель, названы вспомогательные.
  • Цель «успешное пожертвование» проверена пробным платежом в обеих версиях.
  • Версии показываются одновременно, посетитель не перескакивает между ними.
  • Срок теста определён заранее, он включает полные недели.
  • На период теста не запланированы крупные изменения сайта и рассылок или они учтены.
  • Обе версии проверены на смартфоне и в основных браузерах.
  • Решено, что вы будете делать при любом исходе: внедрять, оставить как есть или готовить следующую проверку.

Если различие небольшое или неоднозначное, это тоже результат: значит, этот элемент не главный рычаг, и стоит проверить другой, например понятность шагов формы или текст об использовании средств.

Все статьи блога

Читайте также

Заявка

Расскажите о проекте

Свяжемся в течение рабочего дня, зададим уточняющие вопросы и предложим варианты. Без навязчивых звонков.

Форма обратной связи

Согласия перед отправкой

Отвечаем в рабочие дни с 10:00 до 19:00

Написать в Telegram
Расчёт стоимости

Узнайте стоимость сайта