Как сравнить два варианта страницы на сайте разработчика программного обеспечения

Пошаговый разбор A/B-сравнения страницы для сайта разработчика ПО: что менять, какие цели считать, как не исказить данные и когда останавливать тест.

Раздел: Интернет-маркетинг: статьи о рекламе, SEO и аналитике
Обложка статьи: как сравнить два варианта страницы

Сайт компании-разработчика ПО обычно решает одну задачу: довести посетителя до действия — запроса демонстрации, загрузки пробной версии или обращения в отдел продаж. Когда страницу хочется переделать, начинается спор «как лучше». Сравнение двух вариантов заменяет спор измерением, но только если тест поставлен аккуратно. Разберём, как это сделать без сложной аналитики.

Что сравнивать: одна гипотеза вместо «нового дизайна»

Частая ошибка — поставить рядом старую страницу и полностью переработанную. Если заявок стало больше, непонятно почему: помогли заголовок, форма, скриншоты или порядок блоков. Сформулируйте гипотезу в виде «если изменить X, изменится Y, потому что Z». Например: «если заменить кнопку „Скачать“ на „Запросить демо на ваших данных“, заявок станет больше, потому что наши покупатели — руководители отделов, которые не устанавливают ПО без согласования». Меняйте один смысловой блок: главный призыв, заголовок, форму или порядок разделов.

Условный пример: страница системы складского учёта

Представим вымышленный продукт — программу учёта склада для небольших компаний. Вариант А:

  • Заголовок «Система складского учёта»;
  • Кнопка «Скачать пробную версию»;
  • Форма из шести полей: имя, e-mail, телефон, компания, должность, число сотрудников.

Вариант Б:

  • Заголовок «Учёт склада без таблиц: перенесите данные из Excel за один день»;
  • Кнопка «Попробовать на своих данных»;
  • Форма из двух полей: e-mail и компания. Остальное уточняется в ответном письме.

Здесь изменены сразу заголовок и форма, поэтому по итогам мы узнаем, лучше ли работает пакет целиком, но не узнаем, какая часть сработала. Если важно понять причину, запускайте изменения по очереди. Если нужен быстрый ответ на вопрос «какая страница лучше», допустимо сравнить пакеты, но честно записать это в выводах.

Какие показатели считать успехом

Клик по кнопке — слабый показатель: человек мог нажать и закрыть форму. Настройте цели в Яндекс.Метрике и Google Analytics на завершённое действие: отправленную форму, начало загрузки дистрибутива, открытие страницы «Спасибо». Затем добавьте два уровня контроля:

  • Качество заявок. Короткая форма почти наверняка даст больше обращений, но среди них может быть больше случайных. Попросите отдел продаж помечать, какие заявки пришли от целевых компаний, и сравните варианты по этой отметке.
  • Следующий шаг. Если возможно, свяжите заявку с установкой пробной версии или созвоном. Заявка без продолжения — не результат.

Отдельно следите за побочными эффектами: не выросло ли число обращений в поддержку с вопросами, которые страница раньше снимала.

Как разделить трафик и не исказить данные

Посетители должны случайно попадать в один из вариантов и затем видеть его же при повторных визитах (обычно это делается через cookie). Для этого подойдут эксперименты в Google Analytics, сервисы вроде Optimizely или Visual Website Optimizer либо разделение на стороне сервера. Что важно соблюдать:

  • Показывайте оба варианта одновременно; сравнение «неделя до и неделя после» смешивается с влиянием рекламы, релизов и сезонности;
  • Исключите из статистики сотрудников, подрядчиков и тестовые адреса;
  • Учитывайте источники: посетитель из контекстной рекламы и действующий клиент, пришедший за обновлением, ведут себя по-разному; при необходимости смотрите результаты по сегментам;
  • Проверьте оба варианта на телефоне и в разных браузерах: подмена содержимого скриптом иногда вызывает «мерцание» и замедляет страницу;
  • Если варианты лежат на разных адресах, укажите основной адрес в rel=canonical и используйте временный редирект; не показывайте поисковому роботу иное содержимое, чем обычным посетителям.

Когда останавливать сравнение

У сайтов разработчиков ПО трафик нередко небольшой: заявок бывает несколько десятков в месяц. В такой выборке разница в пару обращений — случайность. Заранее определите срок и не прекращайте тест при первом «лидировании» одного варианта. Минимум — несколько полных недель, чтобы захватить будни и выходные, а для дорогого продукта — и типичный срок, за который клиент принимает решение. Для оценки нужного объёма данных воспользуйтесь любым калькулятором размера выборки для A/B-тестов.

Если трафика мало, проверяйте крупные изменения, а не оттенок кнопки. Дополните тест качественными методами: посмотрите записи сессий в Вебвизоре, проведите несколько коротких разговоров с недавними заказчиками о том, чего им не хватило на странице. По итогам запишите гипотезу, срок, результат и решение — через полгода это сэкономит повторные споры.

Проверочный список перед запуском

  • Записана гипотеза: что меняем, какой эффект ожидаем и почему.
  • Различия между вариантами ограничены одним смысловым блоком, либо вы осознанно сравниваете пакет изменений.
  • Главная цель — завершённое действие, а не клик; цель проверена тестовой отправкой.
  • Есть способ оценить качество заявок силами отдела продаж.
  • Трафик делится случайно и одновременно, посетитель видит один вариант.
  • Внутренний трафик исключён, оба варианта проверены на мобильных устройствах.
  • Заданы срок и условие остановки до начала теста.
  • Для отдельных адресов настроены canonical и временный редирект.
  • Решение и вывод зафиксированы в рабочем документе.

Все статьи блога

Читайте также

Заявка

Расскажите о проекте

Свяжемся в течение рабочего дня, зададим уточняющие вопросы и предложим варианты. Без навязчивых звонков.

Форма обратной связи

Согласия перед отправкой

Отвечаем в рабочие дни с 10:00 до 19:00

Написать в Telegram
Расчёт стоимости

Узнайте стоимость сайта