Почему мы решили убрать балл и тренд

Рейтинг строится на набранных баллах. Если баллов не будет, как люди поймут, почему компания оказалась на своём месте? Можно ли доверять такому рейтингу? И всем же интересно знать, на сколько агентство поднялось или опустилось за год. Как можно это убрать? Вон, у Тэглайна и Руварда они есть, вы что?

Хороший эксперимент состоит из проблемы, гипотезы и теста с контролируемыми и измеримыми результатами. Краткая вводная в проблему. «Рейтинг Рунета» приносит агентствам лиды (помимо другой пользы, о которой мы расскажем в отдельной статье). Лиды образуются из трафика. И вот аналитика показывает, что мы, кажется, исчерпали возможности платного трафика: достигли потолка, после которого вливание денег в рекламу приносит слишком дорогой результат. Это значит, что пришла пора заниматься UX-метриками и повышать конверсию, а не трафик.

Вы скажете, что этим и так нужно заниматься. Конечно, мы занимались, провели больше ста экспериментов, но теперь это стало критичным, если мы хотим расти.

Вторая проблема — интерфейсная. Таблица должна помогать заказчику оценить подрядчика. Балл — это абстракция; чтобы его понять, нужно почитать про методику, а это делают единицы. Лучше показать понятные заказчику параметры, из которых сложился балл: число клиентов, всех и крупных, средний срок работы с клиентом, выручку. И то, что влияет на выбор — цены и отзывы. Чтобы всё это вывести, нужно было освободить место. Смотрите, как много всего разношёрстного:

Третья проблема — тренд. Когда вы видите зелёненькое +1 или даже +5, это не особо влияет на мнение о компании. Другое дело — красное —1. Тревожный сигнал, что компания упала, у неё что-то не так. Место могло измениться из-за одного клиента или ста тысяч выручки, что по сути ничего не меняет, но клиент видит жирный красный минус. С этим нужно было что-то сделать, потому что у нас нет задачи снижать просмотры у компаний, которые опустились в рейтинге.

Эксперимент

Гипотеза

Гипотеза состояла в том, что после скрытия балла и тренда нужные нам показатели либо не изменятся, либо вырастут.

При этом мы не стали сразу выводить данные, которые так хотелось добавить в таблицу, потому что это не позволило бы проверить, что конкретно повлияло на конверсии. Один эксперимент — одно изменение.

И начали мы с четырёх рейтингов, чтобы, если что, не уронить конверсии на всём сайте. И только с десктопа (на мобилке у нас совсем другой дизайн и другое поведение).

Дизайн

Мы решили не убрать балл и тренд, а скрыть их под место (левая колонка таблицы), чтобы они появлялись при наведении. Первые варианты дизайна всплывающего окошка:

Доработали и остановились на самом простом:

Была ещё шальная мысль сунуть в окно ссылку на методику, но решили, что не стоит. Во-первых, ссылка во всплывающем окне — спорное решение. Во-вторых, про методику нужно рассказывать иначе, чтобы это было полезно.

Теперь рейтинговая таблица выглядит так:

Или так:

Напомню: мы не стали целиком менять содержание рейтинговых таблиц, только убрали два столбца с баллом и трендом.

Сколько, ГДЕ И КАК

Эксперимент шёл три недели. Начали 10-го июля с Рейтинга агентств по созданию и продвижению сайтов, Рейтинга разработчиков мобильных приложений, Рейтинга SEO-компаний и Рейтинга агентств интернет-маркетинга и рекламы, а 17-го июля раскатали новый интерфейс на все рейтинги.

В контрольной группе было 4 555 уникальных посетителей, в экспериментальной с новыми интерфейсами — 4 580.

Результаты

Оранжевая линия — скрытые балл и тренд, синяя — предыдущий контрольный вариант.

Поведенческие показатели изменились не сильно, но всё же улучшились. Падение средней длительности сеанса мы интерпретируем как улучшение, потому что на странице нет лишнего и выбор сделать проще.

Зато главный для нас показатель, наша «полярная звезда», вырос. Отложенные переходы по рекламе и ценность таких переходов в денежном выражении — на 7%, а коэффициент конверсии — на 8,4%.

Обычно наши эксперименты давали прирост на доли процента или процент, а тут 7–8%.

Отложенный переход по рекламе — это переход пользователя, который находился на нашем сайте не меньше одной минуты. Важный момент: сайт рекламодателя у нас открывается в новой вкладке, и при переходе на него таймер не останавливается. Мы знаем, что человек находится на сайте рекламодателя, если только он не закроет вкладку с нашим сайтом. Таким образом мы отсекаем ботов и случайную аудиторию.

Почему мы думаем, что это хороший показатель, приносящий пользу агентствам? Мы начали фиксировать качественные рекламные переходы в июне 2020 года. Возьмём нулевую строку в рейтинге веб-студий:

Сравним первые кварталы 2019-2020 с первыми кварталами 2021–2022: стоимость размещения в расчёте на один переход выросла на 36%. Напомним, что у нас рекламные места разыгрываются на аукционах, то есть компании сами определяют их ценность в результате торгов. Ещё важно, что этот формат часто выкупали одни и те же компании. Мы считаем, что это совокупно указывает на удовлетворённость размещением.

Про полярную звезду. Вот статья, которая неплохо рассказывает об этой метрике. В нашем случае это выручка, которую приносят посетители сайта. Выручка, конечно, виртуальная. Пользователи нам ни за что не платят, это доходы от рекламодателей.

Заключение

Сейчас рейтинговый балл и тренд скрыты во всех рейтингах.

Мы планируем рассказывать о следующих экспериментах в таком же формате.

Если это было интересно или есть вопросы по этому эксперименту, напишите, пожалуйста, в комментариях.

Ссылка на оригинал.