Статистика и результаты
Статистика
Статистика становится доступна на следующий день после начала теста и отображается по мере набора сравнимых данных.
Статистика РК
- Конверсия в клик (CTR), %
- Сравнимых показов, шт
- Сравнимых кликов, шт
Использование общей статистики РК (общего количества показов/кликов) для А/Б-тестов не подходит, потому что фразы, по которым идут показы РК, постоянно меняются / добавляются / исключаются. Как по желанию ВБ, так и во время обычной работы с РК. У каждой фразы своя конверсионность, поэтому сравнения конверсионности различного набора фраз - это сравнение яблок с апельсинами. Скажем мягко - результаты таких тестов часто удивляют :)
В e-Comet используется более точный метод: сравнение по общему семантическому ядру - набору кластеров, по которым были показы у всех тестируемых фото. Это требует больше времени (часть показов отфильтровывается как несравнимые), но дает существенно более точный результат.
Побочным эффектом данного метода является то, что статистика РК начинается показываться только после того как все тестируемые фото побывали в показах, так как только тогда можно определить общее семантическое ядро.
Если в тесте 3 фото, то статистика РК по ним появится на 4й день. По 1 полному дню на показ каждого фото.
Статистика артикула
- Конверсия в корзину, %
- Переходов, шт
- Корзин, шт
Конверсия в корзину - это следующий шаг воронки, который наступает после перехода покупателя в карточку товара. Здесь уже сравнимость фраз не играет роли, поэтому используется статистика по всему артикулу. Данная статистика обновляется на следующий день после очередного дня показа фото.
Фото товара не влияет на конверсию из корзины в заказ - здесь уже работают другие факторы, на основании которых покупатель принимает решение: цена (при сравнении с конкурентам в корзине), характиристики товара и даже платежеспособность покупателя в текущий момент. Поэтому мы показываем только полезные данные, на которые вам нужно ориентироваться при принятии решения, какое фото оставить.
Результаты
Тест считается успешно завершенным, если:
- Каждое фото показывалось не менее чем "Мин. дней"
- Каждое фото набрало не менее чем "Мин. показов"
- Определен победитель
Почему победитель может быть не выявлен?
Победитель может быть неопределен, если нет абсолютного лидера по всем метрикам, и при этом было слишком мало корзин, чтобы корректно посчитать конверсию из показа в корзину.
Что делать, если победитель не выявлен?
- Сделать новый тест для финалистов. Обычно самый правильный вариант, но занимает дополнительное время и бюджет.
- Использовать только конверсию в клик. Подходит, если вы торопитесь с выбором, а корзин было мало. Конверсия в корзину, основанная на менее чем 20 корзинах для каждого тестового фото скорее всего не будет статистически значимой величиной, то есть может быть просто результатом случайности.