Исходные данные На сайте известного бренда в сфере фастфуда есть форма отклика на вакансию. Сайт отредизайнили, форму "улучшили".
И вот перед нами классическая задача - определить, стал ли сайт и новая анкета более удобной. И еще одно маленькое условие - где именно и за счет чего она стала лучше.
С основной задачей все просто, делаем эксперимент Google Optimize, направляем долю трафика на новый сайт с новой формой и измеряем конверсию. Получаем результат, конверсия в новой форме 9.7% против 8.8% в старой.
Казалось бы, что еще надо? Конверсия выше - вперед на продакшен. Однако, эксперименты не совсем чисты. У нас не только форма новая, но и весь сайт. А вдруг повышение конверсии достигается за счет сайта, а форма на самом деле не такая хорошая, как кажется.
Для измерения прохождения формы мы используем Funnel Visualization в GA: при заполнении каждого поля отправляется Event и по ним построена воронка. И вот проблема, решение которой как раз и является темой статьи: Воронки GA не поддерживает сегментацию. А нам нужно представить результаты тестирования в виде двух воронок, чтобы можно было сравнить drop offs на каждом шаге и убедится, что сама форма также стала лучше и за счет каких шагов.
Решение - Записываем ExperimentId в custom dimension
- Делаем отдельное представление с фильтром "включить только трафик с ExperimentId)
- Делаем (копируем) второе представление с фильтром "исключить трафик с ExperimentId)
* Настройки самого эксперимента были нестандартными. При указании долей трафика между старой и новой формой, распределение задали как 0/100, а доля пользователей всего эксперимента 10%. Это значит, что наличие ExperimentID означает, что пользователь был отобран для эксперимента и видел новую форму.
Процесс настройки сбора данных в отдельное представление
Создаем
custom dimension с областью действия
сессия (scope session). В него в каждом хите будем передавать идентификатор эксперимента, если он есть.