Продолжаем ежегодную традицию и публикуем конспект докладов с самой летней конференции по интернет-маркетингу — 8P. В первую часть вошли доклады об онлайн-рекламе и веб-аналитике. Читайте, как работать с данными, используя базовые инструменты, что дает Firebase & Google bigQuery и как анализировать эффективность медийной рекламы.
«Прості речі рятують бізнес»: как принимать решения на данных, используя самые базовые инструменты.
Сергей Яременко, Product Manager ЛУН
Мысль 1: Вам не нужны сложные методы для ответов на 90% вопросов
Последние годы, будучи продуктовым аналитиком, я также занимался консалтингом компаний разного масштаба. Ко мне всегда обращались со сложными вопросами. И я приходил к выводу, что их могло и не существовать. Сложные вопросы возникают иногда зря. На практике, чтобы двигать бизнес, особенно не очень большой, такие сложные методы не нужны. В докладе я приведу примеры? как простыми способами решать насущные проблемы.
Проблема 1: «Пора структурировать дашборды и наконец понять, что происходит»
Мы научились делать дашборды и теперь не можем остановиться — каждой метрике по дашборду. Как-то меня позвали решить проблему в компании, где было их было 400. Кажется, чем их больше, тем больше понимания. Но чем сложней система, тем сложней ее понять.
Решение
Дашборды, конечно, нужны. Но я своей практике также создаю файл Excel с простой финансовой моделью продукта.
Берем все данные, связанные с этими компонентами, и переводим в формат таблицы, где:
- слева есть все измеряемые показатели, на которые вы влияете;
- справа проецируем, что будет, если так же будет происходить и дальше;
- в конце итоговый показатель — прибыль, аудитория или что-то другое.
Можно изменить какой-то показатель и посмотреть, что это будет значить, например, с точки зрения прибыли в конце года. На это достаточно потратить час. Т. е. простой Excel — это база для приоритизации гипотез. Допустим, у нас есть много идей и методология. Я изменяю ячейку в Excel и смотрю, нравится ли мне показатель, а потом уже анализирую все остальное.
Проблема 2: «Нам сложно поддерживать и разбирать результаты A/B-тестов. Мы не можем рисковать конверсией»
Люди делают тесты сложными и так стреляют себе в ногу. Также нет культуры А/Б-тестов. Мы иногда вспоминаем, что фичи нужно тестировать, а не просто вводить. Раз в два месяца запускаем тест, замеряем все-все показатели, а потом не знаем, как это все понимать.
Решение
- Сначала тестим очень простые изменения.
- Все идеи заносим в очередь в табличку, проводим тесты нон-стоп.
- Следим, чтобы аудитории тестов не пересекались.
- Анализируем главный показатель простых тестов — конверсию. По крайней мере, на первом этапе, потому что ее гораздо проще интерпретировать.
Т. е. нужно очень много простых тестов. Соберите в табличку все идеи для них. И все тесты, которые не пересекаются, запустите. Когда закончился один, стартуйте второй и т. д. Тут Задача №1 — создание культуры A/B-тестов. Всем нужно понимать, что происходит. Поэтому главный показатель для простых тестов, пока их культуры еще нет, это всегда конверсия. Ее гораздо легче интерпретировать.
Например, если вы возьмете среднюю конверсию 2-3%, то можете сказать, что эти показатели — представители вашей выборки. Допустим, вы сделаете тест и будете его измерять по среднему чеку. В одном случае он окажется 50$, а во втором 60$. Является ли это представителем вашей выборки? Непонятно. Ведь распределение среднего чека обычно выглядит, как на скрине ниже. Для другого сегмента оно может выглядеть иначе. Второй вариант интерпретировать сложно. И может получиться, что никто в вашей команде не сможет распознать результат.
И вот когда у вас будет культура A/Б-тестов и все в вашей компании будут понимать, что к чему — вы сможете перейти уже к сложным тестам. По моему опыту, тесты лучше проводить в Optimize / Firebase.
Полезная статья по теме — «Что такое A/B test».
Проблема 3: «Хотим сырые данные и Data Science, но своя инфраструктура — дорого»
Часто в компании решают так: все делают Machine learning, мы видим, что у всех вокруг есть DWH (Data Warehouse), они накручивают BI и рассказывают про предиктивные модели. И нам тоже очень хочется. Но 90% компаний не нуждаются в таких сложных вещах.
Решение
- Выпишите все идеи, которые вы не можете реализовать без сырых данных.
- Подумайте, что из этого существенно влияет на вашу цель.
- Решите — вам точно это нужно.
Если да, то настройте бесплатный экспорт в bigQuery из беты Google Analytics. Так вы получите то же самое, на что я в свое время потратил полтора года.
Мысль 2: не всегда нужен аналитик
Часто, если вы думаете о сложных вещах — значит, вы еще не решили более простые. Исходя из этого, вам не нужен аналитик. Второй самый популярный запрос, с которым я сталкиваюсь на консалтинге — как построить аналитический отдел за 300 долларов? Никак. Потому что в этом случае нужно заморочиться. Нужен Data Engineer, отдельные продуктовые аналитики, Data Scientist — т. е. одним человеком не обойтись.
Если же вы делаете простые вещи, то вам нужны простые методы. Это вполне может делать Product. Лично я знаю, что для достижения результата лучше провести 10 простых А/Б-тестов, чем один сложный. И для этого подойдут простые инструменты. До какого-то размере компаний аналитический отдел вообще вам не нужен. А вот когда вы вырастете, тогда уже можно построить его с несколькими специалистами и сложными инструментами. Например, легкие задачи может решать Product, а сложные — аналитик. Допустим, последний будет проводить исследования, которые требуют применения математических методов.
Иногда бывает — владелец, нанимая аналитика, считает, что нанимает исследователя, математика. А по факту — настройщика Google Analytics. От этого аналитики очень грустят. Ведь их воспринимают,как какую-то «магическую коробочку». Но если у вас не закрыты сложные вещи, то лучше нанимайте продакта и используйте простые методы, а не нанимайте аналитика.
EFF0F4
Зачем платить больше? Firebase & Google bigQuery как основа построения аналитики приложений.
Олег Любарец, CMO Raketa, и Андрей Осипов, CEO Школа веб-аналитики
Оба спикера были гостями нашей рубрики RingoTalks. Читайте интервью с Олегом Любарцом и интервью с Андреем Осиповым.
В этом докладе мы поговорим, как построить веб- и мобильную аналитику за небольшие деньги и их связать. Причем по мощности это будет круче, чем Google Analytics или любые другие системы. Расскажем о том, как мы это сделали в Ракете — национальной службе доставке еды, у которой 3000 подключенных ресторанов в 25 городах Украины и back-office из 200 человек.
Рынок мобильной аналитики
Есть большой набор инструментов для аналитики приложений, но у них нет понятного интерфейса, и много данных нужно связывать.
Нам было важно понимать, кто к нам приходит на лендинг, и связать с аудиторией, которая заходит с мобайла в приложение. При этом у нас нестандартные запросы, и инструмент из коробки нам не подходят.
Сейчас на рынке есть следующие решения:
Сначала в «Ракете» часть инструментов отвечала за одни данные, друга за другие. Нам же хотелось все собрать в одном месте. Нам нужно было понимать, кто и что трекает. При этом у всех разные модели атрибуции, наборы данных и т. д. Большинство решений даже нельзя назвать системами аналитики для мобильных приложений. Скорее, это системы атрибуции установок. Они позволяют взять, например, у Google идентификаторы устройств, с которых был клик по какой-то рекламе. И только за счет этого они такие популярные. Проблема в том, что с сентября выйдет iOS 14, которая запрещает это делать.
С iOS 14 атрибуция по IDFA работать не будет, и для iOS устройств останется только deep links
Поэтому наша цель глобально звучала так — давайте соберем все данные в одном месте и сами начнем работать заново.
Firebase и app+web подойдут для трекинга всего, что надо
Первый позволяет покрывать все потребности в аналитике мобильных приложений. Это можно выстроить и для них, и для веб. Также он позволяет закрывать все потребности и по атрибуции.
Кроме этого, что данные нужно собрать, их еще нужно агрегировать. Для этого мы используем PostgreSQL и bigQuery.
Возможность формировать свои отчеты связка с базой бизнес-данных
Мы передаем туда связки рекламных каналов и связки рекламных каналов с поведением — если говорить о директ-маркетинге. Если говорить об инструментарии — это лишь часть того, что мы стримим. Это настраивается буквально одним кликом:
Тут важно понимать, что должен быть идентификатор, который можно будет связать по какому-то параметру, протянуть по всем таблицам и выгрузить в bigQuery.
App + Web
Самое классное, что App + Web дает возможность стримить в bigQuery — и это бесплатно. По нашему мнению, это революция. Он обеспечивает бесплатный доступ к сырым данным, и на их основе можно делать много крутых штук. О них мы поговорим ниже.
Полезная статья по теме — «Google Analytics App+Web: Почему стоит начать использовать уже сейчас».
App + Web — это довольно мощная штука. Он сводит в единое пространство и сайт, и пользователей приложений. У этого сервиса есть свой UI. Вы можете пользоваться им только для сайта, только для приложения — или для них обоих вместе. Пока этот UI в бете. В нем можно формировать воронки, исследовать данные, есть интеграция с Google Ads.
Google Analytics UI
В «Ракете» этот UI по сути никто не использует, потому что все данные выгружаются в bigQuery. И в Google Data Studio мы формируем отчеты. Действительно, UI App + Web пока тяжелый, и в нем нет никакой атрибуции. Его можно использовать разве что для базовых показателей.
В любом случае, со временем App + Web будет доминировать. И вот почему:
Решение позволяет выгрузить сырые данные в bigQuery и передать туда же данные из других источников. Есть много компаний, которые продают коннекторы для загрузки различных данных. Например:
Автоматизируем отчетность
- На одном дашборде выводим все нужные KPI.
- Используем данные из разных рекламных систем.
- Объединяем данные с CRM.
- Визуализируем в понятном формате.
Сначала нужно задаться вопросом — что вам нужно? У нас было очень много параметров, по которым нужны отчеты. Прелесть сырых данных в том, что мы можем вводить метрики в том виде и количестве, в котором хотим. И потом их можно визуализировать. Например, наш Facebook и YouTube работает с awareness-задачами — мы можем посмотреть данные и понять, во что инвестировать. Можно обогащать данные, например, за счет CRM. Визуализация может быть в любом формате — особой сложности нет.
В таком дашборде мы можем смотреть конверсию по объявлению из клика в установку. Или повторные заказы, которые нужно выделить из остального количества заказов. Казалось бы, это простая штука — но почти никакой из сервисов это нормально не решит.
Визуализация может быть в любом формате, в котором хочется.
Также мы используем RFM Analyze (англ. Recency Frequency Monetary — давность, частота, деньги) — сегментация клиентов в анализе сбыта по лояльности:
- сегментируем аудиторию по лояльности: частота покупок, давность и сумма покупок;
- исследуем источники трафика наиболее лояльной аудитории;
- работаем с каждым сегментом отдельно.
Также используем когортный анализ:
- сегментируем аудиторию по дате регистрации/инсталла приложения/первого визита;
- следим за их последующими действиями: покупки, цикличные покупки;
- вместе с затратами на привлечение когорты и доходу от когорты считаем ROAS;
- детализируем до нужного уровня, привязываем к источникам трафика.
Multi Channel Analyze помогают анализировать каналы, которые участвуют в цепочке конверсий. Мы понимаем, какой канал масштабировать, чтобы получать больше прибыли.
Цепочка источников — в вебе это понятная история, а в мобайле ее почему-то почти никто не использует. Для построения цепочки мы берем инструментарий, периоды сессий, накладываем на определенные последовательности. Понимаем, как работают конкретные цепочки в разрезе нужных нам данных.
Читайте полезную статью по теме — «Кейс: как правильно отслеживать многоканальные последовательности в тематике недвижимости».
Ниже график, который показывает, какой процент денег нам какая последовательность приносит:
Еще один плюс bigQuery — встроенное машинное обучение. Например, оно позволяет делать прогнозы продаж.
Также можно предсказать показатель оттока клиентов:
Time Arima позволяет предсказать на основе предыдущих показателей, как метрика будет вести себя дальше. Например, исходя из данных за две недели, можно предсказать показатель на сегодня. Если в реальности он отклоняется от предсказанного — значит, что-то пошло не так.
Можно сделать бота, который в такой ситуации будет отправлять алерт сотруднику по контекстной рекламе.
Как может работать бот:
- можно подписаться на конкретное уведомление;
- приходит сообщение, если что-то пошло не так;
- этим могут воспользоваться разные специалисты.
Благодаря наличию сырых данных, мы можем интегрироваться с другими сервисами. Например, с CPA-сетями. Можно передавать информацию после успешной конверсии, когда какая-то сеть привела клиента. Т. к. у нас есть доступ ко всем источникам трафика, то мы можем из bigQuery передавать данные в CPA. И параллельно получать отчет по каждой сети.
Данных очень много, то если их агрегировать, то с ними может работать не только CMO, но и другие сотрудники.
Кто может работать с данными:
- PPC-специалисты — управление кампаниями, эффективность рекламы;
- SEO-специалисты — оценка изменений на сайте и в поиске;
- UX-дизайнеры — понимание аудитории и ее поведения;
- руководители маркетинга — общие тренды, контроль KPI.
Есть коннектор, который позволяет передавать данные в Google Таблицы:
Это скриншот с таблицами, которые есть в bigQuery для формирования отчетов. Более 50 таблиц, 100 отчетов, оптимизированная система. Плюс коннекторы, выгрузка данных и т. д. Это все стоит 62 цента в день — и очень много данных. Так что выгода очевидна.
Brandformance: как оптимизировать медийные кампании performance-инструментами.
Алексей Лях Co-Owner, newage.agency
Обсудим модный сейчас термин Brandformance — медийный целевой маркетинг. Как оказалось, пять лет мы в агентстве строили именно его. У себя мы называем его целостным анализом, и у нас есть методология по работе с ним. Что он включает:
Основной KPI медийки — быть видным для рекламодателя и чтобы объявление мог увидеть пользователь. Пока мы не поняли, что человек видел креатив, то дальше нет смысла анализировать. Если говорить о медийных показателях, то они стандартные — охваты, охваты целевой аудитории, досмотры и т. д. К медийным показателям мы также относим бренд лифты.
Brand Lift — это бесплатное исследование Google для видеокампаний. Из вашей целевой аудитории отбирается до 10 000 пользователей, до 5 000 тех кто просмотрел видеоролик, и до 5 000 тех, кто его не видел. В период от трех часов до трех дней после просмотра пользователям предлагается ответить на один или два вопроса. Потом результаты сравниваются.
Сегодня же мы будем больше говорить о реакции на рекламу. Какие последующие действия совершил человек, который ее увидел, на сайте или в приложении.
Agile-подход — это успеть проанализировать данные и сделать правильные выводы. Не спустя месяц, а сделать это в первый-пятый день и оптимизировать кампании.
Есть данные post-view и данные cross-device. Что они значат? Допустим, сидя на работе, вы увидели в ленте интервью с интересным вам человеком. В офисе, конечно, вы смотреть его не будете, а сделаете это уже дома. До интервью вам показывается реклама — например, телефон, который вы хотите купить. Как бы актуален ни был ролик, вы его пропустите. Ведь вам хочется смотреть интервью. Допустим, вы кликните на рекламе, и она откроется в соседней вкладке. Позже вы вернетесь к ней, когда у вас будет время.
Тут важный момент, что пользователи видят рекламу, но не кликают по ней. Данные post-view и cross-device позволяют проследить, что человек, который контактировал с рекламой, делал на вашем сайте. Данные post-view основаны на cookie-мэтчинге.
Теперь пример, что касается cross-device. Например, человек ехал в метро, и ему на смартфоне показалась реклама телефона. Дома он открыл компьютер и более внимательно посмотрел характеристики. Потом в свободное время снова зашел на сайт с рабочего компьютера и заказал телефон. Cross-device может эти данные объединить.
Если при переходе доля post-click достаточно большая, то ниже по воронке она уменьшается — конверсий нету. Это обычная история. Ведь мы застаем пользователя в самый неподходящий момент. Например, он смотрит погоду в интернете. Даже кликнув по рекламе, совершать конверсию он не будет.
Есть разные инструменты для аналитики двух типов этих данных. Мы года полтора активно используем Campaign Manager. Одно из его основных преимуществ — он позволяет получать cross-device данные на основе данных Google об аккаунтах. Причем мы — единственное агентство, которое получило сертификацию Campaign Manager.
Мы собираем много данных, объединяем из разных источников и анализируем. Такая автоматизация, как на слайде ниже, помогает нам делать выводы быстро. Да, это стоит ресурсов, но это позволяет за один день оптимизировать компанию.
Как медийная реклама влияет на источники трафика
Безусловно, медийная реклама влияет на другие источники трафика. Когда мы анализируем платный трафик и запущена ли медийная кампания или нет — разница есть. У нас выше CTR, ниже CPC, выше конверсия. Почему это влияет? Когда ты видишь в поисковой выдаче два товара, то с большей вероятностью кликнешь на тот, который на слуху.
Наша задача — показать, как влияет медийная реклама и почему. Ниже самый простой вариант, как это можно делать:
Мы анализируем, видел ли пользователь рекламу до того, как зашел на сайт, или вообще не видел, или видел после. Так мы можем сравнить, как отличаются эти люди. Есть гораздо больше параметров для аналитики, но я специально показываю упрощенный вариант.
Один из наших клиентов — Bodo, магазин подарков. В период праздников он много средств вкладывает в медийную рекламу. Сравните конверсию людей, которые не контактировали с рекламой и контактировали, при переходе из платного поиска:
Имея такие данные, вы можете посчитать, насколько инвестиции в тех, кто видел рекламу, оправдывают себя. Как видим, основные инструменты выросли. Та же картина у Prom.ua. Низкие показатели только у платного поиска и органики. Это круто, потому что речь не об одиночных кампаниях, а о постоянных.
Бывает, что у небольших клиентов невысокие показатели. Зато мы можем решить, что делать, чтобы их улучшить. Ведь у нас уже есть метрика для оценки.
Оптимизация площадок / таргетингов
Так выглядит анализ переходов по сегментам. «Цитрус» запретил показывать таргетинги, которые у них есть — поэтому мы назвали их просто Level. Здесь, разделив аудиторию по инструментам, мы видим разную реакцию:
В баннерке Level 1 работает очень классно. Дальше добавляем данные post-view и cross-device.
Важно, если ваша цель показать медийный контакт, никогда не опирайтесь на показатель CTR.
Теперь давайте выстроим их от самого эффективного и ниже:
Как решить — мы акцентируемся на том, что работаем хорошо, или прокачиваем то, что работает плохо? Это самый важный вопрос. Если есть потребность в коротком эффекте и бюджет ограничен — прогревайте горячую аудиторию. Если можете играть в долгий маркетинг — то делайте тесты, меняйте креативы, ставки, чтобы поднимать значения хотя бы до среднего.
Эффективность креативов
Приведу в качестве примера два ролика с рекламой наушников. В первом известный ведущий рассказывает, как они ему удобны при поездках. Второй молодежный, с упором на визуальную и музыкальную составляющую. Когда я увидел первый, то думал, что он будет более конверсионным за счет нативной манеры подачи. Я ошибался.
Очень сложно заранее понять, какой креатив сработает лучше. Мы даже в компании иногда пари заключаем. Нужно только анализировать по данным.
Еще пример. Тут было предсказуемо, что зашли второй и третий баннер. Потому что на других вообще непонятно, что рекламируется. Показатель тут не CTR, а процент переходов. Человек увидел рекламу и перешел на сайт рекламодателя.
Время действия медийного эффекта
Система фиксирует, что человек увидел рекламу, и ставит таймер, когда же пользователь вернется на сайт. Полоска, которую вы видите — это данные по post-click. Вот так люди возвращаются на OLX. Всего за 15 дней было 9% post-click и 91% post-view. Это нетрадиционно, обычно пользователи возвращаются в течение недели.
Например, известный бренд Ajax измеряют конверсию в установку приложения и first open. Их покупатель может принимать решение 50 дней. Тоже самое, например, с BMW — ведь машины не покупают сразу.
Определение оптимальной частоты
Допустим, люди помнят рекламу 7 дней, и мы показываем им рекламу с конкретной частотой. И эту частоту показа можно измерить. Аудитор дает выгрузку, сколько мы охватили людей на частоте 1, 2, 3, 4. И сколько вернулись из тех, кто был так охвачен. Ниже пример «Ракета». Тут тоже данные изменены. Только на четвертой частоте мы выходим на эффективность. Т. е. мы можем, например, дать рекомендацию — давайте покажем 4+ раза определенной аудитории, и это будет оптимально.
А вот «Алло», у которых частота 1 была долгое время самой эффективной:
Так выглядит частота по форматам. Чтобы анализировать это быстро, нужна та автоматизация, о которой я говорил:
К счастью, мы в диджитал можем проследить за пользователем. Мы нашли метод, который оцифровывает медийные кампании и можем вовремя их оптимизировать. Конечно, мы не можем гарантировать, что у вас сойдутся бренд лифты с реакцией на рекламу. Но вы, по крайней мере, должны это анализировать.
