статистика в рекламе Facebook Instagram

XI. Статистическая достоверность тестов в таргетинге

Статистическая достоверность рекламных тестов — штука принципиальная важная, особенно в свете того, что последние три урока мы говорили о тестировании. Когда у вас на 5 потраченных долларов — 27 целевых действий из выборки в 50 000 человек, категорически нельзя делать выводы или искать тенденции, потому что повторить результат с вероятностью очень близкой к 100% не получится. С чего я так решил? Давайте разбираться.

[Читайте до конца и обязательно смотрите видео с пояснениями].

Некоторые коллеги из отрасли любят похвастаться показателями своих CTR. Для тех, кто не в теме — поясняю. CTR, или click-throughrate, — это показатель кликабельности. Проще говоря, соотношение показов вашей рекламы и кликов по ней. Если реклама была показана 100 раз, а кликнули по ней дважды — ваш CTR равен 2%.

У меня есть два любимых примера из сети ВКонтакте. В одном из них показатель CTR для рекламной кампании был 0,599%.

ctr в таргетированной рекламе

А во втором – 66,667%.

Казалось бы, результаты и результаты. Что странного? А если я вам скажу, что очень (очень!) усредненный CTR, который встречается во Вконтакте, это 0,03%? То есть, по рекламе кликают каждые три человека из 10 000.

Безусловно, это ужасно мало, но такова реальность, которая нас, как рекламодателей. А теперь вспомним цифры из примеров. CTR в 0,599% – это очень даже неплохо. Но CTR в 66,667% – это не просто Бог. Это практически Демиург Вселенной.

Результат выглядит сногсшибательно. Но при этом он — полная ерунда. Дело в том, что во втором примере — три показа и два перехода по рекламе (присмотритесь). И если мы дождемся того, как через, скажем, две-три минуты, показов набежит 3000, а переходов останется 2, CTR рухнет в ноль целых хрен десятых и все вернется на круги своя.

Доверять таким данным совершенно нельзя. И, самое главное, на них нельзя строить выводы и предположения. Малое количество данных не отражает реальность.

Вывод, который нужно сделать из этой информации? Для того, чтобы принимать решения на основании ваших тестов (особенно если они были вариативными и их было много) нужно накапливать такое количество данных, которому можно доверять. Окей, «такое количество» — это сколько конкретно, спросите меня вы. Правильный ответ: чтобы делать выводы и прогнозы вам потребуется…

Статистически достоверный объем данных

Откройте любой учебник по статистике — популярный или школьный. В нем вы найдете базовую таблицу с количеством целевых действий из выборки, которых достаточно для получения доверия к данным, вроде этой.

предел погрешности данных

Присмотритесь внимательнее. Скорее всего, в таргетированной рекламе, вы не работаете с маленькими аудиториями в 100, 200, 500 человек. Как правило, это десятки или сотни тысяч человек.

Предположим, что 100 000 человек на Facebook – генеральная совокупность вашей выборки. В таком случае, для того, чтобы доверять данным (например, о конверсиях) с вероятностью 95% и погрешностью плюс-минус 5% в каждую из сторон, вам нужно 383 конверсии любого уровня.

Еще раз: если вы получили 383 конверсии из выборки в 100 000 человек (какие именно конверсии — не важно), значит с вероятностью в 95% вы сможете повторить запуск с теми же результатами, стоимостью и настройками; без учета фактора аукциона.

Если, вдруг, хотите разобраться подробнее, читайте книги по статистике. Например:

  • «Голая статистика» авторства Чарльза Уилана. Замечательный образец популярной книги, которая посвящена отдельному вопросу и, при этом, не банальна и не скучна.
  • Если нужно еще глубже – Эндрю Сигел «Практическая бизнес-статистика». 1500 страниц со всеми подробностями, упражнениями, домашними заданиями и таким прочим.

Статистика в таргетированной рекламе и здравый смысл

Давайте решим логическую задачку. Если у вас есть сайт, скорее всего, конверсии по нему представляют собой стандартную воронку. Скажем, на 100 человек, которые заходят к вам на сайт, вы получаете 37 кликов по кнопке и 2 заявки на покупку. Итоговая конверсия вашего сайта 2% — из 100 человек, покупают каждые 2.

Окей, сколько трафика вам нужно привести на сайт минимально, чтобы получить 1 продажу (в рамках описанного мной примера)? Разумеется, 50 человек.

Значит, все, что меньше необходимого количества трафика для получения одной конверсии, статистически недостоверно! Если для получения одной заявки нужно 50 человек, а вы привели с одного рекламного объявления 30, на этих данных нельзя строить выводы. Разумно?

Разумно! А на каких тогда можно? С каждого объявления, которое вы тестируете, вы должны получить,минимум в 2-3 раза больше переходов, чем нужно для получения одной заявки. А лучше — еще больше. То есть, если ваша конверсия 2%, вам нужно, как минимум, 100 – 150 человек, чтобы хоть как-то принимать решения.

Ну, и итоговая мысль этого разговора. Давайте оставаться реалистами. Если мы каждое объявление будем дотягивать до статистической достоверности, в рамках тестов, где у нас 30-50 объявлений работает, скорее всего, мы будем раздувать бюджет с 200$ до 1000-1500$ и больше. Чтобы этого не происходило, стоит ориентироваться на банальный здравый смысл.

Если вы с конверсией в 2% привели 30 человек и у вас уже 4 заявки, стоит сделать вывод, что у объявления замечательная динамика и оставить его в ротации, пока вы ищете еще более работоспособный вариант.

Если же при требуемых 50 переходах для одной конверсии, вы получили 30, а конверсии нет, да еще и стоимость перехода выше порога рентабельности — вообще не смысла продолжать что-то искать. Потому что даже если конверсии появятся, окупиться они не смогут. Такую рекламу, конечно, стоит отключать.

Сделаем общий вывод. Для того, чтобы делать правомерные прогнозы на следующие запуски, и особенно масштабировать — соберите статистически достоверный объем данных. Для этого используйте:

  1. Калькуляторы статистической значимости. В Google Analytics и Яндекс Метрике они встроены в стандартный функционал.
  2. Стандартные таблицы из любых учебников статистики. Их тоже полно.
  3. Здравый смысл. Не принимайте решений на количестве трафика не достаточном для совершения одной конверсии. Это просто странно.

Домашнее задание

В комментариях к этому уроку, укажите процент конверсии на вашем сайте и количество трафика с одного рекламного объявления, на которое можно опираться, чтобы делать выводы. В вашем конкретном случае и на ваш взгляд.