Часть 1В середине лета прошлого года ко мне обратилась компания ArtWall (одни из лидеров в отрасли интерьерных картин и постеров в России). Задача, которая была поставлена передо мной и командой, провести тестирование продукта  (продукт – печать картин и фотографий на холсте). Адрес посадочной страницы: http://www.artwall.ru/products/upload. Тесты проходили в социальной сети ВКонтакте.

Изначально этот материал был сдан заказчику в качестве отчета; я лишь добавил несколько своих комментариев для наглядности ключевых выводов. Как проходил процесс, во что вылился, и к чему привел – смотрите сами.

Here we go.

Родина начинается с картинки в «Букваре», а таргетинг – с построения гипотез, их парсинга, а затем – работы по наиболее перспективным из них. Давайте посмотрим, какие гипотезы тестировались (от наиболее работоспособных, к наименее). Напоминаю, что для увеличения изображения на него нужно просто кликнуть.

Прыжки с парашютом. Объявление было настроено на любителей экстремального отдыха, а конкретнее – любителей попрыгать с парашютом или резинкой (роуп-джампинг которая). Аудитория собиралась с помощью «Церебро Таргет» – получилось 6099 человек со всей России.

Тизеры для таргетированной рекламы картин на холсте

Самые успешные объявления в кампании

Объявление показало следующие результаты:

  • CTR: 1)0,044; 2)0,067.
  • Кол-во переходов – 73.
  • Средняя стоимость 1 перехода – 2,7 рубля.
  • Потрачено 197,31 рублей.
  • По лучшему объявлению (второму) Яндекс Метрика показывает 68,4 % отказов, при этом глубина просмотра – 1,9 страницы, время нахождения на сайте – 2 минуты, 35 сек.
  • В среднем по гипотезе – 66% отказов, 1,6 – глубина просмотра страниц, 1,77 мин. – время на сайте.

Будущие именинники (речь идет о тех людях, у которых скоро День Рождения).

Тизеры для именинников (картины на холсте)

Результаты:

  • CTR: 1)0.038, 2)0.037, 3)0.042, 4)0.013,  5)0.035, 6) 0.031, 7)0.000, 8)0.07, 9)0,063, 10)0.063. Обратите внимание, что объявления с лучшими результатами содержат вопрос в заголовке.
  • Потрачено 531,40 руб.
  • Количество переходов – 107.
  • Стоимость 1 перехода – 4,96 рублей.

Родственники будущих именинников. В данном случае, реклама настраивалась на людей, у супругов/парней/девушек которых скоро будет день рождения.

Изображения для таргетинга на именинников

Результаты:

  • CTR: 1)0.028, 2)0.011, 3)0.016,4) 0.012.
  • Лучшее – первое объявление, настроенное на парней, у девушек которых через 3 недели будет День рождения. Но в Яндекс Метрике по нему – 100% отказов.
  • Потрачено 106,59 руб.
  • Количество переходов – 14.
  • Стоимость 1 перехода – 7,60 рублей.

Бывшие именинники (у которых недавно прошел День Рождения). Георгафия аудитории – вся Россия, отдельные объявления были настроены по регионам. Акцент делался на то, что после торжеств у людей появляются фотографии, которые можно распечатать и повесить на сцену. Скидка в 25% преподносилась как подарок.

Таргетированная реклама для ArtWall картины на холсте

Показатели:

  • CTR: 1)0.008, 2)0.011,  3)0.000, 4)0.038, 5)0.027, 6)0.008, 7)0.018, 8)0.016, 9)0.014
  • В данном случае лучше всего сработал большой формат объявлений. По нему Яндекс Метрика показывает следующие результаты: 15 переходов, процент отказов – 64,3%, глубина просмотра страниц – 1,4, средняя продолжительность нахождения на сайте – 2 минуты.
  • Потрачено 597,52 руб.
  • Количество переходов – 62.
  • Стоимость 1 перехода – 9,63 рублей.

Молодожены. Аудитория – девушки от 18 до 35 лет, живущие в Москве или Санкт – Петербурге, состоящие в группах, посвященных свадьбам. Объявления таргетировались строго по географии проживания.

Тизеры ВК для молодоженой картины на холсте

Если кто-то и должен покупать картины на холсте, то именно молодожены

Показатели:

  • CTR: 1)0.014; 2)0.000; 3)0.000; 4)0.004; 5)0.011; 6)0.024; 7)0.024; 8)0,010; 9) 0,009; 10)0,035; 11)0,022; 12)0,013; 13)0,016; 14)0,012.
  • Лучший показатель переходов у 7го объявления, но процент отказа на сайте 100%.  При этом объявление № 6 показало лучшее время нахождения на сайте – 9 минут.
  • Потрачено 937,96 руб.
  • Количество переходов – 60.
  • Стоимость 1 перехода – 18,87 рублей.

При всей привлекательности аудитории молодоженов в оффлайне – показатели по ним в онлайне оказались достаточно невысоки. Возможно, это связано с высокой востребованностью аудитории молодожен для рекламодателей (это же косвенно подтверждается рекомендованной ценой на нее – 14 рублей за 1000 показов).

Знаки Зодиака. Аудитория: женщины от 18 лет, вся Россия.

Изображения для тизерной рекламы знаки зодиака

Результаты:

  • 1) 0.000, 2) 0.021, 3) 0.035, 4) 0.038, 5) 0.052.
  • Такая разница в, казалось бы, одинаковых объявлениях обусловлена картинками. В 1м и 2м объявлениях картинки были взяты просто из интернета, в 3–5  картинки были взяты из аватаров тех групп, на аудитории которых настраивались объявления.
  • 3е объявление – 23 перехода. Стоимость 1 перехода – 4,28 рубля. Согласно Яндекс Метрике 89,5% отказов, время просмотра – 1,1 минуты, глубина – 1,1 страницы;
  • 4е объявление —  21 переход, стоимость 1 перехода – 4,07 рубля.
  • 5 объявление – 21 переход. Стоимость 1 перехода – 3,48 рубля.

Средние показатели по гипотезе:

  • Потрачено 384,16 руб.
  • Количество переходов – 68.
  • Стоимость 1 перехода – 5,95 рубля.

Детсады. Аудитория – мамы с маленькими детьми. Интересуются прогрессивными методиками обучения, обсуждают их в сообществах, посвященных детским садам и т.д.

На аудиторию были настроены следующие объявления:

Тизеры для рекламы картин на холсте

Не самые разумные тизеры для мам детсадовцев

Показатели следующие:

  • CTR: 1)0,019, 2) 0,017.
  • При этом,  последнее объявление, согласно Яндекс Метрике показало 40% отказов, глубину просмотра – 4 страницы и 1,16 минуты проведения на странице.
  • Потрачено – 93,55 руб.
  • Количество переходов – 11.
  • Стоимость 1 перехода – 8,5 рублей.

Детские фотографы. Ориентир на мам, которые заказывают фотосессии – от 18 лет, вся Россия.

Тизеры для мам ArtWall

  • 7 переходов на сайт, процент отказов – 51,7%,  глубина просмотра – 1,1, среднее время пребывания на сайте – 50 секунд.
  • Потрачено 98,40 руб.
  • Количество переходов – 6.
  • Стоимость 1 перехода – 16,4 рубля.

Выпускной. Аудитория абитуриентов 16 – 17 лет. Вся Россия. Объявления были настроены 24 июня (через 3 дня после официального выпускного по всей России – 20 июня).

Изображения ВК для таргетинга на выпускников

Показатели:

  • 1) 0,021 и 2) 0,016.  По первому объявлению 7 переходов, и высокий процент отказов – 71,4%.
  • Потрачено 124,35 руб.
  • Количество переходов – 16.
  • Стоимость 1 перехода – 7,76 рублей.

Посетители зоопарков. Мамы, которые недавно были с детьми в зоопарке. Аудитория  – 4299 человек. Возраст – от 18 лет.

Таргетинг на посетителей зоопарков ArtWall

Показатели CTR по этим объявлениям следующие: 0,011% и 0,008%.  Гипотеза оказалась полностью нежизнеспособной.

M.S. (middlescriptum): внимательный читатель наверняка заметил, что на своих живых выступлениях, я часто использую именно эти объявления, в качестве примера того, как Не надо делать. Так что нежизнеспособной, скорее всего, оказалась не гипотеза, а ее реализация.

Посетители аквапарков. Здесь уже объявления показывались мамам, которые недавно ходили с детьми в аквапарк. Аудитория – 7159 человек. На эту аудиторию были настроены следующие объявления.

Таргетинг на посетителей аквапарков ArtWall

  • CTR: 1)0.003, 2)0.011, 3)0.015,  4)0.015, 5) 0,061. Т.е. лучшим объявлением в данной гипотезе оказалось последнее.
  • Стоимость 1 перехода по нему составила 2,03 рубля. При этом метрика показывает, что время, проведённое на сайте, составляет всего 34 секунды. Глубина просмотра – 1,2 страницы, Процент отказов – 84%.
  • Потрачено денег: 429,13 рублей.
  • Общее кол-во переходов – 31.
  • Средняя стоимость перехода – 13,83 рубля.

Посетительницы ночных клубов. Здесь акцент был сделан на любительниц светской жизни, которые хотят распечатать фотографии с прошедшей вечеринки.

Изображения для рекламы на посетительниц ночных клубов

Ну да, это как раз то, что резонирует посетительницам ночных клубов

  • Лучший показатель CTR по этой гипотезе – 0,008.
  • Потрачено 159,44 руб.
  • Количество переходов – 4.
  • Стоимость 1 перехода – 39,86 рублей.

M.S. И это объявление, вы тоже наверняка помните. Оно тоже – наглядная антиинструкция для создания тизеров.

Посетители городских мероприятий, флешмобов.

Тизер для ВК

  • По этому объявлению кликнули всего 2 раза.
  • Потрачено было 52,03 руб.
  • Количество переходов – 2.
  • Стоимость 1 перехода – 26,01 рублей.

Еще одной из гипотез были категории людей, которые выступают на сцене – в частности, певцы и танцоры.

Тизеры для певцов и танцоров ВК

  • Лучший показатель CTR – 0,022 (второе объявление). У любителей танцев хоть и было 10 переходов, самый высокий процент отказов – почти 100%.
  • Потрачено 71,63 руб.
  • Количество переходов – 10.
  • Стоимость 1 перехода – 7,14 рублей.

Итого:

  1. Протестировано – 66 объявлений.
  2. Отработано – 14 гипотез (на 41 варианте аудиторий).
  3. Потрачено: 4131,83 руб.
  4. Общее количество переходов: 485
  5. Средний CTR – 0,022%

В целом по компании, согласно результатам Яндекс Метрики:

  1. Количество переходов: 458 (разница в количестве обычно вызвана не совсем корректной оценкой трафика сервисом ВК).
  2. Процент отказов – 77,8%
  3. Глубина просмотра: 1,6 страницы.
  4. Время, проведённое на сайте – 1, 36 минуты.

Самое главное:

Если вы внимательно читали все, что было написано выше, вы должны были заметить как минимум 2 слабых места этой рекламной кампании. Первое из них – это, конечно, тизеры. Откровенно неудачных было всего несколько штук, но тем не менее, они были. Кампанию вела, на тот момент, еще малоопытная сотрудница, поэтому кое-что (ага, тизеры) вышло комом.

Второе откровенно слабое место конкретно этого проекта – недостаток статистических данных. Да, мы потратили всего немногим больше 4000 рублей, мы отработали кучу гипотез и аудиторий, но, черт возьми, нельзя делать выводы на основании 100 кликов по более чем 10 объявлениям. Такая информация заведомо подвержена влиянию самых разнообразных случайностей. Это я не говорю, про гипотезы, в которых тестировалось одно объявление и было собрано все пару-тройку кликов. Если попытаться масштабировать такие результаты, вы неизбежно увидите существенные отклонения (скорее всего, в разы) от тестовых данных. И эти отклонения могут быть как в плюс, так и в минус (скорее второе).

Ну а самым большим фейлом оказалось отсутствие продаж у заказчика (вы ведь заметили отсутствие данных по конверсиям в Метрике?). Переходы, CTRы – это все, конечно, хорошо, но совершенно бессмысленно, если вложения не окупаются. С другой стороны, этот печальный факт частично оправдывает отсутствие статистически значимых данных (на которые банально нужно больше денег), потому что если продаж ни одной – что тестировать вообще?

В общем, с учетом всего сказанного, я решил, что проиграна битва, но не война. И так как грех был косвенно на моей сотруднице (косвенно – потому что я молчу про оффер и посадочную страницу), я решил довести заказчика до победного:

  • поменять канал (ВК на ОК);
  • провести тестирования бесплатно, более того – вложить в них 5000 рублей своих собственных денег;
  • сделать все лично.

Как все прошло и какие результаты нам удалось получить, читайте во второй части этого кейса – вот здесь.