Половина рекламы тратится впустую. Теперь известно, какая именно половина

Попросите любого практикующего рекламиста назвать основополагающий текст его профессии — и большинство тут же процитирует одну и ту же фразу, даже не зная, откуда она взялась: половина денег, потраченных на рекламу, тратится впустую, беда в том, что никто не может сказать, какая именно половина. Авторство почти всегда приписывают Джону Ванамейкеру, розничному торговцу XIX века, чьи универмаги сделали его одним из самых проницательных коммерсантов своей эпохи; на протяжении столетия отрасль повторяла это его якобы признание как своего рода профессиональный символ веры — доказательство того, что даже лучшие практики работают наполовину вслепую. Есть одна проблема. Никто и никогда не нашёл подтверждения, что Ванамейкер это действительно говорил.

Quote Investigator, ресурс, отслеживающий спорные высказывания до их первого появления в печати, нашёл самую раннюю подтверждённую версию в речи августа 1919 года на Вайнонской библейской конференции в Индиане, где проповедник Рой Л. Смит процитировал Ванамейкера: «Я убеждён, что примерно половина денег, которые я трачу на рекламу, тратится впустую, но я так и не смог определить, какая именно половина». Это было за три года до смерти самого Ванамейкера, и фраза всё равно дошла из вторых рук — через проповедь, а не через бухгалтерскую книгу. Сама идея ещё старше: Printers’ Ink опубликовал похожую версию в октябре 1890 года — «не забывайте, что половина денег, потраченных на рекламу, тратится впустую», — а в 1898 году руководитель компании Ванамейкера Роберт К. Огден заявил The Bankers Magazine, что, по его убеждению, «полных пятьдесят процентов денег, потраченных на рекламу, пропадали из-за неправильного размещения». Похоже, эта аккуратная, самокритичная формулировка складывалась постепенно на протяжении трёх десятилетий, а затем была приписана самому известному из доступных коммерсантов; ту же максиму по отдельности приписывали мыловаренному магнату, табачному промышленнику, производителю жевательной резинки и рекламисту Дэвиду Огилви, который её использовал, но отказывался от авторства. Отрасль, не способная договориться, кто именно произнёс эту фразу, имела ещё меньше шансов её проверить.

Отключение, которое сказало eBay правду

На протяжении столетия это почти не имело значения: не существовало практического способа отделить эффект рекламы от всего остального, что происходит в жизни покупателя. Цифровая реклама обещала это изменить — каждый клик, каждую покупку в принципе можно было проследить до источника. Но на практике она в основном давала лишь внешне более точную версию той же путаницы, ведь покупатель, кликающий по платной рекламе бренда, у которого и так собирался купить, для дашборда атрибуции выглядит точь-в-точь как покупатель, которого реклама убедила купить. Оба случая засчитываются как победа.

Вместе с собственной исследовательской командой eBay экономисты Том Блейк, Крис Носко и Стивен Тейделис взялись разделить эти два случая. Они остановили ставки eBay в платном поиске по каждому ключевому слову, содержавшему слово eBay — «ebay shoes», «ebay coupon codes», — на Yahoo и Microsoft, продолжая при этом покупать те же ключевые слова на Google, который служил внутренней контрольной группой. По их данным, eBay одновременно управлял более чем 100 миллионами ключевых слов и их комбинаций во всех трёх поисковых системах. Результат отключения брендированной рекламы: почти все недополученные клики и засчитанные им продажи просто снова появились в органической, неплатной выдаче. Реклама не создавала продажу — она перехватывала клиента, который пришёл бы в любом случае.

Далее команда пошла ещё дальше: случайным образом исключила 30% американского трафика eBay из всей небрендированной поисковой рекламы на шестьдесят дней. Влияние на продажи оказалось небольшим и в среднем статистически незначимым. Разделение покупателей на постоянных и случайных ещё больше прояснило картину: реклама влияла на новых и нечастых клиентов, но не давала измеримого эффекта для постоянных, хотя именно на постоянных приходилось большинство продаж, засчитанных рекламе. Краткосрочная рентабельность поисковой рекламы eBay, как заключили авторы исследования, оказалась отрицательной — не потому, что реклама не работала вовсе, а потому, что компания в основном платила за то, чтобы достучаться до людей, до которых и так не нужно было достучаться.

У рекламы есть количественный глянец, который маскирует подлинную неопределённость, стоящую за ней.Randall A. Lewis and Justin M. Rao, “The Unfavorable Economics of Measuring the Returns to Advertising,” Quarterly Journal of Economics, 2015

Цена определённости

Результат eBay убедительно доказывал: лучше тестировать, чем доверять дашборду. Но заодно он невольно показал, почему так мало компаний делают это хорошо. Примерно в то же время экономисты Рэндалл Льюис и Джастин Рао свели вместе двадцать пять рандомизированных экспериментов, проведённых с девятнадцатью розничными компаниями и шестью финансовыми фирмами, которые в совокупности составляли $2,8 миллиона расходов на цифровую рекламу, в большинстве случаев охватывая миллионы клиентов. Они обнаружили: отдельные продажи настолько волатильны относительно стоимости одного показа рекламы — типичный «коэффициент вариации» составлял около десяти, — что по-настоящему прибыльная кампания может статистически выглядеть идентично совершенно бесполезной, если тест не проводится в действительно крупном масштабе. В медианном розничном эксперименте стандартная ошибка ROI составила 26,1%, что подразумевает доверительный интервал шириной более ста процентных пунктов — достаточно широкий, чтобы вместить и громкий успех, и полный убыток одновременно; для экспериментов в финансовых услугах медианная ошибка достигала 115%. По их расчётам, чтобы отличить мёртвую кампанию от прибыльной, иногда требуется размер выборки свыше десяти миллионов человеко-недель — честная мера того, насколько большой и дорогой на самом деле является проблема Ванамейкера.

Тестирование по географии, а не по людям

Один из вариантов ответа, разработанный независимо в Google примерно в тот же период, полностью отказывается от измерения на уровне отдельных людей. Исследователи Джон Вейвер и Джим Кёлер предложили гео-эксперименты: страну делят на непересекающиеся регионы, каждому из которых случайным образом назначают — показывать рекламу или нет, — а затем сравнивают совокупные результаты. «Самый строгий метод измерения — это рандомизированный эксперимент», — писали они, и гео-эксперимент достигает этого, не отслеживая клик-поток ни одного отдельного клиента; они установили, что группировка регионов схожего размера перед рандомизацией может сузить доверительный интервал на десять и более процентов. Исследователи eBay отметили в сноске, что их собственный тест небрендированной рекламы использовал методологию, «похожую на предложенную Вейвером и Кёлером», — две команды, в ритейлере и в поисковой системе, независимо пришли к одному и тому же решению: рандомизировать нечто более грубое, чем отдельный человек, и шум, который губит тестирование на индивидуальном уровне, усредняется сам собой.

Эта идея давно вышла далеко за пределы Google. Meta открыла исходный код инструмента под названием GeoLift, который оценивает инкрементальный эффект (incremental lift) с помощью методов синтетического контроля на уровне географических рынков, а не отдельных устройств. В документации мотив сформулирован прямо: «lift-исследования часто ограничены доступом к онлайн-сигналам (пикселям, API, SDK и так далее)», и рекламодатели, у которых такого доступа нет, которые его теряют или не хотят им делиться, «не могли воспользоваться измерением прироста», пока география не предложила обходной путь. По мере того как отслеживать отдельных пользователей становится всё сложнее и спорнее, гео-эксперименты превратились из исследовательской диковинки одной поисковой системы в свободно доступный код, который может запустить любой ритейлер.

То, чего Ванамейкер так и не узнал

Ничто из этого не даёт маркетинговому отделу аккуратный процент для слайда в презентации. Если уж на то пошло, исследования доказывают обратное: измерить истинный эффект рекламы сложнее и дороже, чем показывает любой дашборд. Но с тех пор как проповедник из Индианы вложил аккуратную эпиграмму в уста уже покойного коммерсанта, кое-что действительно изменилось. Пожимание плечами, из-за которого вопрос «какая именно половина» превратился в шутку без ответа, больше не обязательно. Компания, готовая отключить кампанию в одних регионах и оставить в других, а затем достаточно долго подождать, чтобы увидеть результат, теперь может это выяснить — не с абсолютной уверенностью, но с честным числом, сопровождающим эту неопределённость, а это уже больше, чем реклама когда-либо прежде могла сказать о собственных расходах. Ванамейкер, кто бы на самом деле ни придумал эту фразу, вероятно, согласился бы и на это.