Попросіть будь-якого практикуючого рекламіста назвати засадничий текст його професії — і більшість відразу процитує одну й ту саму фразу, навіть не знаючи, звідки вона взялася: половина грошей, витрачених на рекламу, витрачається даремно, біда лише в тому, що ніхто не може сказати, яка саме половина. Авторство майже завжди приписують Джону Ванамейкеру, роздрібному торговцю XIX століття, чиї універмаги зробили його одним із найкмітливіших комерсантів своєї доби; упродовж століття галузь повторювала це його нібито зізнання як своєрідний професійний символ віри — доказ того, що навіть найкращі фахівці працюють наполовину наосліп. Є одна проблема. Ніхто й ніколи не знайшов підтвердження, що Ванамейкер справді це казав.
Quote Investigator, ресурс, який відстежує спірні вислови до їхньої першої появи в друці, знайшов найраніший підтверджений варіант у промові серпня 1919 року на Вінонській біблійній конференції в Індіані, де проповідник Рой Л. Сміт процитував Ванамейкера: «Я переконаний, що приблизно половина грошей, які я витрачаю на рекламу, витрачається даремно, але я так і не зміг визначити, яка саме половина». Це було за три роки до смерті самого Ванамейкера, і фраза все одно дійшла з других вуст — через проповідь, а не через бухгалтерську книгу. Сама ідея ще старша: Printers’ Ink опублікував схожий варіант у жовтні 1890 року — «не забувайте, що половина грошей, витрачених на рекламу, витрачається даремно», — а в 1898 році керівник компанії Ванамейкера Роберт К. Огден заявив The Bankers Magazine, що, на його переконання, «повних п’ятдесят відсотків грошей, витрачених на рекламу, пропадали через неправильне розміщення». Схоже, ця акуратна, самокритична формула складалася поступово протягом трьох десятиліть, а потім її приписали найвідомішому з доступних комерсантів; ту саму максиму окремо приписували мильному магнату, тютюновому промисловцю, виробнику жувальної гумки та рекламісту Девіду Огілві, який її вживав, але відмовлявся від авторства. Галузь, яка не могла домовитися, хто саме сказав цю фразу, мала ще менше шансів її перевірити.
Відключення, яке розповіло eBay правду
Упродовж століття це майже не мало значення: не існувало практичного способу відокремити ефект реклами від усього іншого, що відбувається в житті покупця. Цифрова реклама обіцяла це змінити — кожен клік, кожну покупку в принципі можна було простежити до джерела. Але на практиці вона здебільшого давала лише зовні точнішу версію тієї самої плутанини, бо покупець, який клікає на платну рекламу бренду, у якого й так планував купити, для дашборда атрибуції виглядає точнісінько так само, як покупець, якого реклама переконала купити. Обидва випадки зараховуються як перемога.
Разом із власною дослідницькою командою eBay економісти Том Блейк, Кріс Носко та Стівен Тейделіс взялися розділити ці два випадки. Вони зупинили ставки eBay в платному пошуку для кожного ключового слова, що містило слово eBay — «ebay shoes», «ebay coupon codes» — на Yahoo та Microsoft, водночас продовжуючи купувати ті самі ключові слова на Google, який слугував внутрішньою контрольною групою. За їхніми даними, eBay одночасно керував понад 100 мільйонами ключових слів та їхніх комбінацій на всіх трьох рекламних системах. Результат вимкнення брендованої реклами: майже всі втрачені кліки та зараховані до них продажі просто знову з’явилися в органічній, неплатній видачі. Реклама не створювала продаж — вона перехоплювала клієнта, який і так прийшов би.
Далі команда пішла ще далі: випадковим чином вилучила 30% американського трафіку eBay з усієї небрендованої пошукової реклами на шістдесят днів. Вплив на продажі виявився невеликим і в середньому статистично незначущим. Розділення покупців на постійних і випадкових ще більше прояснило картину: реклама впливала на нових і нечастих клієнтів, але не давала жодного вимірного ефекту для постійних, хоча саме на постійних припадала більшість продажів, зарахованих рекламі. Короткострокова рентабельність пошукової реклами eBay, як підсумували автори дослідження, виявилася від’ємною — не тому, що реклама не працювала взагалі, а тому, що компанія здебільшого платила за те, щоб дотягнутися до людей, до яких і так не треба було дотягуватися.
Реклама має кількісний глянець, який маскує справжню невизначеність, що стоїть за нею.Randall A. Lewis and Justin M. Rao, “The Unfavorable Economics of Measuring the Returns to Advertising,” Quarterly Journal of Economics, 2015
Ціна визначеності
Результат eBay переконливо доводив: краще тестувати, ніж довіряти дашборду. Але водночас він мимохіть показав, чому так мало компаній роблять це добре. Приблизно в той самий час економісти Рендалл Льюїс і Джастін Рао звели докупи двадцять п’ять рандомізованих експериментів, проведених із дев’ятнадцятьма роздрібними компаніями та шістьма фінансовими фірмами, які разом становили $2,8 мільйона витрат на цифрову рекламу, здебільшого охоплюючи мільйони клієнтів. Вони виявили: окремі продажі настільки волатильні відносно вартості одного показу реклами — типовий «коефіцієнт варіації» становив близько десяти, — що по-справжньому прибуткова кампанія може статистично виглядати ідентично до абсолютно марної, якщо тест не проведено в справді великому масштабі. У медіанному роздрібному експерименті стандартна похибка ROI становила 26,1%, що означає довірчий інтервал шириною понад сто відсоткових пунктів — достатньо широкий, щоб умістити і гучний успіх, і суцільний збиток одночасно; для експериментів у фінансових послугах медіанна похибка сягала 115%. За їхніми підрахунками, щоб відрізнити мертву кампанію від прибуткової, іноді потрібен розмір вибірки понад десять мільйонів людино-тижнів — чесний вимір того, наскільки великою і дорогою насправді є проблема Ванамейкера.
Тестування за географією, а не за людьми
Один із варіантів відповіді, розроблений незалежно в Google приблизно в той самий період, повністю відмовляється від вимірювання на рівні окремих людей. Дослідники Джон Вейвер і Джим Кьолер запропонували геоексперименти: країну ділять на регіони, що не перетинаються, кожному з яких випадковим чином призначають — показувати рекламу чи ні, — а потім порівнюють сукупні результати. «Найсуворіший метод вимірювання — це рандомізований експеримент», — писали вони, і геоексперимент досягає цього, не відстежуючи клікстрім жодного окремого клієнта; вони встановили, що групування регіонів схожого розміру перед рандомізацією може звузити довірчий інтервал на десять і більше відсотків. Дослідники eBay зазначили в примітці, що їхній власний тест небрендованої реклами використовував методологію, «подібну до запропонованої Вейвером і Кьолером», — дві команди, в роздрібній компанії та в пошуковій системі, незалежно прийшли до одного й того самого рішення: рандомізувати щось грубіше за окрему людину, і шум, який руйнує тестування на індивідуальному рівні, усереднюється сам собою.
Ця ідея давно вийшла далеко за межі Google. Meta відкрила вихідний код інструменту під назвою GeoLift, який оцінює приростний ефект (incremental lift) за допомогою методів синтетичного контролю на рівні географічних ринків, а не окремих пристроїв. У документації мотив сформульовано прямо: «lift-дослідження часто обмежені доступом до онлайн-сигналів (пікселів, API, SDK тощо)», і рекламодавці, які такого доступу не мають, втрачають його або не хочуть ним ділитися, «не могли скористатися вимірюванням приросту», доки географія не запропонувала обхідний шлях. У міру того як відстежувати окремих користувачів стає дедалі складніше й суперечливіше, геоексперименти перетворилися з дослідницької цікавинки однієї пошукової системи на вільно доступний код, який може запустити будь-який рітейлер.
| Дослідження | Що рандомізували | Головний висновок |
|---|---|---|
| Тест із брендованими ключовими словами eBay (Блейк, Носко, Тейделіс) | Ставки, призупинені у двох із трьох пошукових систем | Реклама за брендованими ключовими словами не показала вимірної короткострокової користі |
| Пул із 25 експериментів (Льюїс і Рао) | Показ реклами окремим людям, 25 кампаній | Медіанний довірчий інтервал ROI перевищував 100 відсоткових пунктів |
| Геоексперименти (Вейвер і Кьолер, Google) | Цілі географічні регіони, а не окремі люди | Рандомізація на рівні регіонів дає інтерпретовні оцінки без відстеження окремих людей |
Те, чого Ванамейкер так і не дізнався
Ніщо з цього не дає відділу маркетингу акуратного відсотка для слайду в презентації. Якщо вже на те пішло, дослідження доводять протилежне: виміряти справжній ефект реклами складніше й дорожче, ніж показує будь-який дашборд. Але з часів, коли проповідник з Індіани вклав акуратну епіграму в уста вже покійного комерсанта, дещо справді змінилося. Знизування плечима, через яке питання «яка саме половина» перетворилося на жарт без відповіді, більше не є обов’язковим. Компанія, готова вимкнути кампанію в одних регіонах і залишити в інших, а тоді достатньо довго почекати, щоб побачити результат, тепер може дізнатися відповідь — не з абсолютною певністю, але з чесним числом, яке супроводжує цю невизначеність, а це вже більше, ніж реклама будь-коли раніше могла сказати про власні витрати. Ванамейкер, хто б насправді не вигадав цю фразу, найімовірніше, погодився б і на це.
