Měření, triangulace, MMM, experimenty a atribuce
Co jsou (ne)vhodné use casy pro MMM, atribuci a experimenty?
V rámci měření přínosu a návratnosti marketingu se marketingoví ředitelé a manažeři obvykle setkají se 3 hlavními přístupy: MMM (marketing mix modelling), experimenty (testy inkrementality) a digitální atribuce/atribuční modely. V tomto textu si krátce přiblížíme, kdy je která metoda vhodná, jaké mají výhody a nevýhody…
Nejprve si připomeneme, jak každá metoda zjednodušeně funguje:
- MMM – pomocí statistického modelu izoluje vliv/efekt jednotlivých faktorů (media kanálů ale i dalších) na obrat příp. jiné KPI
- Kontrolované experimenty – zde nějakým způsobem rozdělíme zásah reklamou – např. náhodně rozdělíme uživatele do skupin A, B nebo tyto skupiny vytvoříme na základě regionů, jedna skupina je reklamě vystavena, druhá ne a následně odměříme rozdíl ve výsledku a z toho usoudíme jaký vliv reklama/aktivita měla
- Digitální atribuce – pomocí nějakého modelu/algoritmu přiřadí “kredit” jednotlivým touchpointům (obvykle prokliky, impresní touchpointy už dnes většinou nebývají k dispozici a některé atribuční modely se snaží různými metodami jejich efekt aspoň odhadnout). Často označováno jako “MTA” (multi-touchpoint attribution)
Digitální firmy (e-commerce apod) mají často zkušenost primárně s atribucí a spíš v posledních letech začínají používat zbylé dvě metody, kdy vnímají, že v důsledku ochrany soukromí uživatelů a přístupu “walled-gardens” platforem je čím dál méně spolehlivých dat o cestách/touchpointech jednotlivých uživatelů. Trochu paradoxem je, že mnoho hlavních problémů mají atribuční modely i bez ohledu na dostupnost/nedostupnost těchto dat – nízká kauzalita, nepřesnost, ignorování čehokoliv co není “online médium” (tj atribuce se tváří, že za celý obrat můžou online kanály…zcela ignoruje věci jako vliv ceny, promocí, konkurence, offline aktivity atd). Zároveň největší platformy (Google, Meta, TikTok) začínají v posledních letech doporučovat využití experimentů a MMM i pro měření digitálních kanálů (performance, upper-funnel i brand).
MMM vs MTA vs Experimenty: srovnání a bodování
Kriteria, na kterých metody srovnáme:
- Granularita – do jak velkého detailu dokáže metoda pracovat. Kanál/mediatyp nebo konkrétní kreativa? Největší detail poskytuje atribuce (cenou za to obecně je, že čísla budou nejméně přesná – tj atribuce je typicky vhodná pro odpověď na otázku “je reklama A” lepší než “reklama B” – zde nám stačí porovnání lepší/horší, než na otázku “jaké ROI mají naše Youtube kampaně”). MMM a experimenty mají menší detail – pracují na “vyšší letové hladině” a vidí tak jen větší “celky” (kanály, velké kampaně apod) a spíš se zaměřují na přesné změření efektu těchto.
- Prediktivní schopnost – měří metoda jen co se stalo v minulost nebo dokáže simulovat i budoucí vývoj? Atribuce a experimenty se k budoucímu vývoji obvykle nijak nevyjadřují. MMM řešení v sobě často mají nějakou formu simulace budoucího možného vývoje/různých scénářů (do jaké míry se jedná skutečně o predikci vs simulace fiktivního výsledku nedávného období při simulovaných investicích se liší u různých MMM)
- Kauzalita – dokáže metoda identifikovat přesné / skutečné (inkrementální) ROI kanálů? V principu nejspolehlivější jsou experimenty – jedná se v podst o analogii A/B testů, podmínkou je samozřejmě kvalitní design a exekuce experimentu. Zdaleka nejslabší metodou z hlediska kauzality je atribuce.
- Dlouhodobý pohled – dokáže metoda měřit i dlouhodobý vliv reklamy? Atribuce toto obvykle vůbec neřeší, pro experimenty je to také problém (teoreticky je samozřejmě možné některé experimenty nechat běžet měsíce nebo i rok – takto testoval např. Amazon vliv TV – ale pro drtivou většinu situací toto není prakticky schůdné). Pomocí pokročilého MMM lze dnes modelovat i nepřímý vliv reklamy/marketingu na budoucí prodeje (třeba za 2+ roky) skrz budování “brand equity” – existuje pro několik přístupů, které se liší svými nároky na data a robustností výsledného modelu.
- Holistický pohled – jak moc ucelený pohled (i nad rámec médií) dává metoda ohledně toho co generuje business výsledky? Online i offline? Zde zcela jednoznačně vítězí MMM – dokáže zahrnout nejen vliv online a offline médií, ale i vlivy jako vývoj na trhu, cenotvorba, konkurence, dostupnost produktů, makroekonomické faktory apod.
- Nízká komplexita – jak náročné je metodu reálně zprovoznit a uvést do praxe? Atribuce je nejjednodušší – většina inzerentů má k dispozici automaticky alespoň ve formě výsledků v platformách a v GA4. Experimenty – platformy jako Meta Ads a Google Ads nabízejí nástroje pro testy inkrementality – pro část use casů můžou být tyto nejjednodušší a postačující. Druhou základní technikou jsou tzv geo-experimenty, kde se “test” a “control” skuipiny vytvoří na základě rozdělení regionů – tato metoda je flexibilnější a obecnější, ale zároveň náročnější na pečlivý design, exekuci a následné vyhodnocení. MMM je jednoznačně nejnáročněčnější a nejkomplexnější ze všech.
- Privacy-first – vyžaduje metoda “user-level” data nebo dokáže pracovat s agregovanými daty? MMM a část experimentů nepracuje s uživatelskými daty narozdíl od atribučních modelů, v tomto směru jsou tedy i mnohem méně ovlivněny faktory typu chybějící souhlasy části uživatelů, různé ochrany proti trackingu apod.
- Cena – zde obecně nejlépe vychází atribuce: řada řešení je i zdarma (GA4, atribuční modely uvnitř platforem). Nejdražší z metod je naopak MMM – zde cena mj závisí na komplexitě modelu, ale obecně se jedná o projekt, jehož implementace bude trvat týdny až několik měsíců a rovněž údržba v rámci celého životního cyklu není snadná a levná.
- Škálovatelnost – jak snadné je metodu využívat ve velkém rozsahu (mnoho zemí, značek, kanálů,…). Zde nejhůř vycházejí experimenty – pro většinu značek je reálné udělat 10-15 experimentů/inkrementality testů ročně, což typicky bude stačit pro zodopovězení několika klíčových hypotéz, ale ne jako celkové řešení pro měření (zejm pokud má značka více trhů/zemí)
Jak je vidět z grafu, žádná z metod není “ultimátně lepší” a univerzálně vhodná, ale každá má svoje výhody a nevýhody – kterou metodu použít tedy zejm. závisí na tom, na co má odpovídat – např. digitální atribuce je vhodná pro denní / taktické optimalizace kampaní, porovnání mezi kreativami nebo konkrétními taktikami (= situace, kde se potřebujeme rozhodovat rychle a v poměrně velkém detailu, ale neřešíme tolik, zda uváděná čísla jsou inkrementální nebo ne), naopak na otázky typu “Máme příští kvartál investovat do Youtube nebo do TikToku” jsou mnohem lepší MMM nebo experimenty (=toto je “high-impact” rozhodnutí, kde je důležité rozumět skutečnému inkrementálnímu přínosu).
Co je na co vhodné? “Tier listy” využití
(V dalším S = nejlepší use case/metoda je vhodná, D = nejhorší use case pro danou metodu…)
MMM - využití
Experimenty - využití
Atribuce - využití
Celkově lze říct, že MMM je vhodné pro “high-impact” rozhodnutí, která se neprovádějí s vysokou frekvencí (kvartál, měsíc, maximálně týden) ale případné chyby jsou drahé (rozpočty, celkový mix kanálů, měsíční a kvartální plány, ROI největších kampaní/promocí atd) a typickým konzumentem MMM výsledků budou např. CMO a board, Head of Performance, Head of Brand apod, tak atribuce je vhodná pro častá menší rozhodnutí (denní / týdenní optimalizace jednotlivých kampaní a kreativ) a uživatelem budou marketingoví specialisté odpovědní za jednotlivé kanály a kampaně. Experimenty jsou vhodné pro situace, kdy chceme s co nejvyšší jistotou změřit jeden konkrétní výsledek (inkrementální přínos velké Youtube kampaně apod.) – u experimentů máme obecně vyšší záruku správnosti a přesnosti výsledku, ale jsou málo škálovatelné – málokterá firma dokáže kvalitně provést desítky marketingových experimentů ročně, tj v praxi je důležité dobře vybrat v jakých případech tuto záruku přesnosti potřebujeme.
Čemu věřit?
Pokud firmy pracují s více metodami, je častým zdrojem frustrace fakt, že dávají různé výsledky – a řeší “čemu věřit”…
Z hlediska spolehlivého odměření inkrementálního efektu kanálu resp. kampaně (tj toho, co nás zajímá nejvíc) platí, že:
- Experimenty > MMM > atribuce
Kontrolované experimenty jsou v tomto směru “zlatý standard” – pokud jsou samozřejmě dobře navrženy, exekuovány a vyhodnoceny (minimálně by se mělo jednat o dobře provedený geo-experiment, časové testy (pre vs post porovnání) mají mnohem nižší spolehlivost).
MMM + experimenty
Moderní MMM systémy téměř vždy obsahují možnost tzv kalibrace, kdy se model “naladí” na výsledky experimentů a v ideálním případě se MMM připravuje už s několika vyhodnocenými experimenty. Nicméně i pokud tyto nejsou k dispozici, je doporučené po prvotní implementaci MMM experimenty provést a model pomocí nich doladit. Tj výsledky MMM a experimentů sladit jde a je to i industry best practice (zde jen pozor na to, že i pak celkové ROI kanálů může být jiné – MMM se obvykle dívá dál v čase vs experiment typicky změří hodnotu během experimentu + případně pár týdnů po skončení experimentu).
Atribuce + experimenty
Většina atribučních modelů nemá mechanismus, jak se “naladit” na výsledky experimentů – často nejpragmatičtější způsob jak tyto světy propojit, je pomocí koeficientů – tj pomocí experimentů zjistíme, že inkrementální přínos kanálu A je např. 60, atribuční model říká 90, tj vidíme, že atribuce nadhodnocuje kanál A 1.5x – pro stanovení budgetů, KPIs apod vezmeme tento koeficient v úvahu, a marketingoví specialisté odpovědní za kanál A
- Buď rovnou pracují s atribucí (pro denní práci postačuje), s tím že cílové ROAS mají stanovené tak, aby dávalo smysl i po přepočtu koeficientem
- Nebo budou mít k dispozici reporting, kde jsou výsledky atribuce koeficientem přepočteny
Pozn: toto platí jak pro použití atribučních modelů uvnitř platforem (Meta, Google), tak pro GA4 atribuci nebo pro další atribuční nástroje.
Triangulace
Pokročilí inzerenti nejčastěji kombinují všechny tři metody dohromady (a je to dnes už best practice doporučovaná Googlem i Metou) – občas se můžeme setkat s pojmem “triangulace” – nicméně přístup by neměl být, že máme 3 verze čísel a ty průměrujeme, ale spíš pro danou otázku/use case použijeme vhodnou metodu, nebo různým metodám přiřadíme odpovídající váhu podle jejich vhodnosti, nebo použijeme doplňkovou metodu pro širší kontext výsledku (např. dobře provedený experiment nám dá přesnou hodnotu ROI během testu a případně několika týdnů po něm (“cooldown period”), pomocí MMM ho můžeme obohatit o to, jak dlouho efekt kanálu trvá nad rámec vyšetřované období a cooldown period, jak rychle klesá atd.
Cena a komplexita
Komplexita a finanční náročnost rovněž do určité míry určuje, pro koho je která metoda vhodná – pokud jste menší značka s marketing rozpočtem do 5m Kč ročně, nejspíš pro vás bude plně postačující atribuce a několik experimentů ročně (jimiž ověříte resp. zjistíte jak je v daném případě atribuce daleko od pravdy). Větší značky by měly začít experimenty používat systematicky – tj. v podstatě mít kontinuální program testování (testování nových hypotéz, nových kanálů, průběžné ověřování atribuce/zda “nedriftuje” – to, že před rokem byl koeficient 1.5 neznamená, že to bude platit i teď).
Co si z toho vzít?
- Žádná z metod není univerzální, každá má své vhodné a nevhodné use casy. Triangulace neznamená mít 3 verze čísel a z nich si udělat průměr.
- Digital-first značka typicky bude s tím jak poroste postupovat: Atribuce -> Experimenty -> MMM
- MMM je relevantní, i když používáte jen digitální kanály – ale je to komplexní téma, má smysl řešit až od určité velikosti
- Dělejte experimenty – 5-6 dobře navržených geo-experimentů za rok je poměrně snadné zrealizovat a je to obvykle velký pokrok oproti pouhému spoléhání na atribuci.
- Měření marketingu je bohužel komplexní a těžké – je velice pravděpodobné, že se vám nepodaří změřit vše (nebo by to bylo příliš drahé/náročné) – ale podstatné je uvědomit si, že nejde o to, aby měření bylo dokonalé, ale aby bylo užitečné – tj aby vám pomáhalo dělat lepší rozhodnutí.
- K měření je důležité přistupovat jako k průběžnému procesu (“continuous discovery”) – jakýkoli model na začátku bude mít meze a postupně tím, jak ho budete doplňovat dalšími daty, výsledky experimentů atd. jeho přesnost poroste. Celé měření je tedy spíš běh na dlouhou trať.