MMM FAQ pro markeťáky

MMM - Základy a co to vlastně je

  1. MMM (Marketing Mix Modelling) je metoda pro měření vlivu marketingových aktivit (často výdajů mediálních/marketingových kanálů) na prodej nebo podobné KPI, tedy měření ROI. Na rozdíl od atribučního modelování nepoužívá data na úrovni uživatele. Místo toho používá statistické učení o časových řadách (denní výdaje podle kanálu, denní celkové prodeje) ke kvantifikaci toho, který kanál drivuje (a kolik) prodeje.
  2. MMM je obvlášť užitečné pro značky s “upper-funnel” aktivitami nebo offline médii, offline prodejními kanály, prodejními kanály na tržišti nebo značky s problémy s měřením v online prostředí.
  3. MMM také měří takzvanou saturaci kanálu, která ukazuje, že když investujete více do kanálu,  tak získáte více prodejů, ale inkrementální růst se zpomaluje.
  4. MMM se také používá pro optimalizaci rozpočtu – může vám pomoci najít optimální alokaci marketingového rozpočtu napříč kanály.
  5.  

Media Mix Modelling obecně zahrnuje pouze mediální kanály jako faktory ovlivňující cílové KPI (např. prodej), zatímco modelování marketingového mixu zahrnuje širší sadu dalších nemediálních faktorů, jako je tvorba cen / slevy. Media Mix Modeling si tedy můžete představit jako užší verzi Marketing Mix Modelling.

MMM získává velkou pozornost zejména u digitálních značek, a to kvůli několika faktorům:

  • Tradiční metody měření návratnosti investic, jako je atribuční modelování, spoléhají na přesná data na úrovni uživatelů – tohoto je stále obtížnější / nemožné dosáhnout se všemi změnami ochrany soukromí (jak právními, tak technickými na straně prohlížečů), změnami v zásadách iOS atd. Výsledkem je, že atribuční modely nemají k dispozici úplná a přesná uživatelská data. MMM nepoužívá data na úrovni uživatele a není tím pádem tímto trendem ovlivněna. 
  • Za posledních 5 let došlo v MMM k velkému pokroku, díky kterému je mnohem přístupnější a více automatizovaný. MMM je stále obtížnou disciplínou, ale díky těmto pokrokům mohou i středně velcí inzerenti implementovat MMM jako hlavní součást svého marketingového měření

MMM funguje na úrovni marketingových kanálů – např. Facebook Ads, TikTok, Youtube nebo Google Ads PMax. V závislosti na vašem marketingovém/mediálním mixu možná budete chtít rozdělit větší platformy nebo typy médií do podkategorií – např. split FB reklamy nebo Google Ads do několika skupin podle typu kampaně (podle cílení, cíle, typu nabídky nebo provedení kreativy atd.), nebo podle TV podle konkrétních sítí apod.

Obvykle je reálné pracovat s celkem 6–25 kanály – záleží na tom, kolik kanálů máte, jaké mají podíly, kolik máte data pointů a dalších faktorech. Návrh dobré struktury kanálů (tzn. channelgrouping/seskupení kanálů) je jednou z důležitých fází implementace MMM a vyžaduje určité zkušenosti s tím, co je v pořádku a co může způsobit problémy MMM.

MMM není vhodnou metodou pro stanovení ROI na velmi podrobné granularitě – jako je klíčové slovo nebo reklamní sestava.

Ne nepotřebujete instalovat žádný pixel ani dodatečné měření na úrovni uživatele – MMM pracuje s agregovanými daty (např. celkovými denními tržbami a denní útratou Google Pmax, FB ASC, videoreklamy na Youtube atd.).

Identifikuje vzory v těchto datech pomocí statistického učení a tímto způsobem může kvantifikovat dopad každé z vysvětlujících proměnných (jako je útrata Google Pmax) na vysvětlovanou proměnnou (celkové tržby). Velmi zjednodušeně pro ilustraci si představte, že MMM vyšetřuje: „V 38. týdnu minulého roku došlo ke zvýšení výdajů u PMax. Je možné identifikovat nějaký nárůst celkových prodejů v týdnu 38, týdnu 39 atd. související s touto změnou?”

Nepotřebujete žádný pixel ani měření na úrovni uživatele, co potřebujete, tak zjistíte z denní časové řady nákladů PMax, dalších nákladů vašich marketingových kanálů a celkových tržeb. MMM to dělá samozřejmě mnohem sofistikovanějším způsobem, ale princip zůstává – zkoumá denní nebo týdenní časové řady a pomocí statistických učebních algoritmů identifikuje, který kanál vede k jakým výsledkům.

MMM - Proces

Počáteční implementace obvykle trvá několik týdnů a skládá se z:


    1. Ujištění se, že projekt MMM má jasné obchodní cíle a správná očekávání.
    2. Sběr a integrace dat.
    3. Zhodnocení kvality dat.
    4. Modelování a zpětné vazby se zákazníkem.
    5. Finálního modelu – interpretace a doporučení
    6. Finalního modelu – a jeho nasazení do produkce a kontinuální využívání
 

Je důležité pochopit, že čím více jste jako inzerent/majitel firmy zapojeni, tím lépe – někteří vendoři nabízejí „fully automated no-touch“ přístup, ale podle našich zkušeností to obvykle vede k modelům, které mohou být matematicky v pořádku, ale nedávají obchodní smysl a nikdo je pak nepoužívá.

Počáteční implementace obvykle trvá několik týdnů – i když je snadné “získat nějaký model“ během několika dní, obvykle trvá několik iterací (i s nejpokročilejší automatizací umělé inteligence), než se dosáhne produkčního modelu. První užitečné poznatky byste tedy měli očekávat během několika týdnů.

MMM je dobré brát jako iterační proces – model by neměl být statickou věcí vyvinutou jednou, ale spíše kontinuálním iteračním procesem – s novými kalibračními body a novými daty je model zpřesněn a vylepšen. Podle našich zkušeností:

    1. Dosažení produkčního modelu trvá několik týdnů – tedy nejen „první pokus“, ale ve skutečnosti dostatečně dobrý model, který může marketingové oddělení využít.
    2. V rámci dalších 3–6 měsíců může být model významně zlepšen skrze kalibrace a další metody.

Obecně budete potřebovat 2–3 roky dat na denní nebo týdenní granularitě:

    1. Celkové tržby/tržby (nebo podobné „cílové“ KPI, který chcete měřit) – mohou se brát z vašeho ERP, CRM, systému e-shopu nebo datového skladu, případně je možné použít data z GA/GA4 či podobného nástroj pro webovou analytiku. Toto je „vysvětlovaná“ proměnná (nazývaná také závislá nebo endogenní proměnná).
    2. Denní nebo týdenní nákladová data online a offline kanálů. Kromě nákladů je užitečné mít k dispozici další metriky – např. imprese z online reklamy, GRP pro TV a tak dále. Toto jsou „vysvětlující“ proměnné (také nazývané nezávislé nebo exogenní proměnné).
    3. Je v pořádku, pokud některé kanály neběžely pravidelně v průběhu 2–3 let.
 

Je důležité, aby existoval určitý rozptyl v objemu aktivit kanálu – např. někdy vám na Facebooku běží více reklam, někdy méně. Ve většině případů to není problém, ale například sponzorování fotbalové ligy po celé zkoumané období by nebylo dobrým případem pro měření MMM, protože v něm není žádná odchylka.

Je několik možností jak nasbírat a integrovat data pro MMM:

    1. Přímo přes konektory z platforem jako Google Ads, Facebook, TikTok apod. 
    2. Skrze jednorázový export dat v csv, excelu nebo podobném formátu.
    3. Pokud máte data v datovém skladu, tak je možné se napojit napřímo (to obvykle vyžaduje koordinaci s BI/datovým týmem)
 

Data je třeba strukturovat do kanálů (obvykle 6–25 kanálů) – konkrétní seskupení kanálů používané pro MMM by mělo být vhodné pro MMM a taky užitečné pro vás jako marketéra (tj. mělo by odrážet váš rozpočet a řízení marketingu). 

MMM - a atribuce

Z byznysové perspektivy se snaží, jak atribuční modely, tak MMM, odpovědět na tu samou otázku (*): “Kolik tržeb přinesl marketingový kanál X?”

Atribuce

      • Spoléhá na data na úrovni uživatele, potřebuje úplná a přesná data o uživatelích a jejich „touchpointech“ (obvykle kliknutí, někdy imprese). Využívá “bottom-up” přístup: z cest jednotlivých uživatelů vyvozuje hodnotu každého kanálu.
      • Existují různé atribuční modely od jednoduchých (na základě pozice tzn. position-based) po pokročilejší (Shapley, Markov, LSTM přístupy,…).
      • „Direct“ – to, jak atribuce zachází s přímou návštěvností, často ovlivňuje výsledek více než to, jaký algoritmus používá.
      • Atribuce může vidět pouze online svět: online marketing a online prodej. Atribuční modely vám nepomohou porozumět tomu, jak televize ovlivňuje vaše prodeje nebo jak YouTube ovlivňuje vaše tržby v maloobchodě.
      • Některé online kanály jsou často nedostatečně zastoupeny i v případě data-driven atribučních modelů – velmi často jde o kanály, které negenerují žádná kliknutí, ale ovlivňují spotřebitele jinými způsoby (video, influenceři,…).
      • Může být na velmi podrobné granularitě, a proto vhodná pro operativní rozhodnutí v online marketingu (denně, týdně).
      • Je „statická“ v průběhu času – jakmile jej máte, obvykle se v průběhu času nezlepšuje/nevyvíjí.
      • Jednoduchá implementace.
  • MMM
    • Nevyužívá data na úrovni uživatele ani je nepotřebuje měřit.
    • Holistický pohled na hnací síly poptávky: online i offline média, ceny a slevy, tržní trendy a síly, konkurenční aktivity – všechny tyto věci ovlivňují vaše výsledky a lze je začlenit do MMM (na rozdíl od atribučního modelu).
    • Dokáže pracovat se všemi prodejními kanály: web, aplikace, tržiště, vlastní síť maloobchodních prodejen, maloobchodní partneři.
    • Omezená granularita: MMM neslouží k měření návratnosti investic jednotlivých klíčových slov, reklamních sestav nebo kreativ.
    • Užitečnější pro strategické use casy: plánování, budgeting, vyhodnocování hlavních kampaní a propagací, pochopení skutečné inkrementální hodnoty hlavních 10–20 kanálů, optimalizace marketingového rozpočtu atd.
    • Implementace je složitější + vyvíjí se v čase (pokud uděláte MMM správně, po 6–12 měsících budete mít mnohem lepší model než po počáteční implementaci).
    • Není příliš dobrý v měření zcela nových kanálů nebo velmi malých kanálů.
 

(*) technicky existují rozdíly mezi tím, co atribuce a MMM měří (a nejen jak), a to je dobré téma pro analytiky, ale z pozice marketingového manažera je účel a hlavní byznysová otázka stejná.

MMM a atribuce se vzájemně nevylučují, ale spíše doplňují – MMM je lepší pro strategická rozpočtová rozhodnutí (myšleno na týdenní, měsíční, čtvrtletní horizont) a pro měření kanálů, které jsou obvykle nedostatečně zastoupeny. Dokonce i data-driven atribučními modely (video, influenceři atd.) nebo nemohou být měřeny vůbec online atribucí (televizní reklama, efekt slev atd.). Výhodou je také to, že je zcela odolný vůči problémům se omezováním měření na úrovni uživatele (protože se nespoléhá na žádná data tohoto typu).

Na druhou stranu atribuce je vhodnější pro operativní měření v online marketingu (myšleno denní a týdenní horizont). Pokročilí inzerenti používají trojúhelník metod měření:

  • MMM (MMM pro holistický pohled na “drivery” poptávky)
  • atribuce,
  • a testování / experimenty (pro ověření výsledků jak MMM, tak atribuce a získat výsledky tzv. „základní pravdy“).
 

Pokud jste menší nebo začínající značka (utrácíte za marketing méně než 2 mil. USD ročně), může použití atribuce pro vaše potřeby zcela dostačující.

MMM - Tipy pro úspěch

Berte vážně inkrementalitu a testování. Zvykněte si na pravidelné marketingové experimenty. Vysvětlete marketingovou inkrementalitu vyššímu vedení ve vaší společnosti – CEO, CFO atd. Vysvětlete omezení atribučních modelů.

Existující výsledky experimentů mohou výrazně urychlit jakýkoli MMM program a téměř jistě povedou k rychlejší hodnotě a návratnosti investic vašeho MMM projektu.

Nastavte dobrý proces sběru dat pro oblasti, jako jsou propagační akce (kalendáře a plány akcí), hlavní události ovlivňující vaši firmu, slevy nebo velké změny cen atd.

Doporučujeme aktualizovat data na týdenní bázi – aktualizace je možná i denní a pro některé inzerenty to dává smysl, ale celkově je týdenní dobrou výchozí volbou.

Co znamená aktualizace: nejen aktualizace o nová data (útraty za minulé dny, týden), ale také aktualizace modelu samotného („učí se na nových datech“).

Pro použití MMM nepotřebujete rozumět statistice – výsledky MMM by měly být snadno interpretovatelné pro byznysové uživatele (pokud tomu tak není, je to známka nízké kvality modelu a/nebo jeho dodavatele).

Pro vývoj MMM musíte vy (nebo váš tým nebo externí dodavatel) porozumět statistickému učení, ale také – a to je někdy podceňováno dataři, kteří se snaží MMM vyvinout sami od nuly – zkušenostem.

Ne. Co vaše organizace potřebuje, je určitá vyspělost v práci s daty a měřením – např. porozumět konceptu inkrementality nebo být komfortní s prací s nejistotou. Měli byste také vědět, že je potřeba marketingové měření a pochopení, jak to může ovlivnit rozhodování o zdrojích a rozpočtu ve vaší firmě.

Výsledky MMM samozřejmě často používají analytici, ale také (nebo dokonce primárně) seniorní lidé v marketingovém oddělení a dalších odděleních, jako jsou finance, kteří jsou zodpovědní za rozpočtování, plánování a dodávání tržeb.

V zásadě ano a některé společnosti to dělají – zejména ty se silnými interními týmy pro datovou vědu a předchozími zkušenostmi s MMM. Existují dokonce i některé knihovny s otevřeným zdrojovým kódem, které vám mohou pomoci – mějte však na paměti, že je obrovský rozdíl mezi „získáním modelu na první pokus pomocí nějaké knihovny s otevřeným zdrojovým kódem“ a „produkčně užitečným MMM“ – existuje vysoká pravděpodobnost, že vaše první modely budou v nejlepším případě k ničemu, v horším případě vysoce nebezpečné pro vaši firmu.

Dalším aspektem, který často vidíme podceňovaný interními pokusy o MMM, je neustálý vývoj a podpora. Abyste skutečně získali výhody používání MMM, měli byste MMM považovat za iterativní proces – vytvoříte model, použijete ho, získáte zpětnou vazbu, získáte nové kalibrační body, pak vylepšíte model atd.

MMM - Co může a nemůže dělat

Obecně všechny marketingové kanály, pokud máte časové řady (ideálně denní nebo týdenní) jejich nákladů a/nebo jiná data typu – imprese, GRP atd.

Takže například Google Ads (často rozdělené do více dílčích kanálů na základě kampaně nebo typu cíle), FB/Meta Ads (často také rozdělené do více menších kanálů), TikTok, Amazon Ads a maloobchodní/komerční média obecně, Linkedin, Twitter/X reklamy, Pinterest, Snapchat, display ads, video reklamy, influencer marketing, PR aktivity, události, TV/CTV, OOH, rádio, tisková reklama, letáky jsou příklady kanálů, které jsou obvyklé.

Existují některé případy, kdy MMM nemusí být schopno přesně měřit výkon kanálu, proto mějte na paměti:

    • Malé kanály – pokud je podíl výdajů kanálu menší než 2 %, je často obtížné odlišit jeho účinek od celkového šumu.
    • Žádná nebo velmi malá odchylka – pokud neexistuje žádná odchylka v intenzitě kanálu, je to problém. Může se jednat o sponzoring, které běží po celé zkoumané období (např. poslední 2–3 roky) beze změny.
    • Affiliate marketing – kvůli mechanismu, jak funguje, představuje v mnoha případech specifickou výzvu.
    • Zcela nové kanály – zejména pokud ve vaší nedávné historii nejsou žádné podobné kanály. To je obvykle řešitelné, jen mějte na paměti, že měření zcela nových kanálů je v MMM trochu náročné.
    • Kanály, které jsou vždy spuštěny společně se stejnou intenzitou – např. pokud spustíte YouTube a TV reklamy vždy ve stejný den a se stejnou relativní intenzitou, nemusí být možné mezi těmito dvěma kanály rozlišit, ale vyhodnotit pouze souhrnný efekt obou.
    • Existující výsledky experimentů mohou výrazně urychlit jakýkoli program MMM a téměř jistě povedou k rychlejší hodnotě a návratnosti investic vašeho MMM projektu.
 

Existující výsledky experimentů mohou výrazně urychlit jakýkoli program MMM a téměř jistě povedou k rychlejší hodnotě a návratnosti investic vašeho MMM projektu.

Nastavte dobrý proces sběru dat pro oblasti, jako jsou propagační akce (kalendáře a plány akcí), hlavní události ovlivňující vaši firmu, slevy nebo velké změny cen atd.

MMM lze použít např. k pochopení toho, jak YouTube nebo televizní reklamy ovlivňují vaše prodeje na Amazonu, Walmartu nebo jiných tržištích. Nebo jak to ovlivní vaše prodeje u maloobchodních partnerů nebo ve vaší vlastní maloobchodní síti – to je jeden z velmi častých případů použití MMM.

Řekněme tedy, že jste značka DTC s následujícími prodejními kanály: vlastní web, Amazon tržiště, maloobchodní partneři a spustíte kampaň na Instagramu, Youtube, TikToku a CTV – pomocí MMM můžete vidět celkovou ROI těchto médií pro každý z prodejních kanálů.

Branding a jeho dlouhodobý význam pro různé společnosti znamená různé věci. Obecně je MMM docela spolehlivé, pokud se výsledky (prodejní efekt) dostaví až 3–4 měsíce po aktivitě. Pro tento případ použití jsou vhodné a dostatečně dobré standardní/moderní techniky MMM.

Přesné měření skutečně dlouhodobých efektů marketingu, kde komunikujete s potenciálními zákazníky, kteří nejsou in-market a možná ještě nebudou po mnoho měsíců (a snažíte se většinou vybudovat mentální dostupnost), je obtížné a standardní MMM se k tomu nehodí. Existují způsoby, jak rozšířit MMM tak, aby pokrylo i tyto případy použití – to bude nevyhnutelně vyžadovat mnohem delší časovou řadu dat (předpokládejme 4–5 let namísto 2 let) a další techniky.

MMM - Specifická média a kanály

MMM se na ně primárně nezaměřuje, ale v některých případech mohou být pro inzerenta důležité, aby o nich měl přehled i prostřednictvím MMM. Pojďme si je probrat jeden po druhém:

  • Emailing (nebo podobné – push notifikace apod.) – pokud máte nějakou dobrou metriku vyjadřující objem aktivity (např. počet otevřených e-mailů – což by bylo poněkud analogické k impresím), pak je obecně možné ji zahrnout do MMM.
  • Direct je v dnešní době komplikovaný “kanál”. Do jisté míry představuje brandový traffic, ale v posledních letech stále více “přímého” trafficu ve skutečnosti představuje problémy s měřením nebo obecnějši neznámý zdroj návštěvnosti. Takže ve skutečnosti direct, který vidíte ve vašem analytickém nástroji, je kombinací těchto dvou. V MMM:
    • Tržby, které jsou získány díky síle brandu mají svůj vlastní “bucket” nazývaný brand baseline.
    • MMM není ovlivněno chybami a problémy s měřením. Takže pokud byla tržba získána z Facebooku, tak bude atribuována Facebooku. Bez ohledu na problémy s měřením.
  • Organic (z vyhledávačů) lze modelovat pomocí různých proxy metrik (např. počet organických zobrazení z GSC), ale často to modelu značně komplikuje, takže pokud neexistuje konkrétní případ, který by bylo možné měřit organický tímto způsobem, doporučujeme ponechání jako jednu ze složek baseline tržeb.

Ano. Toto jsou typické use casy, kdy je MMM velmi silné a nabízí lepší řešení, než většina atribučních modelů (i DDA). MMM nepotřebuje žádné měření, není ovlivněn typickými problémy s měřením ani skutečností, že mnoho formátů na těchto platformách funguje (ovlivňuje spotřebitele) bez generování kliků.

Ano. Tohle je další dobrý use case pro použití MMM. Vyžaduje to určitou specifickou přípravu dat, ale dobré řešení MMM by nemělo mít problém s influencer marketingem.

Ano. Jedná se o další typický use case (a zcela ignorovaný atribučními modely). Existuje několik způsobů, jak zahrnout změny cen a/nebo slevy do MMM – každý z nich má své pro a proti. Jedna věc, kterou musíte udělat: shromáždit pro ně potřebná data v časové řadě (pokud tak už nečiníte).

MMM - Pro koho je vhodný?

S pokrokem, kterého bylo dosaženo za posledních cca 5 let, už není MMM pouze pro Fortune 500 brandy. MMM se stalo mnohem dostupnější. Ale stále je to poměrně složitý úkol. Naším měřítkem je, že pokud vaše značka utratí alespoň 2 miliony USD/EUR ročně v médiích (online nebo offline), MMM by pro vás mělo být relevantní a poznatky a optimalizace by měly snadno kompenzovat složitost a náklady na MMM.

 

U menších značek je stále možné implementovat řešení MMM – neexistuje žádný pevný minimální limit marketingových výdajů – ale může to vyžadovat pečlivější zvážení, zda to dává smysl z hlediska vašeho zaměření a potenciálního obchodního dopadu.

MMM je relevantní i pro mnoho B2B  – např. používá ji mnoho B2B technologií a společností SaaS. V závislosti na délce vašeho prodejního cyklu můžete modelovat buď skutečné prodeje, nebo počet MQL nebo SQL jako modelované KPI.

 

Existují některá odvětví s velmi dlouhými prodejními cykly a příliš složitými systémy distribučních kanálů, které nemusí být vhodné – je nejlepší prodiskutovat váš konkrétní případ s vaším MMM partnerem.

Většina brandů může těžit z MMM. Jsou případy, kdy je dodání spolehlivého MMM modelu podle našich zkušeností často výzvou (nebo obchodní dopad výsledku je zanedbatelný):

    • Nové značky nebo produkty – MMM potřebuje historii dat (realistické minimum je 1 rok marketingových dat. 2 roky dat je doporučeno).
    • Malé byznysy – MMM je stále poměrně složitá záležitost, a pokud za marketing utratíte jen 50–100 000 USD měsíčně, můžete zaznamenat lepší návratnost investic v jiných aktivitách, než je pokročilá analytika jako je MMM. U menších značek doporučujeme začít používat inkrementální testování – to je nejlepší způsob, jak vybudovat pevné základy pro budoucí MMM projekty.
    • Značky s velmi dlouhým prodejním cyklem – např. B2B průmyslová zařízení.
    • Rychle se měnící nebo vznikající průmyslová odvětví 
    • Velmi složité distribuční kanály – některé společnosti mohou mít potíže s přesným sledováním koncových prodejů, např. pokud prodávají prostřednictvím vícevrstvého systému distribučních partnerů.

MMM - Proč bychom tomu měli věřit? Validace výsledků modelu

Existují některé standardní statistické metody, které lze použít k posouzení kvality modelu. Nejčastěji se používají:

  • R-squared říká, do jaké míry může model vysvětlit rozptyl v modelovaném KPI. Obecné pravidlo zní:
    • R squared > 0.9 = skvělý výsledek
    • R squared mezi 0.8 – 0.9 = velmi dobrý výsledek pro produkční využití 
    • R squared pod 0.8 = model pravděpodobně potřebuje nějaké změny (např. jiné kanály apod.) 
  • Je také nutné rozlišovat mezi “R-squared on training data” (=model viděl v datasetu nezávislé i závislé proměnné, takže typicky denní/týdenní výdaje kanálů a celkové prodeje) a “R-squared on test” (nebo “hold-out” data) – kde model neviděl skutečné hodnoty závislé proměnné a potřebuje je predikovat. To je mnohem obtížnější úkol a R-squared bude v tomto případě nižší.
  • Doporučujeme podívat se na MAPE (Mean Absolute Percentage Error), který vyjadřuje chybu jako procento skutečných hodnot.

Kromě toho nejlepším způsobem, jak získat důvěru ve výsledky modelu, je provádět testy a porovnávat jejich skutečné výsledky s tím, co model predikuje – více informací v sekci o validaci modelu.

Obecně jsou 2 hlavní cesty: 

  • Experimenty – zde v podstatě provedete nějakou změnu (např. zvýšíte nebo snížíte výdaje v konkrétním kanálu) na určité období, poté vyhodnotíte účinek pomocí nějaké nezávislé metody (kauzální inference) a porovnáte výsledek s tím, co vám říká MMM. Pokud jsou výsledky blízko, znamená to, že model může dělat dobré predikce, pokud tomu tak není, měli byste použít výsledek experimentu jako další kalibrační bod pro opravu modelu.
  • Hold-out testování dat – toto je obecný osvědčený postup ve statistickém modelování. Principem je, že modelu neukážete všechna data – „schováte“ např. poslední 2 měsíce. Takže víte, co se skutečně stalo za ty poslední 2 měsíce (kolik jste investovali do každého kanálu, jaké byly celkové prodeje), ale model tato data nezná. Poté ukážete model, který kanál utratí za poslední 2 měsíce (ale ne tržby) a necháte ho předpovědět, jaké by podle něj byly celkové tržby. Poté porovnáte skutečné prodeje (znáte je) s modelovou predikcí.
  •  
Produkty
Kontakt

© 2024 MarketingIntelligence.io

Terms and Conditions