Experimenty a AB testování

V Digitálních architektech pracujeme na AB testování a dáváme konkrétní doporučení k úpravám. Realizujeme vlastně klasické AB testy, jen dbáme více na analytiku, které za tím je. Chcete otestovat cenotvorbu, USP nebo se pustit do příprav k větším designovým úpravám?

Kontaktujte nás

Co se běžně testuje?

homepage – uživatel chodí jinam, než bychom chtěli nebo nepokračuje dál
úpravy landing page – pro snížení okamžité odchodovosti (bez jakékoliv interakce)
redesign webu – běží obě verze webu zároveň a ty porovnáváme (AB test není, když se nasadí pouze nová verze a porovnávají se data)
doprava zdarma a jejího limitu – vliv dopravy zdarma na konverze
zobrazení ceny a dostupnosti v detailu produktu
upsell v košíku pozitivní/negativní vliv na průměrnou velikost objednávky (rozšíření záruky, příplatkové služby)
prvky povzbuzující přihlášení uživatele – chceme, aby se přihlašoval před nákupem
změny cenotvorby (trochu etický problém)

U velkých webů lze pak testovat například řazení produktů v kategorii, zobrazení související produkty či zobrazení články v detailu produktu.

Naopak u menších webů (s nižší návštěvností) se nejčastěji testuje pouze kompletní změna webu, ať už z důvodu, že bychom na výsledky čekali příliš dlouho, nebo z důvodu nepoměru nákladů na samotný test.

Jak AB testy fungují?

Obecně AB test funguje tak, že dvěma (nebo více) stejným skupinám uživatelům zobrazujeme různé verze webu. Na základě přesnosti (jak jsme si jistí, že A či B je lepší) se pak dané změny nasazují.

Nejčastější postup

určíme si co je pro nás rozhodující metrika
určíme si sanity checks – výběr metrik, které jsou neměnné. V obouch skupinách A/B musí mít stejné hodnoty. U webů nejčastěji: zdroje návštěvnosti, zařízení, atd. (obě skupiny musejí být maximálně totožné)
určíme si, jestli pracujeme se session, eventy, pageviews, či uživateli
zjistíme minimální velikost testované skupiny a zda jsme schopni ji naplnit. Zde nám může pomoci některý z online nástrojů např: https://abtestguide.com/calc/

V tomto bodě lidé nejčastěji zaseknou, jelikož je zde nutné znát procentuální očekávanou změnu “konverzního poměru”. Pokud očekáváme změnu z 5 % na 10 % (to znamená o 100 %), potřebujeme mnohem méně uživatelů, než když očekáváme změnu z 5 % na 5,05 % (což je změna o 1 %), kde pro statistické vyhodnocení je třeba obrovské množství dat.

Vyhodnocení A/B testu

Ještě před samotným vyhodnocením je nutné zkontrolovat sanity checks (že máme v obou skupinách dostatečně stejné návštěvníky).
Poté můžeme vyhodnotit samotný test a jeho statistickou významnost.
Pozor na ukončení v rámci cyklického období (test jsem zapnul v pondělí a vypínám ho v pátek – chování uživatelů o víkendu může být velmi rozdílné).

Časté chyby

U AB testů se setkáváme s problémy, že analytiky a logické uvažování stojí až na druhém místě, ovšem daleko za samotným vyhodnocením AB testu. Níže jsme uvedli pár příkladů z praxe.

Testuje se vliv homepage na konverzi na úrovni zobrazení stránky (pageview), ale ne na uživatele (sessions). Z původních 10 milionů zobrazení (což pro A/B test může stačit) máme najednou “jen” 200 000 sessions.
V detailu produktu se testuje něco, co není hned vidět (související produkty dole na stránce, které vidí 10 % uživatelů) – v konci bylo málo zobrazení, ale dělají se závěry z celku, jako kdyby produkt viděli všichni
Verze A/B nejsou stejné – například se testují lidé pouze z PPC kampaní (A) a zbytek (B)
U AB testování e-mailů jsou velmi často malá publika. Nejčastěji u B2B firem rozešlu 100 emailů rozdělených do 2 skupin a na základě toho něco vyhodnocuji.
Stavajícím zákazníkům ukazuji starou vezi webu (jelikož ho již znají) a novým novou.

Jak jste si všimli, často je problém v nedostatku dat.

U malých projektů testujte celý web – třeba to, co každý vidí (menu) nebo komplexní detail produktu (například testování 2. kroku košíku nemá smysl)
u malého množství konverzí je mnohdy lepší investovat do UX specialisty, který rovnou navrhne úpravy a od boku dá dle best practices doporučení ke změnám (je to lepší, než aby test běžel tři roky)

Další problematickou oblastí u AB testů, že mnoho rozhodnutí je uděláno ještě před tím, než se začne cokoli dělat. Typickou situací je, když je vyrobený nový web, na kterém se strávil rok práce. I když z AB testu vyšlo, že jsou výsledky ještě horší (než původní web), stejně se nasadí na produkci.

Nástroje, které používáme

Nejčastěji pracujeme s Google Optimize nebo s vývojáři na straně klienta, kteří si technickou část implementace vyřeší sami. Výsledky jsou obvykle vidět už v nástroji pro AB testy, ale my si je rovnou stahujeme a pracujeme s nimi dále.

Velmi často nástroje říkají, že nemají dostatečná data a nezobrazí žádný výsledek. Když si data stáhneme, můžeme si je průběžně počítat mimo nástroj a blíže pochopit proč je jich málo.

Výstup AB testů

Výsledkem jsou obvykle absolutní čísla (návštěvnost, konverzní poměr apod). Tato čísla lze vizualizovat. Nejčastěji však přidáváme segment do Google Analytics, kde si je můžete porovnávat mezi sebou.

Pustíme se společně do AB testování? Spojte se s námi, probereme vše důležité a jdeme na to!