Představte si, že pět aut projede rozbitou silnicí, a všichni si urvou kolo. Kolik dalších nepojízdných aut potřebujete, než uznáte, že je potřeba tu silnici zalátat?

A přesto se pořád ptáme:

↳ „Ale je to fakt statisticky významné?“

↳ „Můžeme si být jistí, že to reprezentuje všechny uživatele?“

↳ „Chceme dělat rozhodnutí na základě šesti lidí?“

A neptáme se jen my, ptají se hlavně stakeholdeři. Jak jim odpovídat a argumentovat?

Výzkum není o velikosti vzorku, ale o saturaci

Cílem není nafouknout vzorek do astronomických čísel, ale zachytit všechny hlavní patterny.

↳ už 5 uživatelů na cílovku často ukáže zásadní problémy

↳ 10-15 uživatelů na cílovku obvykle stačí k plné saturaci

↳ když máte po 15 lidech pořád nové aha momenty, znamená to nejspíš, že scope výzkumu je příliš široký

Přestaňte lákat na čísla, posviťte si na řešení

Závěr „3 z 5 uživatelů měli problém s X“ vyvolá okamžitě otázky nad statistikou a významností vzorku.

Místo toho použijte radši:

↳ „Uživatelé opakovaně tápali v hledání téhle funkce.“

↳ „Většina čekala X, ale dostala Y.“

↳ „Objevil se jasný vzorec kolem [pain pointu].“

Přehodíte tím pozornost z debat o číslech na řešení problému. A to přece jde, vyřešit problém.

Statistická významnost? Riziko pro byznys.

Když se stakeholder ptá „Je to signifikantní?“, ve skutečnosti chce vědět: „Můžeme se na to spolehnout a řídit se tím?“

Odpovězte:

„Neděláme výzkum pro akademické účely. Hledáme pain pointy, co nám reálně berou uživatele, tržby nebo dobré jméno.“

Nikdo se neptá po statistické významnosti vzorku o jedné hlavě, když CEO bouchne do stolu, že zažil (nebo dostal zpětnou vazbu na) špatnou uživatelskou zkušenost. Tak proč se tváříme, že názor běžného uživatele a CEO má jinou váhu?

Přehoďte otázku zpátky

Až zas někdo zvedne otázku významnosti, odpovězte vlastními otázkami:

↳ Kolik ztracených uživatelů budete brát jako dostatečně významný vzorek?

↳ Kolik peněz musíme přihrát konkurenci, než to opravíme?

↳ Kdybys to zažil ty, chtěl bys, aby to někdo změnil?

Kontext je důležitější než velikost vzorku

Statistická významnost vám řekne, že je něco správně zadefinované a spočítané. Neřekne vám ale, jestli je to důležité pro byznys.

Podstatné je, s kým jste mluvili a jak jasný vzorec jste odhalili.

↳ 3 z 5 enterprise zákazníků bojují s onboardingem? 3x byznysové riziko.

↳ 2 z 6 uživatelů narazí na blok, co je zastaví od konverze? 2x ztracená tržba.

↳ 5 ze 7 uživatelů nevěří vašemu zabezpečení? Obrovské riziko krachu.

Když insight může ovlivnit retenci, adopci nebo tržby, bezpředmětným se stává handrkování o velikost vzorku.

Výzkum totiž není o dokazování pravdy. Je o předcházení drahým chybám dřív, než nastanou. Snaží se předcházet drahým chybám dřív, než nastanou. Tak se přestaňte zasekávat u čísel a zeptejte se, co bude dál – jak to ovlivní byznys, riziko a akci.