- Klaviyo kampanijos testą laiko reikšmingu, kai kiekvieną variantą gavo bent 50 žmonių ir laimėjimo tikimybė siekia 90 %.
- Srautų žinutėms riba gerokai aukštesnė — bent 500 gavėjų kiekvienam variantui.
- Testuoti verta po vieną dalyką; kelios keistos vietos vienu metu paverčia rezultatą nepaaiškinamu.
- Laimėtoją rinktis pagal paspaudimus ar užsakymus, ne pagal atidarymus.
Kodėl dauguma A/B testų nieko neįrodo
A/B testavimas skamba kaip savaime suprantamas dalykas: paruošiate du variantus, pažiūrite, kuris laimėjo, ir naudojate laimėtoją toliau. Praktikoje daugumoje e-parduotuvių šis ciklas nutrūksta ties pirmu žingsniu — imtis būna per maža, kad skirtumas ką nors reikštų.
Pavyzdys iš audito. Parduotuvė testuoja dvi temos eilutes 400 gavėjų sąraše, po 200 kiekvienam variantui. Variantas A gauna 22 % atidarymų, variantas B — 26 %. Atrodo, kad B laimėjo aiškiai. Realiai skirtumas yra aštuoni žmonės, ir jį lygiai taip pat galėjo lemti atsitiktinumas. Kitą savaitę tas pats testas gali duoti priešingą rezultatą.
Platformos šią problemą sprendžia skaičiuodamos laimėjimo tikimybę. Klaviyo dokumentacijoje nurodyta, kad kampanijos testas laikomas statistiškai reikšmingu tik tada, kai kiekvieną variantą gavo bent 50 žmonių ir laimėjimo tikimybė siekia bent 90 %. Abi sąlygos turi būti įvykdytos vienu metu.
Srautams riba dar aukštesnė. Ten kiekvienam variantui reikia bent 500 gavėjų — nes srautų žinutės siunčiamos po vieną, ne visam sąrašui iš karto, ir duomenys kaupiasi lėčiau. Mažesnėje parduotuvėje toks testas gali užtrukti kelis mėnesius, ir tai normalu.
Ką testuoti, kai testų skaičius ribotas
Jei per metus galite atlikti keliolika patikimų testų, o ne šimtą, svarbu pradėti nuo dalykų, kurie keičia rezultatą labiausiai. Eiliškumas pagal poveikį, o ne pagal tai, ką lengviausia pakeisti:
Mygtuko spalva, šrifto dydis ar smulkūs teksto pakeitimai į šį sąrašą nepatenka ne todėl, kad neturi reikšmės, o todėl, kad jų poveikis per mažas, jog būtų patikimai išmatuojamas įprasto dydžio sąraše. Tokius sprendimus geriau priimti pagal gerą praktiką — kaip aprašėme naujienlaiškio šablono straipsnyje — ir testų laiką skirti svarbesniems dalykams.
Pagal kurį rodiklį rinkti laimėtoją
Klaviyo kampanijų testuose leidžia pasirinkti vieną iš trijų laimėjimo rodiklių: atidarymo rodiklį, paspaudimų rodiklį arba užsakymų rodiklį. Pasirinkimas čia svarbesnis nei pats testas.
Atidarymo rodiklis nuo 2021 m. nebėra patikimas matas — Apple Mail Privacy Protection atsisiunčia laiškų turinį fone, todėl dalis „atidarymų“ įvyksta be jokio žmogaus dalyvavimo. Apie tai plačiau rašėme straipsnyje apie el. pašto rinkodaros rodiklius. Praktinė pasekmė testams: jei laimėtoją renkate pagal atidarymus, dalis rezultato yra triukšmas.
Todėl saugiausia rinktis užsakymų rodiklį, kai testuojate pasiūlymą, ir paspaudimų rodiklį, kai testuojate laiško turinį ar struktūrą. Atidarymus galima palikti tik tada, kai testuojate būtent temos eilutę ir suprantate, kad rezultatas bus apytikslis — iškraipymas veikia abu variantus panašiai, tad santykinis palyginimas dar turi ribotą prasmę.
Kaip vykdyti testą, kad rezultatas būtų naudingas
- Vienas kintamasis vienu metu. Jei kartu keičiate temos eilutę ir pasiūlymą, laimėtojas nieko nepasakys apie priežastį.
- Hipotezė prieš testą. Užsirašykite, ko tikitės ir kodėl. Testas be hipotezės virsta atsitiktiniu bandymu, kurio rezultato nebus kaip pritaikyti kitur.
- Vienodos sąlygos. Abu variantai siunčiami tuo pačiu metu tam pačiam segmentui. Skirtingos dienos ar skirtingi segmentai testą sugadina.
- Rezultatas užrašomas. Be paprasto sąrašo, kas buvo testuota ir kas laimėjo, po pusmečio tie patys testai kartojami iš naujo.
- Laimėtojas pritaikomas toliau. Testas turi prasmę tik tada, kai jo išvada perkeliama į srautus ir kitas kampanijas.
Ką daryti, kai sąrašas per mažas testams
Daugumai Lietuvos e-parduotuvių sąrašo dydis yra tikroji riba — ne noras testuoti. Jei kiekviena kampanija pasiekia porą tūkstančių žmonių, patikimų testų per metus išeis vienetai. Tai nereiškia, kad tobulinti neįmanoma; tai reiškia, kad reikia kitų būdų.
Sukaupti testą per kelis siuntimus
Vietoje vieno testo vienoje kampanijoje tą patį klausimą galima kartoti kelis kartus iš eilės ir žiūrėti į bendrą kryptį. Jei per keturias kampanijas rytinis siuntimas tris kartus buvo geresnis, tai stipresnis signalas nei vienas testas su 200 gavėjų. Formaliai tai nėra statistiškai griežta, bet praktiškai patikimiau nei sprendimas pagal vieną atsitiktinį rezultatą.
Testuoti srautuose, ne kampanijose
Srautų laiškai siunčiami nuolat, todėl gavėjai kaupiasi savaime. Testas welcome serijos pirmame laiške per kelis mėnesius surinks daugiau duomenų nei bet kuri vienkartinė kampanija — tereikia kantrybės jo neišjungti per anksti.
Rinktis didesnius pokyčius
Kuo didesnis skirtumas tarp variantų, tuo mažesnės imties užtenka jam pastebėti. Testuojant 10 % nuolaidą prieš nemokamą pristatymą rezultatas pasimatys greičiau nei testuojant dvi panašias temos eilutes. Mažame sąraše smulkūs testai yra beveik garantuotai laiko švaistymas.
Kada A/B testas apskritai neturi prasmės
Yra situacijų, kai testavimas yra tiesiog blogas laiko panaudojimas. Pirmoji — kai sąrašas per mažas: prie kelių šimtų gavėjų net didelis skirtumas nebus patikimas, o sprendimai, priimti pagal tokį testą, gali būti žalingi.
Antroji — kai paskyroje dar nėra pagrindinių srautų. Testuoti naujienlaiškio temos eilutę, kai neveikia welcome serija ar apleistas krepšelis, reiškia optimizuoti mažesnę pajamų dalį, paliekant didesnę nepaliestą. Tvarka svarbi: pirma sukuriama, tik paskui optimizuojama.
Trečioji — kai pristatomumas nesutvarkytas. Jei dalis laiškų apskritai nepasiekia gautųjų, testo rezultatai atspindės pristatomumo skirtumus, o ne turinio kokybę. Apie tai — pristatomumo straipsnyje.
Kiek laukti, kol testas baigsis
Antra pagal dažnumą klaida po per mažos imties — testo nutraukimas per anksti. Pirmą valandą po išsiuntimo vienas variantas beveik visada atrodo geresnis, nes duomenų mažai ir kiekvienas naujas paspaudimas smarkiai pakeičia procentą. Sprendimas, priimtas tuo momentu, dažnai būna klaidingas.
Praktinė taisyklė — kampanijos testo rezultatą vertinti ne anksčiau nei po 24 valandų, o geriau po 48. Dalis žmonių laiškus atsidaro tik kitą dieną, ypač jei siųsta vakare arba prieš savaitgalį. Užsakymų rodikliui laiko reikia dar daugiau, nes tarp paspaudimo ir pirkimo dažnai praeina para ar dvi.
Srautų testai veikia kitaip: jie neturi pabaigos datos ir kaupia duomenis tol, kol juos sustabdote. Čia pagunda priešinga — pamiršti testą įjungtą metams. Verta pasižymėti kalendoriuje patikrinimo datą, pavyzdžiui po dviejų mėnesių, ir tada arba paskelbti laimėtoją, arba pripažinti, kad skirtumo nėra, ir testą baigti.
Orientyrai vienoje vietoje
Nuo ko pradėti
Jei testų dar nedarėte, pradėkite nuo vieno per mėnesį — ne nuo penkių per savaitę. Pirmam testui rinkitės siuntimo laiką arba pasiūlymą, laimėtoją nustatykite pagal užsakymus ir rezultatą užsirašykite. Po kelių mėnesių turėsite ne atsitiktinių bandymų rinkinį, o kelias išvadas, kurias galima taikyti visai paskyrai.
Kaip testavimą įtraukiame į nuolatinį darbą su klientų paskyromis, aprašėme naujienlaiškių paslaugos puslapyje. O jei norite žinoti, ar jūsų sąrašas apskritai pakankamai didelis patikimiems testams — auditas atsako į tai per porą dienų.