Skriv en hypotes som går att pröva
Börja med en iakttagelse i det befintliga mailet. Om knappen bara säger Läs mer kan hypotesen vara att en tydligare handling gör nästa steg begripligt. Testa då exempelvis Läs mer mot Se tider för workshopen, med samma destination.
Håll övriga delar lika om det är knapptexten ni vill undersöka. Om ni byter bild, erbjudande och ämnesrad samtidigt testar ni ett helt paket. Det kan vara ett medvetet val, men resultatet säger då inte vilken enskild ändring som gjorde skillnad.
Använd en testbrief
- Fråga
- Gör en tydligare knapptext att fler mottagare går till bokningssidan?
- Versioner
- A: Läs mer. B: Se tider för workshopen. Samma länk och övriga mail.
- Mottagare
- Samma behöriga målgrupp, slumpmässigt delad. Varje person får en version.
- Huvudmått
- Andel mottagare i respektive tilldelad grupp med ett registrerat unikt klick på huvudlänken. Notera även studsar och eventuella skillnader i leverans.
- Kompletterande kontroll
- Genomförda bokningar och avregistreringar, med samma definition och uppföljningstid i båda grupperna.
- Beslut
- Bestäm mätperiod, minsta intressanta skillnad och hur osäkerhet ska bedömas före start.
Briefen är ett eget illustrativt testupplägg. Gruppstorleken behöver bedömas utifrån nuvarande nivå, möjlig effekt och antal händelser. Ett universellt minimiantal mottagare skulle ge falsk precision.
Kontrollera vad verktyget faktiskt jämför
Utskicksverktyg kan ha automatiska regler för vinnare och utskick till en återstående grupp. Läs vilka mått och tidsgränser som används innan ni väljer funktionen. Mailchimps dokumentation om A/B-test beskriver exempelvis både automatisk och manuell bedömning.
Om ni vill jämföra två sändningstider kan grupperna inte samtidigt skickas vid samma tidpunkt. Dokumentera därför vad som hålls lika och vad som ändras. Vår guide om utskickstid visar ett sådant upplägg. Kontrollera också öppningsmätning och botklick innan ni väljer vinnarmått. Spåra versionerna konsekvent med kampanjparametrar där det behövs, utan att lägga personuppgifter i länken.
Läs antalen före procenttalen
Anta i ett räkneexempel att två grupper om 1 000 tilldelade mottagare ger 40 respektive 50 registrerade unika klick. Det är 4 respektive 5 procent: en skillnad på 1 procentenhet eller 25 procent relativt den lägre andelen. Det är två sätt att beskriva samma observerade skillnad.
Siffrorna bevisar inte ensamma att version B är bättre. Bedöm osäkerheten med en metod som passar testet, kontrollera datakvalitet och skilj registrerade klick från faktiska bokningar. Undvik att avbryta direkt när ett tidigt procenttal ser lockande ut. Små antal kan svänga mycket.
Spara ett beslut som går att återanvända
Anteckna vad ni ändrade, när testet gjordes, vilka som ingick och vad ni drar för slutsats. Ett möjligt beslut är att underlaget är för osäkert och att nästa test behöver större grupper eller en tydligare skillnad. Ett annat är att använda den tydligare texten av redaktionella skäl utan att påstå en bevisad resultatökning.
Följ upp kommande utskick så att ett testresultat inte blir en regel som lever kvar trots ändrad målgrupp eller annat innehåll. För måttens definitioner, se guiden om att mäta e-postmarknadsföring.
TA HJÄLP AV POSTY
Vi tar testet från fråga till uppföljning.
Posty hjälper er välja en relevant förändring, producera versionerna och sätta upp testet i ert verktyg. Ni får en sammanställning av utfall, osäkerhet och ett konkret förslag på nästa steg.
Vi bestämmer omfattning och fast pris före start.
Ord i den här guiden
- A/B-test
- Ett A/B-test jämför två varianter under så lika förhållanden som möjligt för att undersöka hur en bestämd förändring påverkar ett valt resultat.
- Klickfrekvens (CTR)
- Klickfrekvens i e-post, ofta kallad CTR, beskriver andelen levererade mail där mottagaren har registrerats som klickande på en länk.
- Konverteringsgrad
- Konverteringsgrad är andelen av en definierad grupp som genomför den handling ni har valt som mål, till exempel en bokning, en förfrågan eller ett köp.
- UTM-parametrar
- UTM-parametrar är uppgifter som läggs till i en webbadress för att märka vilken källa, kanal, kampanj eller innehållsvariant ett besök kommer från.