Testy A/B czy testy wielowymiarowe – które stosować?

W testowaniu stron docelowych wyróżniamy 2 główne typy testów stron docelowych:

• testy A/B
• testy wielowymiarowe

Oba testy mają nieco różne zastosowanie i sprawdzają się w innych sytuacjach.

Testy A/B

Badanie A/B jest najprostszym i najszybszym do przeprowadzanie rodzajem testu strony docelowej. Badanie A/B pomimo łatwości przeprowadzenia jest niedoceniane wśród marketerów i właścicieli stron.

Co to jest eksperyment A/B ?

Testy A/B pozwalają zbadać całkowicie różne wersje strony docelowej reklamy. W przypadku testu A/B testujemy dwie lub więcej zupełnie różnych podstron na serwisie.

Przykład 1
W reklamie AdWords można zbadać ilość konwersji w przypadku, kiedy na słowo kluczowe „notebook dell latitude” skierujemy:

• część użytkowników na podstronę prezentującą model laptopa, którego sprzedajemy w bardzo korzystnej promocji
• drugą część użytkowników odeślemy do podstrony kategorii, prezentującej różne modele Della Latitiude.

Konwersją jest oczywiście w tym przypadku sprzedaż produktu. Stroną konwersji będzie podstrona podziękowania za kupno produktu.

Przykład 2
Kierujemy użytkowników na stronę noclegów. Konwersją jest wysłanie zapytania poprzez formularz kontaktowy. Podstroną konwersji jest podstrona podziękowania, która pokazuje się po wysłaniu emaila z formularza.

Popzez test A/B możemy zbadać, czy bardziej efektywnie pod względem ilości takich konwersji jest kierowanie użytkowników na stronę główną witryny czy też kierowanie użytkowników na podstronę Oferta.

Ten rodzaj eksperymentu należy wybrać szczególnie w przypadku, kiedy

• poziom ruchu internetowego na badanych stronach docelowych jest stosunkowo niski
• chcemy sprawdzić skuteczność całkowicie wielu różnych od siebie podstron docelowych.
• rozpoczynamy naszą przygodę z testowaniem stron docelowych
• posiadamy skromne zasoby do przeprowadzenia testów. Testy A/B są tańszą formą testowania stron.

Oryginalnie test A/B służył do testowania skuteczności dwóch stron docelowych (jednej strony docelowej badanej względem wersji oryginalnej). Obecnie w testach A/B można testować skuteczność wielu stron docelowych, których efektywność jest porównywana z skutecznością podstrony oryginalnej.

Testy wielowymiarowe zwany eksperymentami na wielu odmianach

Eksperyment na wielu odmianach pozwala zbadać różne wersje tej samej strony docelowej reklamy. O ile w teście A/B testujemy zupełnie różne podstrony istniejące pod różnymi adresami URL to w teście na wielu odmianach testujemy różne wersje tej samej strony docelowej w ramach tego samego adresu URL.
Przykład
W reklamie AdWords można zbadać ilość konwersji w przypadku, kiedy na słowo kluczowe „notebook dell latitude XT” skierujemy:

• część użytkowników na podstronę docelową, na której będzie dokładny opis tego laptopa,
• a drugą część użytkowników odeślemy na tę samą stronę docelową reklamy, przy czym na niej zamiast długiego opisu laptopa będzie prezentacja multimedialna o jego funkcjach.

Konwersją jest oczywiście w tym przypadku sprzedaż produktu. Stroną konwersji będzie podstrona podziękowania za kupno produktu.

Przykład 2
Kierujemy użytkowników na stronę noclegów. Konwersją jest wysłanie zapytania poprzez formularz kontaktowy. Podstroną konwersji jest podstrona podziękowania, która pokazuje się po wysłaniu emaila z formularza.
.

W obrębie tej podstrony możemy wyróżnić 3 główne sekcje: nagłówek, główny obrazek na podstronie i sekcja treści. Posiadamy 2 wersje każdej z tych sekcji i chcemy zbadać, która z ich kombinacji (np. 1 kombinacja to: 1 nagłówek, 1 obrazek, 1 treść, 2 kombinacja to 1 nagłówek,1 obrazek i 2 treść, 3 kombinacja to 1 nagłówek, 2 obrazek i 1 treść i itp) będzie najbardziej efektywna pod kątem ilości konwersji.

Eksperyment na wielu odmianach można wybrać szczególnie w przypadku, kiedy

• poziom ruchu internetowego na badanych stronach docelowych jest stosunkowo wysoki.
• chcemy sprawdzić skuteczność modyfikacji tej samej podstrony docelowej reklamy (ogólny wygląd strony oraz rozkład jej elementów ma pozostać bez zmian)

Elementy strony, które są badane najczęściej w tym badaniu przy użyciu Optymalizatora Witryny:

• nagłówki na podstronie;
• czcionka;
• różne wersje zdjęć;
• opisy;
• układ na stronie;
• ceny

Najczęstsze błędy w testowaniu stron docelowych

Testowanie stron docelowych nie jest prostą sprawą. Szczególnie warto zwrócić uwagę na kilka najważniejszych problemów, z którymi można się spotkać przy okazji testów.

Testowanie zbyt małych różnic w stronach docelowych

Poza przypadkami, kiedy nasza witryna nie ma setek konwersji dziennie, eksperymenty wymagają sprawdzania stron docelowych czy też ich wersji, które znacząco się różnią od siebie. Testy powinny być przeprowadzane stopniowo: zaczynamy do badania najbardziej istotnych różnic i dopiero potem przechodzimy do bardziej szczegółowych testów.
Im mniej istotne będę testowane różnice, tym mniejsze będą różnice pomiędzy wskaźnikami konwersji testowanych stron docelowych i tym dłużej będzie trwał test.

Założenie zbyt krótkiego czasu testowania

W praktyce bardzo trudno jest uzyskać zadowalające rezultaty testów w ciągu tygodnia czy dwóch. Częściej jest to bliżej dwóch czy trzech miesięcy.

Nierzadko na początku testu można zauważyć istotne różnice w wskaźniku konwersji. Z biegiem czasu różnice te się zmniejszają, co prowadzi do dużego wydłużenia testu. Szczególnie widoczne jest to w przypadku testów wielowymiarowych. Przykład takiego zachowania testu możemy zobaczyć poniżej.

Założenie, że każdy test będzie miał rozwiązanie

Bardzo duża często testów pozostaje bez rozwiązania, przy czym brak rozwiązania nie musi oznaczać wcale porażki testu. Test bez rozwiązania również powiększa naszą wiedzę na temat tego, co ma wpływ na wskaźnik konwersji na stronie docelowej.

Niestety takie stwierdzenie nie zawsze przekonowuje przełożonego czy też klienta. Warto więc już na wstępie przewidzieć skutki sytuacji, w której nie będzie żadnej zwycięskiej wersji strony docelowej.

Założenie, że każdy test musi prowadzić do podwyższenia wskaźnika konwersji

Testowanie stron docelowych niesie ze sobą ryzyko spadku konwersji. Może się zdarzyć, że przy testowaniu 6 wersji stron docelowych, 4 z nich mają niższy wskaźnik konwersji od wersji kontrolnej.

Koniec końców znajdujemy stronę docelową, która jest bardziej efektywna od wersji kontrolnej, jednak kosztem tego jest niższa liczba konwersji w okresie testu.