ACE Eksperymenty Google w praktyce

Jakiś czas temu Google udostępnił nowe narzędzie, które pozwala na przeprowadzanie eksperymentów w obrębie kampanii Google AdWords. Eksperyment ten pozwala na posiadanie kopii kampanii, która będzie wyświetlana z zmienionymi ustawieniami (np. innymi stawkami za słowa kluczowe). W ten sposób możemy testować efektywność tej samej kampanii dla różnych jej ustawień.

Ten post to dokładny opis zastosowania, wdrożenia i interpretacji rezultatów takiego eksperymentu.

Co ACE eksperymenty Google zmieniają w testowaniu?

Wcześniej jedynym sposobem na sprawdzenie efektywności nowych ustawień w kampanii AdWords było wprowadzenie tych ustawień i oczekiwanie na to, jak zmienią się jej parametry.

Przykład dawnego testowania AdWords

Mamy kampanię, która w lipcu była kierowana z Max CPC = 0,30 zł. W lipcu uzyskała ona razem 1000 klików przy średniej pozycji Śr. Poz. = 4. Twórca kampanii zastanawiał się, jaką efektywność uzyska kampania przy Max CPC = 0,40 zł. W sierpniu więc kampania kierowana była z Max CPC = 0,40 zł. Uzyskała wówczas 1200 klików przy średniej pozycji Śr. Poz. = 2,5.

Ze względu na to, że kampanie kierowane były w różnych okresach i w różnych uwarunkowaniach otoczenia (np. inny poziom konkurencji, inna pogoda, inna sezonowość produktu i itp) nie można powiedzieć jednoznacznie, że zmiana w poziomie ilości uzyskanego ruchu i średniej pozycji wynikała ze zmiany Max CPC. Wpływ na to mogły mieć inne czynniki opisane wcześniej.

Jakie możliwości oferują ACE eksperymenty Google?

Poprzez ACE eksperymenty Google możemy w tym samym czasie śledzić efektywność kampanii, w której część eksperymentalna ma inne parametry niż część kontrolna (np. inne stawki za słowa kluczowe). W ten sposób testujemy działanie różnych ustawień parametrów w tych samych warunkach otoczenia.

Przykład obecnego testowania AdWords z wykorzystaniem ACE eksperymentów Google

Mamy kampanię, która w lipcu była kierowana z Max CPC = 0,30 zł. W lipcu uzyskała ona razem 1000 klików przy średniej pozycji Śr. Poz. = 4. Twórca kampanii zastanawiał się, jaką efektywność uzyska kampania przy Max CPC = 0,40 zł. W sierpniu więc włączył w kampanii ACE eksperyment.

W sierpniu więc kampania kierowana była zarówna z pierwotnymi ustawieniami Max CPC = 0,30 zł (część kontrolna) jak również z nowymi ustawieniami Max CPC =0,40 zł. Ostatecznie uzyskaliśmy dokładne dane na temat wpływu zmiany stawki za kliknięcie.

Ze względu na to, że obie wersje kampanii kierowane były w tym samym czasie poddane były tym samym warunkom otoczenia. Z tego względu wzrost klików o 100 to wyizolowany wpływ zwiększenia stawki z 0,30 zł do 0,40 zł.

Co możemy testować poprzez eksperyment Google?

Eksperyment w kampanii kierowanej na wyszukiwarkę i Sieć wyszukiwania może obejmować testowanie:

• nowych słów do części eksperymentalnej kampanii
• nowych stawek dla słów kluczowych
• zmian w tekście reklamowym.
• nowych grup reklamowych
• nowych stawek całych grup reklamowych

Eksperyment w kampanii kierowanej na Sieć reklamową Google może obejmować testowanie:

• nowych miejsc docelowych do części eksperymentalnej kampanii
• nowych stawek dla miejsc docelowych
• dodatkowych słów kluczowych w grupach reklamowych, które są kierowane kontekstowo na słowa kluczowe
• nowych reklam tekstowych i graficznych.
• nowych grup reklamowych
• nowych stawek całych grup reklamowych
• remarketingu

Pośrednie testowanie elementów

Wiele z wspomnianych wcześniej elementów, takich jak teksty reklamowe, remarketing, reklamy graficzne możemy testować jedynie w pośredni sposób.
Tworzenie eksperymentu, w którym testujemy te elementy polega na testowaniu dwóch takich samych grup reklamowych, które różnią się jedynie testowanymi elementami (np. różnią się teksty reklamowe lub też grupami odbiorców z remarketingu).
W tym układzie jedna grupa reklamowa staje się grupą kontrolną, druga częścią eksperymentalną.

Aby daną grupę reklamową oznaczyć jako tylko jako grupę eksperymentalną lub kontrolną należy ustawić to z poziomu interfejsu Google AdWords.

Jak włączyć eksperyment Google na koncie

Funkcjonalność ta powinna być już w Twoim koncie AdWords. Jeżeli jej jeszcze nie ma, pojawi się niedługo.

• Aby sprawdzić czy ją posiadasz przejdź do zakładki Ustawienia w widoku kampanii

• Na samym dole ustawień kampanii można znaleźć sekcję Eksperyment.

• Aby uruchomić eksperyment wystarczy kliknąć przycisk Określ ustawienia eksperymentu.

W ustawieniach eksperymentu określamy, jaką część kampanii będzie obsługiwana przez pierwotne ustawienia, a jaka przez nowe, testowane ustawienia (A), datę rozpoczęcia eksperymentu (B) i datę zakończenia (C).

Jak określić ustawienia eksperymentu Google?

Po ustawieniu eksperymentu możemy przystąpić do tworzenia testowanych ustawień kampanii (np. nowych słów kluczowych, stawek za kliknięcie).

• W tym celu należy przejść do odpowiedniej zakładki w obrębie kampanii AdWords (np. zakładki Słowa kluczowe w sytuacji, kiedy chcemy testować stawki przy słowa kluczowych).

• Następnie należy przesegmentować dane kampanii przyciskiem Podziel i wybrać opcję Eksperyment.

W widoku danych można zobaczyć wówczas podział na pierwotną część danych kampanii i testowaną część. Testowane zmiany możemy wprowadzać do części oznaczonej jako Eksperyment.

• W przypadku, kiedy tę samą zmianę chcemy zastosować do dużej ilości danych najlepiej jest skorzystać z opcji edycji danych w postaci tabeli (przycisk Edycja -> Edytuj w postaci tabeli)

• Wówczas po najechaniu kursorem miejsce, gdzie wprowadzamy zmianę, pojawia się opcja zastosowania tej zmiany do wszystkich lub wybranych elementów (w tym wypadku zmiany stawek dla słów kluczowych).

• W przypadku, kiedy testem staje się dodanie nowego elementu (np. słów kluczowych), należy dodając ten element zaznaczyć opcję Jako eksperyment dodaj tylko …..

Szczegółowy opis wprowadzania tworzenia poszczególnych eksperymentów można znaleźć w Centrum Pomocy Google.
Po wprowadzeniu testowaniu zmian należy uruchomić eksperyment. Po uruchomieniu eksperymentu nie jest możliwe dodawanie nowych zmian do eksperymentu.

Ocena rezultatów eksperymentu w kampanii Google AdWords

Po wprowadzeniu rezultatów w raportach widać efektywność części kontrolnej kampanii AdWords (tej pierwotnej) i części testowanej (Eksperymentu).
Istotność statystyczna danych uzyskiwanych dla Eksperymentów pokazywana jest w formie strzałek. W ten sposób uzyskujemy informację na temat tego, czy też niższa lub wyższa efektywność Eksperymentu nie jest dziełem przypadku.

• Trzy niebieskie strzałki w górę – istnieje wówczas 99,9% prawdopodobieństwa, że wartość parametru zwiększyła w wyniku Eksperymentu, a nie przypadku.
• Dwie niebieskie strzałki w górę – istnieje wówczas 99,0% prawdopodobieństwa, że wartość parametru zwiększyła w wyniku Eksperymentu, a nie przypadku.
• Jedna niebieska strzałka w górę – istnieje wówczas 95,0% prawdopodobieństwa, że wartość parametru zwiększyła w wyniku Eksperymentu, a nie przypadku.
  Przykład eksperymentu AdWords
  Jak widać na poniższym zrzucie istnieje 95% prawdopodobieństwa, że wzrost ilości odsłon wynika z wprowadzenia Eksperymentu, a nie z przypadku.
  
• Trzy niebieskie strzałki w dół – istnieje wówczas 99,9% prawdopodobieństwa, że wartość parametru zmniejszyła się w wyniku Eksperymentu, a nie przypadku.
  Przykład eksperymentu AdWords
  Jak widać na poniższym zrzucie istnieje 99,9% prawdopodobieństwo, że niższa wartość parametru średniej pozycji wynika z wprowadzenia eksperymentu, a nie z przypadku.
  

• Dwie niebieskie strzałki w dół – istnieje wówczas 99,0% prawdopodobieństwa, że wartość parametru zmniejszyła się w wyniku Eksperymentu, a nie przypadku.
• Jedna niebieska strzałka w dół – istnieje wówczas 95,0% prawdopodobieństwa, że wartość parametru zmniejszyła się w wyniku Eksperymentu, a nie przypadku.

Szczegółowe informacje o kwestiach związanych z istotnością statystyczną rezultatów w eksperymencie ACE Google można znaleźć w Pomocy Google.

Zakończenie eksperymentu i dodanie zmian do konta

Aby zakończyć eksperyment wystarczy wykorzystać przycisk Przerwij prowadzenie eksperymentu.

Jeżeli eksperyment się powiódł możemy wprowadzić zmiany z Eksperymentu do całej kampanii poprzez przycisk Zastosuj:zastosuj wszystkie zmiany.
Jeżeli część eksperymentalna przyniosła pogorszenie efektywności, można usunąć testowane zmiany przyciskiem Usuń:usuń zmiany.

Czy po zakończeniu eksperymentu mogę dodać tylko część testowanych zmian z eksperymentu do konta?

Z poziomu eksperymentu możesz albo dodać wszystkie zmiany z eksperymentu do konta, albo wszystkie odrzucić. Oczywiście możesz sobie zapisać te zmiany w Edytorze AdWords i jej dodać w ten sposób do konta.
Nie jest to jednak polecane ze względu na to, że dane w eksperymencie masz przy założeniu, że działają wszystkie elementy eksperymentu. Jeżeli część z tych elementów eksperymentu dodasz do kampanii, a część odrzucisz efektywność kampanii może ulec znacznej zmianie.

Ograniczenia eksperymentów Google AdWords

• Można prowadzić tylko jeden eksperyment w ramach jednej kampanii
• Nie można testować ustawień kampanii Google AdWords (np. kierowania czy budżetu)
• Brak wsparcie testowania ze strony Edytora AdWords i API AdWords
• Brak możliwości eksportu danych z eksperymentu
• Brak alertów automatycznych związanych z eksperymentami.

Wsparcie dla eksperymentów ze strony Edytora AdWords

• Kampania wykorzystująca eksperyment może być pobierana do Edytora.
• Obecność kampanii wykorzystującej eksperyment nie przeszkadza w pełnej edycji innych kampanii, które nie wykorzystują eksperymentu
• W grupach reklamowych, które są zarówno grupą kontrolną jak i grupą eksperymentalną (domyślny układ przy eksperymencie) można w Edytorze AdWords: zmieniać stawki za słowa kluczowe i ich adresy docelowe.
  

• W grupach reklamowych, które zostały oznaczone jako jedynie grupa kontrolna lub grupa eksperymentalna możliwe są w Edytorze AdWords: zmiany stawek, zmiany słów kluczowych i ich typu dopasowania, zmiany adresów docelowych, dodawanie nowych słów kluczowych.
  Grupa reklamowa oznaczona jako jedynie grupa eksperymentalna to sytuacja, kiedy grupa reklamowa ma jedynie działać w eksperymentalnej części kampanii. Grupa kontrolna oznaczona jako jedynie grupa kontrolna to sytuacja, kiedy grupa reklamowa ma jedynie działać w kontrolnej części kampanii.
  Aby grupę reklamową oznaczyć jako tylko jako grupę eksperymentalną lub kontrolną należy ustawić to z poziomu interfejsu Google AdWords.
  

Informacje o eksperymentach Google w Centrum Pomocy Google

Szczegółowe informacje o zastosowaniu, wdrażaniu eksperymentów Google mozna znaleźć w Centrum Pomocy Google.