Optymalizacja wszystkich elementów kampanii i kreacji internetowej okazuje się być niezwykle żmudnym procesem. Ten banalny zdawałoby się wniosek, czasem przychodzi z zaskoczenia i domaga się poszukiwania nowych rozwiązań. Dość uniwersalnym narzędziem w tym zakresie mogą okazać się testy A/B.
ŁYK HISTORII
Technika ta bywa też z angielska zwana „split-run testing”. Jej początki sięgają nawet lat międzywojennych, a prekursorem (tak jak i kilku innych ważnych marketingowych pomysłów) był Claude C. Hopkins. Współcześnie zostały jego rozważania mocno rozwinięte i przeniesione na grunt elektroniczny.
IDEA TESTÓW A/B
Testy A/B są odwrotnością tak zwanego intuicyjnego marketingu. Bardziej przypominają wykluczanie kolejnych naukowych hipotez metodą eksperymentu. I faktycznie jest to jak najbardziej naukowa metoda, służąca wyizolowaniu czynników decydujących o skuteczności marketingowych działań.
Testy A/B są często stosowane w marketingu bezpośrednim, gdzie służą do testowania wielu elementów – od tekstu na kopertach po kolor czcionki. Metoda ta sprawdza się najlepiej tam, gdzie wersje danego elementu można przygotować tanio i w krótkim czasie. Dobrze sprawdza się przy produkcji pocztówek reklamowych, gorzej przy projektowaniu billboardów.
Wydaje się zatem, że testy A/B idealnie nadają się do optymalizacji kampanii przeprowadzanych w Internecie. Żadne inne medium nie daje przecież tak ogromnych możliwości testowania i optymalizacji w czasie rzeczywistym. Mimo tego wielu marketingowców nadal jest daleko od wizji Hopkinsa i w istocie woli uzależniać skutki swych działań od intuicji i przypadku, ryzykując rocznie setki tysięcy złotych.
Dobra wiadomość jest jednak taka, iż podstawy omawianej techniki można wprowadzić bez szczególnych trudności, a efekty są łatwo mierzalne dzięki narzędziom realizującym idee testów A/B. Metodologia ta doskonale sprawdza się podczas testowania:
- wszelkich form internetowych reklam (banerów, billboardów, brandmarków, itd.),
- emailingów,
- stron internetowych odpowiedzialnych za współczynnik konwersji (takich na których internauta powinien wykonać pożądaną przez nas akcje – np. dodać przedmiot do koszyka, zarejestrować się, podać swój e-mail, itd.).
Przedstawiamy zatem grupom użytkowników biorących udział w teście kolejne wersje internetowej kreacji, zmodyfikowane o wybrany element wobec wersji poprzedniej. Może to być zmiana w tytule reklamowego emaila, w położeniu przycisku call-to-action, w kolorze tła, czy też w sposobie prezentacji produktu w sklepie internetowym. Cały czas staramy się znaleźć tę wersję, która daje największy współczynnik konwersji.
TESTY A/B W PRAKTYCE
Ilu użytkowników wystarczy do zbadania jednego czynnika kreacji wpływającego na konwersję? Eksperci są tu podzieleni co do szczegółów, ale wydają się zgadzać w jednej kwestii – im mniej elementów testujemy, tym mniejsza jest próba badawcza. Odkąd internetowe narzędzia dają możliwość szybkiego zbudowania alternatywnych wersji kreacji i różnych jej części, mamy ten luksus, że wystarczy niewielka grupa użytkowników do przeprowadzenia testu.
Badania dowodzą, że przeprowadzenie testów jednego czynnika na 25 użytkownikach daje współczynnik pewności na poziomie 95%. Znaczy to tyle, że z 95-procentową dokładnością można twierdzić, że wynik testu na próbie badawczej jest taki sam jak na całej potencjalnej grupie odbiorców.
Jednak gwoli ścisłości należy zwrócić uwagę na jeden fakt. Otóż – pewne czynniki są łatwiejsze do zbadania niż inne, co oznacza, że będziemy w pewnych sytuacjach będziemy potrzebowali większą grupę testerów. Na przykład – łatwo przeprowadzić test na temat koloru tła, ponieważ proces postrzegania koloru jest u każdego taki sam co do zasady. Jednak już używanie w danej kreacji zdań wartościujących jest znacznie trudniejsze do testowania, ponieważ wchodzimy na teren psychologicznych subtelności – na przykład idea „adekwatnej ceny” czy „udanych wakacji” może być znacząco różna u różnych grup. Mimo wszystko, przyjmuje się, że próba 25 użytkowników wystarcza do przeprowadzenia znakomitej większości testów A/B.
Rys. 1 – Przykładowe wersje testowanego elementu.
Zatem, dla przeprowadzenia testu kombinacji emaila reklamowego z treścią landing page (strony otwierającej się po kliknięciu na link z emaila) potrzebnych będzie co najmniej 100 osób.
| Tytuł emaila | Treść landing page | |
| Użytkownicy 1-25 | A | X |
| Użytkownicy 26-50 | A | Y |
| Użytkownicy 51-75 | B | X |
| Użytkownicy 76-100 | B | Y |
Dlaczego w jednym teście zestawiamy tytuł emaila i nagłówek landing page? Ponieważ aby uzyskać maksymalna efekty musimy jednocześnie testować i optymalizować działanie obu strony kampanii – czysto reklamowej i odpowiedzialnej za konwersję.
APLIKACJE WSPOMAGAJĄCE TESTOWANIE
Na rynku dostępnych jest sporo narzędzi wspomagających przeprowadzanie testów A/B. Największym uznaniem cieszą się jednak:
- WebTrends
- LiveSTAT.biz
- Optimost
- OfferMatica
Aplikacje te zatroszczą się o równomierny podział wyświetleń kolejnych wersji internautom generujących ruch, kierując automatycznie grupy użytkowników z danego miejsca (np. kliknięcie w baner) do kolejnych testowanych modyfikacji. Im więcej czynników „po drodze” zmieniamy, tym większa liczba osób weźmie udział w teście – nasza aplikacja również ten fakt uwzględni.
Narzędzia tego typu pozwolą nie tylko na obsłużenie całego procesu, ale i na szybkie wyciąganie wniosków. Automatycznie zaraportują poszczególne współczynniki konwersji, opiszą dokładnie wygenerowany ruch, a ponadto dadzą również możliwość ciągłego kontrolowania przebiegu testu, łącznie ze sprawnym decydowaniem o wstrzymaniu bądź kontynuowaniu w przypadku osiągania optymalnych efektów.
Rys. 2 – Aplikacje wspomagająca testowanie dbają o równomierny podział wyświetleń oraz raportują współczynniki konwersji.
Większość z wymienionych aplikacji nie ogranicza się jedynie do testów A/B oferując znacznie większą funkcjonalność. Możemy przy ich pomocy analizować i optymalizować skuteczności działań reklamowych prowadzonych z wykorzystaniem wyszukiwarek (pozycjonowanie, linki sponsorowane), obliczać ROI z kampanii reklamowych oraz testować i optymalizować kreacje korzystając z innych niż testy A/B metodologii.
JAK TESTOWAĆ EFEKTYWNIE
Eksperci twierdzą, że dobrze przeprowadzony test typu A/B pozwala osiągnąć wzrost nawet o 80%. Trzeba oczywiście spełnić kilka podstawowych warunków, już w momencie konstruowania głównych założeń. Należy być nie tylko marketingowym wizjonerem, ale podejść do sprawy z naukowym chłodem i precyzją.
Doskonalenie naszej internetowej kreacji to proces ciągły. Testy A/B stają się bardzo ważnym, choć nie jedynym elementem tego procesu. I również ich przeprowadzanie wymaga… doskonalenia.
1. Identyfikacja problemu i celu testu
Testy A/B mają być często sposobem na znalezienie odpowiedzi, dlaczego na przykład klienci danego serwisu internetowego nie przechodzą do kolejnych podstron lub rezygnują z przycisku call-to-action. Należy już u podstaw przemyśleć, czy jasno określony został cel tegoż serwisu i który element (elementy) jest najbardziej potencjalnie odpowiedzialny za to, że koncepcja zawiodła. Postawienie prawidłowych hipotez pozwoli skrócić cały proces przygotowania, przeprowadzania i zanalizowania testów.
2. Dobór audytorium
Pamiętajmy, że sami odbiorcy i ich typy mogą być elementem testu. Jeżeli mamy możliwość dokonania segmentacji użytkowników, zróbmy to. Dzięki temu zbliżymy się do pewności, iż każdą istotną część kreacji odnieśliśmy do interesujących nas grup docelowych i uniknęliśmy przypadkowości.
3. Rozsądna ilość modyfikacji
Przedstawianie jednej czy dwóch dodatkowych wersji danego elementu to stanowczo za mało. Warto naprawdę popracować kombinacyjnie I stworzyć wiele opcji, by ostatecznie dopracować najwłaściwszą z punktu widzenia wartości konwersji.
4. Jedna zmiana w jednej iteracji
Nie możemy wprowadzać kilku modyfikacji na raz. W danym czasie grupa użytkowników ma zapoznać się z kolejną wersją kolejnego elementu. Wtedy efekty testu będą mierzalne i rzeczywiście pokażą, konkretny kierunek zmian.
Ponadto – dokonywanych zmian nie można analizować osobno. Trzeba ułożyć scenariusz testu tak, by jedne zmiany wynikały sensownie z poprzednich i by móc zanalizować cały kontekst. Co z tego bowiem, że zmienimy część tekstu nad przyciskiem call-to-action, skoro w istocie dla współczynnika konwersji będzie miało znaczenie to, jak ów końcowy element landing page ma się do początkowego tekstu banera czy emaila?
5. Testowanie bardzo odmiennych wersji
Wiele firm testuje w ramach metody A/B zazwyczaj dwie znacząco odmienne oferty lub dwie odmienne wersje kreacji. Jeśli na przykład kreacja A daje konwersję na poziomie 3.0%, a B – 2.5%, wielu odrzuca B jako wydające się być po prostu mniej efektywne.
Jednak może to być duży błąd.Nie jest to bowiem w pełni przeprowadzony test A/B. Nie tylko chodzi o to, czy w danej chwili A zadziałało lepiej niż B. Należy o obu wersjach pomyśleć jak o osobnych testach. Należy krzyżować różne czynniki z A i B i wtedy okaże się, jak w skumulowanym teście obie wersje wykażą swą efektywność.
Arkadiusz Lubaś jest kierownikiem projektów w agencji interaktywnej OPCOM.pl
Opcom jest agencją interaktywną zaliczaną do pionierów w wykorzystaniu technologii video na potrzeby polskiej kreacji internetowej.
Wydawnictwo Media i Marketing Polska uznało ją za trzecią najbardziej kreatywną agencję interaktywną roku 2005. Jest również najczęściej nagradzaną polską agencją w pięcioletniej historii Favourite Website Awards, oraz członkiem IAB Polska.
Firma specjalizuje się w rozwijaniu kompleksowych strategii obecności marki w nowych mediach. Planuje interaktywne kampanie reklamowe. Czuje się równie pewnie w tworzeniu kreatywnych serwisów wizerunkowych oraz prezentacji multimedialnych, jak i w kreacji serwisów korporacyjnych oraz aplikacji biznesowych dla instytucji finansowych.
Dotychczas zrealizowała ponad 300 projektów interaktywnych a do jej kluczowych klientów należą Big Star, BRE Bank, House, Procter & Gamble, Always, Tampax, Unimil, Wydawnictwo Murator, Polisa-Życie.