A/B Testing הוא אחד הכלים השימושיים ביותר בבדיקת האפקטיביות של קמפיינים. במקום לשלוח קמפיין אחד, לחכות לסטטיסטיקות ולגלות עד כמה הוא היה אפקטיבי, A/B Testing מאפשרת לך לשלוח שני קמפיינים שונים לקבוצות נמענים שונות, ובכך לבחון את האפקטיביות של משתנה אחד או יותר. כיום, רוב הפלטפורמות מאפשרות A/B Testing, במידה כזו או אחרת של אוטומטיזציה. אולם אנשים רבים עדיין לא יודעים כיצד להשתמש כראוי באופציה הזו. אז כיצד עושים זאת כראוי?
חפשו מטרה
ראשית, חשבו מה אתם מעונינים לבחון. האם אתם רוצים לבחון שתי שורות נושא שונות? ואולי אתם בוחנים איזה מבצע מושך יותר? כדאי לבחור משתנה אחד בלבד, כך שכאשר יגיעו התוצאות לא תאבדו זמן בניסיון להבין מה אחראי להן.
מה כדאי לבדוק
אתם יכולים להשתמש ב- A/B Testingכדי ליצור פרופילים לחלקים שונים של רשימות התפוצה שלכם או כדי לבחון עד כמה אפקטיבי התוכן של המייל ששלחתם. ניתן, למשל, לבחון שורות נושא שונות, תוכן שונה או מבצעים שונים. אבל אתם יכולים גם לבדוק באיזה יום עדיף לכם לשלוח את הקמפיין. ככל שתבינו טוב יותר את המטרה שלכם, כך תוכלו להפיק מהתוצאות את המירב.
פצלו את המידע
במרבית המקרים, לא תצטרכו להשקיע מאמצים בפיצול רשימת התפוצה. אם אינכם יודעים איזו שורת נושא, לדוגמא, טובה יותר, פשוט פצלו את הרשימה לשניים. אולם אם אתם מאמינים שגישה אחת תביא תוצאות טובות יותר מהגישה השניה, שלחו לרוב הנמענים אימייל שמבוססים על גישה זו, ורק למדגם קטן ומייצג אימייל שמבוסס על הגישה השניה.
איך בוחרים מדגם מייצג
בניגוד למקובל לחשוב, מדגם מייצג לא צריך להיות גדול במיוחד. אמנם ככל שהמדגם שלכם יהיה גדול יותר, כך התוצאות יהיו מדויקות יותר, אך במרבית המקרים אין צורך במדגם גדול במיוחד. הרייטינג של הטלוויזיה בישראל, למשל, נקבע על פי הרגלי הצפייה של 578 משפחות, אחוז זעום מסך בעלי הטלוויזיה בארץ.
גודל המדגם המייצג תלוי במטרות שבחרתם, מספר המשתנים שאתם בוחנים ואיכות התוצאות שבה אתם מעוניינים. אפשר לחשב בקלות את גודל המדגם שלכם באמצעות אחד מהמחשבונים שקיימים ברשת, זה לדוגמא.
נניח, למשל, שרשימת התפוצה שלכם מונה 50,000 אימיילים. אתם מעוניינים שטווח הטעות לא יעלה על 5 אחוזים לכאן או לכאן. עליכם להזין במחשבון את טווח הטעות שאתם מוכנים לאפשר (בדוגמא זו, 5 אחוזים), את גודל רשימת התפוצה (50,000, בדוגמא זו) וללחוץ על Calculate.
ניתוח התוצאות
אל תצפו לקבל תוצאות בתוך שעה. חלק מהנמענים שלכם בודקים אימייל רק פעם ביום, ואחרים רק פעם ביומיים. ככלל אצבע, תוצאות שנאספו בתוך פחות מיומיים אינן מדויקות. תנו לקמפיין זמן, שבוע לפחות, ולאחר מכן אספו את כל המידע האפשרי מהקמפיין. בדקו את שיעור הפתיחות, הקליקים והבקשות להסרת ההרשמה, ונסו להבין אלו מהנתונים קשורים לבדיקה שעשיתם. אם בדקתם שני מבצעים שונים, למשל, כנראה ששיעור הקליקים הוא הרלוונטי ביותר לענייניכם. עם זאת, אל תתעלמו גם מהנתונים האחרים. יתכן מאוד שתגלו כמה תוצאות שיפתיעו אתכם, אם רק תקדישו את המאמץ כדי להבין אותן.
תגים: A/B testing, Activetrail, דיוור אלקטרוני, סטטיסטיקות
