در آزمون A/B دو نسخه از یک پیام را به دو گروه مشابه می‌فرستید و نتیجه را مقایسه می‌کنید. مثلاً فقط عنوان پیام عوض می‌شود. اگر هم‌زمان عنوان، مخاطب و زمان را تغییر دهید، نمی‌دانید کدام تغییر اثر داشته است.
آزمون باید از پیش یک هدف داشته باشد: کلیک، انجام یک کار یا خرید. عددی که بعداً جذاب‌تر به نظر می‌رسد را جای هدف اصلی نگذارید.
پیش از ارسال، قواعد را ثابت کنید
گروه‌های A و B را به شکل منصفانه تقسیم کنید. شرایط دریافت پیام، زمان ارسال و کانال را یکسان نگه دارید. سپس فقط یک بخش از متن یا طراحی را تغییر دهید.
مخاطبان باید رضایت دریافت پیام داشته باشند. اگر بخشی از گروه به علت شرط‌های متفاوت حذف شود، مقایسه سخت می‌شود.
به هدف اصلی نگاه کنید
باز شدن پیام ممکن است نشانهٔ توجه باشد، اما اگر هدف خرید بوده، باید نرخ تبدیل خرید را هم ببینید. بازهٔ سنجش را پیش از شروع انتخاب کنید تا نتیجهٔ دیرهنگام از قلم نیفتد.
با چند پاسخ اول تصمیم نگیرید. اگر داده کم است یا تفاوت کوچک است، نتیجه را قطعی اعلام نکنید. آزمون کوچک بیشتر برای یادگیری اولیه خوب است.
بعد از آزمون چه کنیم؟
یافته را با زمینه‌اش ثبت کنید: چه چیزی تغییر کرد، برای چه گروهی، در چه دوره‌ای و با چه نتیجه‌ای. این یادداشت مانع می‌شود نتیجهٔ یک گروه را بی‌دلیل به همه تعمیم دهید.
اگر نسخهٔ بهتر پیدا شد، همان را در یک کمپین هدفمند بعدی آزمایش کنید. هر بار یک فرض تازه بسازید.
آزمون A/B خوب فقط یک تفاوت روشن دارد و با هدفی که از قبل تعیین شده سنجیده می‌شود.
