گروه کنترل در کمپین چیست و چرا باید بخشی را پیام ندهیم؟

تعریف سادهٔ گروه کنترل کمپین

گروه کنترل بخشی از مخاطبان واجد شرایط است که کمپین را دریافت نمی‌کند. تفاوت نتیجهٔ گروه دریافت‌کننده و کنترل، برآورد بهتری از اثر افزودهٔ کمپین می‌دهد.

گروه کنترل باید تصادفی، به اندازهٔ کافی بزرگ و از نظر شرایط اصلی شبیه گروه آزمایش باشد. برای پیام‌های ضروری خدماتی، نگه‌داشتن پیام اخلاقی و مناسب نیست. هدف از گروه کنترل کمپین ساختن عدد یا برچسب تازه نیست. این کار باید یک تصمیم روزانه را روشن‌تر کند؛ مثلاً چه کسی پیگیری شود، کدام پیام متوقف شود یا کدام بخش تجربه نیاز به اصلاح دارد.

اگر هنوز تعریف‌های پایهٔ گروه کنترل کمپین روشن نیست، ابتدا آزمون A/B پیام چیست و چطور نتیجه‌اش را بخوانیم را بخوانید. تعریف را با تکیه بر «فهرست کامل واجدان شرایط» در چند جمله بنویسید و از یک همکار بخواهید همان برداشت را با مثال خودش توضیح دهد. اگر دو نفر معنی متفاوتی فهمیدند، پیش از اجرا تعریف را ساده‌تر کنید.

این موضوع چه مسئله‌ای را حل می‌کند؟

بعضی مشتریان بدون پیام هم خرید می‌کنند. اگر همه پیام بگیرند، هر خرید بعدی به کمپین نسبت داده می‌شود و اثر واقعی بیش از اندازه دیده می‌شود.

مسئله را با یک نمونهٔ واقعی باز کنید. نام مشتری یا اطلاعات حساس لازم نیست؛ کافی است زمان، رفتار و نتیجه را کنار هم بگذارید. سپس بپرسید اگر گروه کنترل کمپین درست اجرا شود، کدام کار تیم کمتر، سریع‌تر یا دقیق‌تر می‌شود.

نتیجهٔ گروه کنترل کمپین باید به تجربهٔ مشتری هم وصل باشد. ممکن است «نرخ هدف در آزمایش و کنترل» بهتر دیده شود، اما پیام اضافه، انتظار طولانی یا پاسخ نامرتبط ایجاد شود. در این حالت اجرا کامل نیست و باید پیش از گسترش اصلاح شود.

پیش از شروع چه داده‌ای لازم است؟

فهرست کامل واجدان شرایط یکی از ورودی‌های اصلی است. منبع و زمان ثبت آن را مشخص کنید و چند نمونه را با دادهٔ اصلی تطبیق دهید.

تقسیم تصادفی و پایدار یکی از ورودی‌های اصلی است. معنی این داده باید برای بازاریابی، فروش و پشتیبانی یکسان باشد؛ نام مشابه با معنی متفاوت گزارش را خراب می‌کند.

رویداد هدف و بازهٔ سنجش یکسان یکی از ورودی‌های اصلی است. این داده را فقط به اندازهٔ نیاز نگه دارید و دسترسی آن را به همکارانی بدهید که برای انجام کار به آن نیاز دارند.

یک مثال واقعی و قابل لمس

فروشگاه چای از میان مشتریان واجد شرایط بازگشت، ده درصد را تصادفی در کنترل می‌گذارد. هر دو گروه در همان بازه سنجیده می‌شوند و خرید طبیعی کنترل از خرید گروه پیام کم می‌شود.

تیم پیش از اجرای گستردهٔ گروه کنترل کمپین، ده تا بیست نمونه را بررسی می‌کند. یک نمونهٔ عادی، یک نمونهٔ مرزی و نمونه‌ای با خطای «انتخاب دستی افراد کم‌ارزش برای کنترل» انتخاب می‌شود. این کار نشان می‌دهد قانون روی وضعیت‌های متفاوت چگونه رفتار می‌کند و کجا به تصمیم انسانی نیاز دارد.

در کنار مثال، گزارش کمپین را چطور بخوانیم؟ از ارسال تا نتیجه کمک می‌کند ارتباط گروه کنترل کمپین با داده و سفر مشتری روشن بماند. هدف این نیست که همهٔ ابزارها از روز اول وصل شوند؛ هدف این است که «هدف و جمعیت واجد شرایط را تعریف کنید» تا رسیدن به نتیجه بدون ابهام کار کند.

قدم‌های اجرا برای یک تیم کوچک

قدم 1: هدف و جمعیت واجد شرایط را تعریف کنید. مسئول این قدم و زمان انجامش را مشخص کنید. نتیجه را در یک جمله ثبت کنید تا نفر بعدی بداند چه چیزی انجام شده و چرا این تصمیم گرفته شده است.

قدم 2: اندازهٔ کنترل را پیش از ارسال تعیین کنید. مسئول این قدم و زمان انجامش را مشخص کنید. نتیجه را در یک جمله ثبت کنید تا نفر بعدی بداند چه چیزی انجام شده و چرا این تصمیم گرفته شده است.

قدم 3: تقسیم را تصادفی و بدون نشت نگه دارید. مسئول این قدم و زمان انجامش را مشخص کنید. نتیجه را در یک جمله ثبت کنید تا نفر بعدی بداند چه چیزی انجام شده و چرا این تصمیم گرفته شده است.

قدم 4: نتیجه و عدم قطعیت را گزارش کنید. مسئول این قدم و زمان انجامش را مشخص کنید. نتیجه را در یک جمله ثبت کنید تا نفر بعدی بداند چه چیزی انجام شده و چرا این تصمیم گرفته شده است.

• هدف و جمعیت واجد شرایط را تعریف کنید
• اندازهٔ کنترل را پیش از ارسال تعیین کنید
• تقسیم را تصادفی و بدون نشت نگه دارید
• نتیجه و عدم قطعیت را گزارش کنید

خطاهای رایجی که باید از آن‌ها دور بمانیم

انتخاب دستی افراد کم‌ارزش برای کنترل از خطاهای رایج است. معمولاً این خطا از عجله برای اجرای کامل می‌آید. دامنه را کوچک کنید و نخستین نتیجه را با نمونهٔ واقعی بسنجید.

فرستادن کمپین دیگر فقط به یکی از گروه‌ها از خطاهای رایج است. برای جلوگیری از آن، قانون و استثنا را پیش از انتشار بنویسید و پیام خطا یا وضعیت نامشخص را هم آزمایش کنید.

استفاده از کنترل برای پیام ضروری سفارش از خطاهای رایج است. پس از شروع، گزارش کلی کافی نیست. چند مورد موفق و ناموفق را باز کنید تا علت واقعی پشت عدد پنهان نماند.

رضایت، حریم داده و توقف امن

در گروه کنترل کمپین فقط داده‌ای را استفاده کنید که منبع و کاربردش روشن است. داشتن شماره، ایمیل یا شناسه به معنی اجازهٔ هر نوع پیام نیست. نوع رضایت، کانال و زمان آخرین تغییر را کنار پروفایل نگه دارید.

مشتری باید بتواند دریافت پیام یا استفاده از مزیت مربوط به گروه کنترل کمپین را متوقف کند. «رویداد هدف و بازهٔ سنجش یکسان» می‌تواند یکی از شرط‌های توقف یا بازبینی باشد. این رویداد را پیش از انتشار با پروفایل آزمایشی اجرا کنید.

اگر تصمیم خودکار گروه کنترل کمپین روی مشتری اثر مهمی دارد، راه بازبینی انسانی بگذارید. گروه کنترل باید تصادفی، به اندازهٔ کافی بزرگ و از نظر شرایط اصلی شبیه گروه آزمایش باشد. برای پیام‌های ضروری خدماتی، نگه‌داشتن پیام اخلاقی و مناسب نیست. دادهٔ ناقص یا دیررس نباید به رد قطعی، پیام نامرتبط یا از دست‌رفتن حق مشتری منجر شود.

چطور نتیجه را بسنجیم؟

نرخ هدف در آزمایش و کنترل را برای سنجش گروه کنترل کمپین با تعریف و بازهٔ ثابت ثبت کنید. این معیار باید مستقیم به هدف «گروه کنترل در کمپین چیست و چرا باید بخشی را پیام ندهیم؟» وصل باشد و پیش از اجرا مقدار پایهٔ آن معلوم شود.

اثر افزودهٔ کمپین را برای سنجش گروه کنترل کمپین با تعریف و بازهٔ ثابت ثبت کنید. عدد را برای گروه‌های مشابه مقایسه کنید و اثر «تقسیم تصادفی و پایدار» را کنار گزارش بنویسید.

اندازه و تعادل دو گروه را برای سنجش گروه کنترل کمپین با تعریف و بازهٔ ثابت ثبت کنید. برای فهم علت، یک نمونهٔ واقعی با وضعیت «رویداد هدف و بازهٔ سنجش یکسان» را باز کنید. تغییر عدد بدون دیدن مسیر مشتری ممکن است برداشت اشتباه بسازد.

چک‌لیست کوتاه پیش از انتشار

پیش از انتشار گروه کنترل کمپین، هدف، گروه، دادهٔ ورودی، مسئول و زمان بازبینی را در یک صفحه بنویسید. سپس مسیر عادی، مسیر خطا و مسیر لغو را با دادهٔ آزمایشی اجرا کنید.

بعد از آزمایش، تحلیل گروه‌های زمانی مشتریان چیست و چه کمکی می‌کند را برای کامل‌کردن سنجش گروه کنترل کمپین بخوانید. اگر نتیجهٔ «نرخ هدف در آزمایش و کنترل» در نمونه روشن نیست، دامنه را بزرگ نکنید؛ تعریف یا داده را اصلاح کنید.

• هدف گروه کنترل در کمپین چیست و چرا باید بخشی را پیام ندهیم در یک جمله نوشته شده است.
• دادهٔ ورودی، منبع و زمان آن بررسی شده است.
• رضایت، لغو و شرط توقف آزمایش شده است.
• یک نمونهٔ عادی و یک نمونهٔ خطا بازبینی شده است.
• معیار نتیجه و زمان بازبینی بعدی مشخص است.

پرسش‌های کوتاه پیش از اجرا

آیا لازم است گروه کنترل کمپین را از روز اول برای همه اجرا کنیم؟ نه. یک گروه کوچک با وضعیت‌های متفاوت برای پیدا کردن خطا کافی است. پس از اطمینان از داده، پیام و توقف درست می‌توانید دامنه را آرام بزرگ‌تر کنید.

اگر نتیجهٔ گروه کنترل کمپین در هفتهٔ اول خوب نبود چه کنیم؟ ابتدا «نرخ هدف در آزمایش و کنترل» و اجرای قدم «هدف و جمعیت واجد شرایط را تعریف کنید» را بررسی کنید. بعد یک عامل را تغییر دهید. تغییر هم‌زمان گروه، متن، زمان و پیشنهاد باعث می‌شود علت نتیجه معلوم نباشد.

چه زمانی باید تعریف گروه کنترل کمپین را دوباره ببینیم؟ هر وقت «فهرست کامل واجدان شرایط» یا روش ثبت آن عوض شد. تعریف خوب هم اگر با وضعیت امروز هماهنگ نباشد، تصمیم نادرست می‌سازد.