Zusätzliche Wirkung mit einer Kontrollgruppe prüfen

Eine Kontrollgruppe schätzt, was eine Kundenbindungsmaßnahme zusätzlich bewirkt. Teilen Sie geeignete Kunden vor Beginn zufällig einer Gruppe mit der zusätzlichen Maßnahme und einer Gruppe ohne sie zu. Beide Gruppen brauchen dieselbe Ergebnisregel und denselben Beobachtungszeitraum. Der Unterschied gilt für die geprüfte Zuteilung unter den getesteten Bedingungen, nicht als Zusage für jede künftige Kundengruppe.

Die Wirkungsfrage vorab festlegen

Beschreiben Sie die Änderung, die Sie prüfen – etwa zusätzliche Hilfe nach einem offenen Nutzungsschritt. Bestimmen Sie das gewünschte Ergebnis, beispielsweise den späteren Abschluss der Aufgabe. Versand, Öffnung und Klick können Hinweise zur Durchführung geben. Für sich genommen beantworten sie nicht, ob Kunden die Aufgabe zusätzlich erledigt haben.

Legen Sie vor der Zuteilung fest, wer für die Maßnahme infrage kommt und welches Ereignis als Erfolg zählt. Die Kontrollgruppe erhält die übliche Betreuung; notwendige zugesagte Leistungen sollten nicht für die Messung zurückgehalten werden. Dokumentieren Sie weitere Kampagnen, die beide Gruppen erreichen können.

Maßnahmengruppe vs. Kontrollgruppe: Unterschiede in der Behandlung

Vor der Maßnahme zufällig zuteilen

Die Zuteilung muss erfolgen, bevor spätere Ergebnisse bekannt sind. Wählen Sie eine passende Einheit: Erhalten mehrere Profile derselben Kundenbeziehung die Maßnahme, dürfen sie nicht versehentlich in verschiedene Gruppen geraten. Speichern Sie Zuordnung, Zeitpunkt und Regeln. Ein späterer Kauf oder eine spätere Nutzung ändert die ursprüngliche Gruppenzugehörigkeit nicht.

Prüfen Sie, ob Zielereignisse in beiden Gruppen nach denselben Regeln erfasst werden. Beobachten Sie außerdem, ob die zusätzliche Maßnahme in der vorgesehenen Gruppe ausgelöst wurde und die Kontrollgruppe sie nicht über denselben Weg erhielt. Diese Prüfung zeigt, wie der Versuch durchgeführt wurde; sie ersetzt den Ergebnisvergleich nicht.

Nach ursprünglicher Zuteilung auswerten

Vergleichen Sie den Anteil mit dem vorab definierten Ergebnis je ursprünglich zugeteilter Gruppe. Auch Personen, die eine Nachricht nicht öffneten oder nicht kauften, bleiben in ihrer Gruppe. Ein Vergleich nur der Öffner oder Käufer würde die Gruppen nach einer späteren Handlung neu auswählen und die zufällige Zuteilung unterlaufen.

Diese Auswertung schätzt die Wirkung der Zuteilung zur zusätzlichen Maßnahme. Wurde die Maßnahme nicht allen Zugeordneten tatsächlich zugestellt, ist das nicht automatisch dieselbe Wirkung wie die einer erhaltenen oder gelesenen Nachricht. Berichten Sie Zustellung und fehlende Ergebnisdaten gesondert.

Ein rein hypothetisches Rechenbeispiel: Erreichen von je 100 zugeteilten Kunden 30 in der Maßnahmengruppe und 20 in der Kontrollgruppe das Ziel, beträgt der beobachtete Unterschied 10 Prozentpunkte. Ob ein solcher Unterschied belastbar wäre, hängt unter anderem von Fallzahl, zufälligen Schwankungen, korrekter Zuteilung und vollständiger Erfassung ab. Die Zahlen sind kein reales Testergebnis.

Betrachten Sie ein längeres passendes Fenster, wenn die Maßnahme Käufe lediglich vorziehen könnte. Rückgaben, Abmeldungen und relevante Kosten gehören neben das Hauptziel. Bei kleinen Gruppen kann ein großer Unterschied unsicher sein; berichten Sie diese Unsicherheit.

Grenzen der Aussage prüfen

Der Vergleich verliert an Aussagekraft, wenn Kunden zwischen Gruppen wechseln, die Maßnahme auch die Kontrollgruppe erreicht oder Preise und Leistungen zwischen den Gruppen unterschiedlich verändert werden. Fehlende Ergebnisdaten können ebenfalls verzerren. Prüfen Sie solche Abweichungen, bevor Sie den Unterschied als Wirkung einordnen.

Ist zufällige Zuteilung nicht möglich, kann eine andere Vergleichsgruppe Hinweise liefern. Sie kann sich jedoch schon vor der Maßnahme in Bedarf oder Kaufbereitschaft unterscheiden. Ein Abgleich bekannter Merkmale beseitigt unbekannte Unterschiede nicht sicher.

Halten Sie am Ende fest, für welche geeigneten Kunden, unter welchen Bedingungen, über welchen Zeitraum und für welches Ergebnis die zusätzliche Wirkung geschätzt wurde. Daraus lässt sich entscheiden, ob die Maßnahme fortgeführt, geändert oder erneut geprüft werden soll.

Vorteile und Risiken bei der Verwendung einer Kontrollgruppe