Bindungsprogramme testen

Wer eine Bindungsmaßnahme testen will, muss vor dem Start entscheiden: Welche einzelne Änderung steht zur Wahl, für wen gilt sie und welches Ergebnis rechtfertigt ihren Einsatz? Teilen Sie geeignete Kunden möglichst zufällig zu und vergleichen Sie die Varianten über dasselbe passende Ergebnisfenster. Ein günstiger Verlauf nach Einführung allein belegt keine zusätzliche Wirkung.

Bindungsprogramm testen: Ablauf in sechs Schritten

Die Entscheidung als Testfrage formulieren

Soll eine zusätzliche Erinnerung versendet, ein Anreiz ergänzt oder ein anderer Nachrichtenzeitpunkt gewählt werden? Beschreiben Sie bisherige und neue Variante so genau, dass der beabsichtigte Unterschied erkennbar ist. Ändern Sie zugleich Text, Zielgruppe, Rabatt und Versandzeit, lässt sich ein späterer Unterschied keinem einzelnen Bestandteil zuordnen.

Wählen Sie ein Hauptziel, das zur Kundenaufgabe passt: etwa einen gültigen Nachkauf oder die erneut erledigte Kernaufgabe eines Dienstes. Öffnungen und Klicks helfen, den Kontaktweg zu beurteilen; sie belegen keinen zusätzlichen Kundennutzen.

Legen Sie auch relevante Gegenzeichen wie Rückgaben, Abmeldungen, Beschwerden und Kosten fest. Welcher Ergebnisunterschied die Entscheidung praktisch ändern würde, gehört ebenfalls vor die Auswertung.

Hauptziel und Kontaktkennzahlen trennen

Die Hypothese messbar machen

Bei einer umfangreichen Änderung teilen Sie sie in einzelne, nacheinander testbare Bestandteile auf. So lässt sich der beobachtete Effekt einem Bestandteil zuordnen. Eine weit gefasste Erwartung wie eine stärkere Markenwahrnehmung bleibt ohne passende Kennzahl schwer zu prüfen.

Eignung und Durchführbarkeit prüfen

Definieren Sie den Anlass, an dem ein Kunde in den Test aufgenommen wird. Eine Erinnerung zu einem offenen Schritt setzt voraus, dass dieser Schritt noch offen ist.

Prüfen Sie, ob Käufe, Erstattungen und Abschlüsse aus anderen Kanälen verlässlich erfasst werden und ob mehrere Profile zur selben Kundenbeziehung gehören. Fehlen entscheidende Daten, ist die Aussage des Tests begrenzt.

Schätzen Sie vor dem Start, ob im vorgesehenen Zeitraum genügend geeignete Kunden und vollständige Ergebnisfenster zu erwarten sind, um den für die Entscheidung wichtigen Unterschied beurteilen zu können. Ein kleines Experiment kann Durchführungsfehler zeigen, liefert aber eine unpräzise Wirkungsschätzung.

Bei werblichen E-Mails in Deutschland ist die Versandberechtigung für Inhalt und Empfänger gesondert zu prüfen. § 7 UWG verlangt grundsätzlich eine vorherige ausdrückliche Einwilligung. Die Ausnahme für eigene ähnliche Angebote an Bestandskunden setzt sämtliche dort genannten Bedingungen voraus; ein früherer Kauf oder die Testzuteilung genügt nicht.

Varianten zuteilen und begleiten

Teilen Sie geeignete Kunden vor der Maßnahme einer Variante zu und bewahren Sie die Zuordnung. Wählen Sie eine Einheit, die zur Kundenbeziehung passt: Mehrere Profile derselben Person sollten nicht unbemerkt unterschiedliche Varianten erhalten. Eine Vergleichsgruppe erhält die übliche Betreuung; zugesagte notwendige Leistungen werden für einen Marketingtest nicht zurückgehalten.

Halten Sie fest, wann und nach welcher Regel zugeteilt wurde. Prüfen Sie während der Durchführung, ob die Gruppengrößen zur geplanten Aufteilung passen, Varianten gewechselt wurden und Nachrichten wie vorgesehen ausgelöst wurden. Eine auffällige Abweichung kann auf Zuteilungs- oder Erfassungsfehler hinweisen und muss vor einem Wirkungsschluss geklärt werden.

Vor dem Start verbindlich festlegen

Warnsignale während des Tests beachten

Legen Sie fest, welche unerwarteten Veränderungen während der Durchführung eine Prüfung auslösen. Warnmeldungen können auf technische Fehler, eine ungewöhnliche Entwicklung wichtiger Kennzahlen oder sinkende Nutzerzufriedenheit hinweisen.

Eine Warnung belegt noch keine Wirkung der Maßnahme. Prüfen Sie zuerst, ob ein Fehler in Zuteilung, Erfassung oder Ausspielung die Auffälligkeit erklärt. Klären Sie die Ursache, bevor Sie den Befund als Testergebnis interpretieren.

Ergebnis und Entscheidung trennen

Werten Sie alle Kunden nach ihrer ursprünglichen Zuteilung aus, auch wenn eine Nachricht nicht zugestellt oder geöffnet wurde. Ein Vergleich nur der späteren Käufer oder Öffner würde die Gruppen nach Ereignissen auswählen, die erst nach der Zuteilung eintraten.

Berichten Sie Ergebnis und Gruppengröße je Variante, den Unterschied, seine Unsicherheit und den Datenstand. Zustellfehler gehören daneben als Erklärung der Durchführung.

Ein kurzer Anstieg kann Käufe lediglich vorziehen. Wählen Sie deshalb ein Fenster, in dem die relevante Kauf-, Nutzungs- oder Verlängerungsentscheidung stattfinden kann. Kunden mit noch offenem Fenster gelten nicht als endgültige Misserfolge.

Entscheiden Sie für die untersuchte Kundengruppe, das Angebot und den Zeitraum, ob die Variante fortgeführt, geändert oder erneut geprüft wird. Ein unklarer Unterschied beweist keine gleiche Wirkung. Dokumentieren Sie die Entscheidung mit Varianten, Ergebnisregel und bekannten Störungen.

Auswertung nach Zuteilung, nicht nach Ereignis

Weitere Einflussfaktoren einordnen

Auch Bedingungen außerhalb der getesteten Änderung können das gemessene Ergebnis beeinflussen. Überlegen Sie vorab, welche davon wichtig genug sind, um sie zu erfassen oder konstant zu halten. So schreiben Sie auffällige Unterschiede nicht vorschnell der Bindungsmaßnahme zu.

Wo relevante Bedingungen steuerbar sind, können vergleichbare Testbedingungen ihren Einfluss begrenzen; übrige Einflüsse mindert die zufällige Zuteilung. Beschränken Sie diese zusätzliche Planung auf wenige wichtige Faktoren, damit die einzelne Entscheidung im Mittelpunkt bleibt.