Kundenbeschwerden mit KI auswerten: Vom Freitext zum messbaren CTQ

Warum „negativ“ keine ausreichende Prozessinformation ist

ASQ zählt Beschwerden, Interviews und Befragungen zu möglichen Quellen der Kundenstimme. Der Zweck besteht darin, Bedürfnisse zu verstehen und Verbesserungen daran auszurichten. Textbasierte Rückmeldungen lassen sich dabei auch mit KI aufbereiten.¹

Für unseren Kundenservice interessiert deshalb nicht nur, wie verärgert jemand klingt. Wir wollen wissen, welches erwartete Ergebnis ausgeblieben ist. Hat die Person keine Antwort erhalten, eine unverständliche Antwort bekommen oder nach einer bereits zugesagten Lösung erneut fragen müssen? Hinter derselben Tonlage stehen unterschiedliche Aufgaben für den Prozess.

Trennen Sie den Originaltext von Ihrer Interpretation. Ein Kunde schreibt vielleicht „Niemand kümmert sich“. Daraus folgt nicht, dass tatsächlich niemand gearbeitet hat. Es kann ebenso bedeuten, dass die Bearbeitung unsichtbar blieb. Wer diese Unterscheidung überspringt, optimiert möglicherweise die falsche Stelle.

Legen Sie fest, was Sie zählen wollen

Bevor Sie viele Nachrichten auswerten, klären Sie die Einheit. Zählen Sie Nachrichten, Kundenkontakte, einzelne Anliegen oder abgeschlossene Fälle? Ein Kunde kann zum selben Vorgang fünfmal schreiben. Werden alle Nachrichten als unabhängige Beschwerden gezählt, erscheint ein einzelnes Problem überproportional häufig.

Für das fiktive Beispiel wählen wir den Fall als Einheit und speichern zusätzlich die Zahl der Kontakte. So sehen Sie sowohl die Häufigkeit eines Problems als auch die Belastung, die es auslöst. Bei mehreren Anliegen in einem Fall lassen Sie mehrere Kategorien zu. Die Summe der Kategorien darf dann größer sein als die Zahl der Fälle.

Definieren Sie den Zeitraum und die einbezogenen Kanäle. Ein E-Mail-Postfach bildet weder alle Telefongespräche noch alle still unzufriedenen Kunden ab. Beschwerdedaten helfen bei der Suche nach Problemen; ohne einen geeigneten Nenner liefern sie keine allgemeine Unzufriedenheitsquote Ihrer gesamten Kundschaft. Diese Grenze gehört neben jede Ergebnisdarstellung.

Ein kleines Codebuch verhindert große Missverständnisse

Beginnen Sie mit einer überschaubaren Auswahl von Fällen, die Fachleute gemeinsam lesen. Beschreiben Sie jede Kategorie mit einer Definition, einem passenden Beispiel und einem Gegenbeispiel. Für „zugesagter Rückruf fehlt“ muss im Text ein Rückrufversprechen erkennbar sein. „Noch keine Antwort“ reicht dafür nicht automatisch.

Die KI erhält dieses Codebuch und liefert je Zuordnung die Fallkennung, die Kategorie und eine stützende Originalpassage. Ergänzen Sie „unklar“ als zulässiges Ergebnis. Ein erzwungenes Etikett für jeden Text sieht in der Tabelle ordentlich aus, versteckt aber Unsicherheit. Lassen Sie die Maschine fehlende Informationen ausdrücklich benennen.

Ein geeigneter Arbeitsauftrag lautet: „Ordne nur Kategorien zu, die durch eine Textstelle gestützt sind. Gib diese Stelle unverändert aus. Erfinde keine Zusagen oder Zeitangaben. Verwende unklar, wenn der Text keine Zuordnung erlaubt.“ Prüfen Sie außerdem, ob Hinweise innerhalb der Kundennachricht fälschlich als Arbeitsanweisung behandelt werden könnten. Der Text ist Untersuchungsmaterial.

Übersetzen Sie Bedürfnisse in beobachtbare Anforderungen

Der nächste Schritt ist gemeinsame Denkarbeit. Aus „Ich will nicht ständig nachfragen“ kann das Bedürfnis nach verlässlicher Information werden. Ein möglicher CTQ wäre der Anteil vereinbarter Rückmeldungen, die fristgerecht und inhaltlich vollständig erfolgen. Ob das den Bedarf trifft, klären Sie mit den Betroffenen.

Definieren Sie dabei Auslöser, Frist, zulässige Ausnahmen und Messquelle. Eine automatische Eingangsbestätigung ist keine inhaltliche Rückmeldung. Eine Nachricht „Wir arbeiten daran“ erfüllt möglicherweise ebenfalls nicht die vereinbarte Anforderung. Die Definition muss so konkret sein, dass zwei Personen denselben Fall gleich bewerten können.

Zielwerte entstehen aus tatsächlichen Vereinbarungen, Kundenbedürfnissen und der Leistungsfähigkeit des Prozesses. Die KI darf mögliche Formulierungen vorschlagen, aber keine vermeintlichen Branchenstandards erfinden. Eine pauschale Antwortzeit von zwei Stunden wäre ohne Kontext ebenso willkürlich wie eine garantierte Zufriedenheitsquote.

Tabelle seitlich scrollen, um alle Spalten zu sehen.

Wie zuverlässig erkennt die KI Ihre Beschwerdekategorie?

Prüfen Sie nicht nur, wie oft die KI insgesamt richtigliegt. Precision beschreibt bei einer Kategorie den Anteil korrekter Treffer an allen als Treffer ausgegebenen Fällen. Recall beschreibt, welcher Anteil der tatsächlich zugehörigen Fälle gefunden wurde. Diese beiden Sichtweisen beantworten unterschiedliche Fragen.²

Im ausdrücklich fiktiven Prüfsatz gehören 20 von 100 Fällen zur Kategorie „Rückruf fehlt“. Die KI markiert 18 Fälle, davon sind 15 richtig. Damit beträgt die Precision 15 geteilt durch 18, also rund 83 Prozent. Der Recall beträgt 15 geteilt durch 20, also 75 Prozent. Fünf tatsächliche Fälle blieben unentdeckt.

Wenn die KI alle 100 Fälle als unauffällig einstuft, wäre ihre Gesamtgenauigkeit trotzdem 80 Prozent. Für die Suche nach ausgebliebenen Rückrufen wäre sie nutzlos. Prüfen Sie deshalb wichtige Kategorien einzeln. Auch die menschliche Referenz muss nachvollziehbar entstehen: Uneinigkeit wird besprochen und im Codebuch geklärt.

Trennen Sie das Verbessern des Prompts vom Prüfen des Ergebnisses

Verwenden Sie nicht immer dieselben Beispiele, um den Auftrag nachzubessern und anschließend die Güte nachzuweisen. Legen Sie vorab einen getrennten Prüfsatz zurück. Enthält ein Fall mehrere Nachrichten, bleiben diese zusammen. Sonst taucht derselbe Sachverhalt auf beiden Seiten auf und die Prüfung wird leichter, als der spätere Alltag ist.

Nehmen Sie in die Prüfung bewusst auch knappe, mehrdeutige und ungewöhnlich formulierte Rückmeldungen auf. Ein zusätzlicher Testsatz mit schwierigen Fällen ist sinnvoll, darf aber nicht ohne Erklärung als repräsentativer Querschnitt dargestellt werden. Dokumentieren Sie Herkunft und Auswahl jedes Satzes.

Bevor Sie die Auswertung regelmäßig verwenden, bestimmen Sie, welche Fehler zu einer manuellen Nachprüfung führen. Für seltene, schwerwiegende Anliegen kann eine andere Regel nötig sein als für häufige Fragen zum Bearbeitungsstand. Ein Durchschnitt über alle Kategorien verdeckt solche Unterschiede. Das Freigabekriterium sollte deshalb zur späteren Entscheidung passen.

Vom häufigsten Thema zur wirksamen Veränderung

Ein Pareto-Diagramm der Beschwerdekategorien kann Ihnen zeigen, wo viele Fälle liegen. Es entscheidet jedoch nicht allein über die Reihenfolge der Maßnahmen. Ergänzen Sie Häufigkeit um Auswirkungen, Aufwand und die Frage, welche Kunden betroffen sind. Ein seltenes Problem mit gravierenden Folgen verdient womöglich zuerst Aufmerksamkeit.

Bleiben wir beim Rückruf: Vielleicht fehlt keine Kapazität, sondern eine Übergabe zwischen zwei Teams. Prüfen Sie die tatsächlichen Fälle, bevor Sie zusätzliche Erinnerungsmails einführen. Stimmen Sie eine kleine Änderung ab und beobachten Sie danach sowohl die Erfüllung der Zusagen als auch die erneuten Kontakte.

Wenn Sie Kategorien, Modell oder Arbeitsauftrag verändern, kann eine Kurve springen, obwohl der Service gleich geblieben ist. Halten Sie Versionswechsel fest und bewerten Sie einen gemeinsamen Prüfsatz erneut. Sonst verwechseln Sie eine veränderte Messung mit einer Verbesserung des Prozesses. Diese Messdisziplin ist ein wesentlicher Beitrag von Lean Six Sigma zur KI-Anwendung.