KI im Kundenservice messen statt glauben: 64 % Abdeckung im Jahr, zuletzt 76 %

KI im Kundenservice lässt sich messen, und zwar mit zwei Größen: welcher Anteil der eingehenden Anfragen einen KI-Entwurf bekommt und wie sicher sich das Modell dabei ist. Beide gehören als Kurve in den laufenden Betrieb und nicht in eine Präsentation, sonst bleibt die Frage, ob sich die Investition lohnt, eine Frage des Gefühls.

Warum KI im Kundenservice oft ohne Nachweis bleibt

Im Service eines Herstellers kommen Anfragen über viele Wege: E-Mail, Kontaktformular, Messenger, Telefon. Gefragt wird nach Ersatzteilen, Wartungsterminen, Fehlermeldungen und Unterlagen. Ein Sprachmodell, das Antwortentwürfe vorbereitet, klingt nach einer offensichtlichen Entlastung. Nach einigen Monaten stellt die Geschäftsführung trotzdem die naheliegende Frage: Übernehmen die Leute im Service die Entwürfe überhaupt, oder schreiben sie am Ende doch selbst? Und wird das System mit der Zeit besser oder nur teurer?

Ohne Messung gibt es darauf zwei Arten von Antworten: Begeisterung der Befürworter und Anekdoten der Skeptiker. Beide sind ehrlich gemeint, und keine hilft bei der Entscheidung, ob der Betrieb ausgebaut oder beendet wird. Hinzu kommt, dass Entlastung im Service schwer zu sehen ist: Beantwortet werden die Anfragen ohnehin, nur mit mehr oder weniger Aufwand, und dieser Aufwand steht in keinem Bericht.

365 Tage, 6 765 Anfragen: was gemessen wurde

In einer Unternehmensgruppe aus Lebensmittelproduktion und Filialhandel bereitet eine KI-Rezeption Antworten auf Kundenanfragen vor. Die Anfragen kommen über E-Mail, WhatsApp, Instagram Direct und den Website-Chat. Abgeschickt wird nur, was ein Mensch freigibt.

Genau diese Frage stand dort im Raum: Man zahlt für KI und weiß nicht, ob sie wirkt. Deshalb wurde der eingehende Strom eines ganzen Jahres vollständig ausgewertet. In 365 Tagen kamen 6 765 Anfragen von Menschen an, zu 3 667 davon entstand ein KI-Entwurf. Die Abdeckung mit KI-Entwürfen lag über das Jahr bei 64 %, in den letzten 30 Tagen bei 76 %. Die Modellsicherheit stieg im selben Zeitraum von 0,57 auf 0,71.

Der Anstieg ist kein Zufall der Zählung. Das System lernt aus den Korrekturen der Manager: Jede Änderung an einem Entwurf fließt zurück. Seitdem sind Abdeckung und Modellsicherheit am laufenden Betrieb ablesbar, nicht als einmaliger Bericht.

Zwei Kennzahlen und wo sie täuschen können

• Abdeckung mit KI-Entwürfen. Sie zeigt, bei welchem Anteil der Anfragen überhaupt ein Entwurf vorliegt. Sie zeigt nicht, ob der Entwurf gut war. Eine hohe Abdeckung mit Entwürfen, die jedes Mal umgeschrieben werden, entlastet niemanden. Deshalb gehört zur Abdeckung immer der Blick darauf, was mit den Entwürfen geschieht.
• Modellsicherheit. Sie ist die Selbsteinschätzung des Modells, keine unabhängige Qualitätsmessung. Steigt sie, während die Menschen weiter freigeben und korrigieren, ist das ein brauchbares Signal. Allein betrachtet wäre sie ein Modell, das sich selbst ein gutes Zeugnis ausstellt.

Was diese Messung nicht beantwortet, sagen wir ebenso deutlich: Sie enthält keine Aussage über Antwortzeiten oder die Zufriedenheit der Kunden. Dafür bräuchte es eigene Messpunkte, und wer sie braucht, sollte sie vor dem Start festlegen, nicht nachträglich aus Protokollen rekonstruieren.

Was sich für KI im Kundenservice eines Herstellers übertragen lässt

Eine Anfrage nach einer Tortenbestellung ist keine Frage nach einem Ersatzteil. Technische Antworten stützen sich auf Handbücher, Stücklisten und frühere Servicefälle, und ein falscher Entwurf kostet dort mehr als eine Rückfrage. Die Werte aus dem Beispiel lassen sich deshalb nicht als Erwartung auf einen Hersteller übertragen – weder die 64 % noch der Anstieg.

Übertragbar sind drei Entscheidungen. Erstens: Messpunkte entstehen vor dem ersten Entwurf, nicht danach. Zweitens: Korrekturen der Menschen fließen zurück, sonst lernt das System nichts. Drittens: Ob Entwürfe nur nach Freigabe oder für bestimmte Anfragen automatisch verschickt werden, legt jedes Unternehmen selbst fest – und bei technischen Auskünften spricht vieles dafür, bei der Freigabe zu bleiben. Wie ein solcher Assistent auf Unterlagen und Servicehistorie zugreift, erklärt der Lexikonartikel KI-Assistent im Service.

Wie wir Messung von Anfang an einbauen

Bevor ein Entwurf entsteht, legen wir mit dem Service fest, welche Anfragen gezählt werden, woran eine Übernahme erkennbar ist und wo die Kennzahlen abgelesen werden. Diese Punkte stehen als Abnahmekriterien im Angebot – nicht ein Zielwert für die Abdeckung, den niemand seriös vorhersagen kann, sondern die Messung selbst. Technisch arbeiten wir mit PostgreSQL und pgvector, damit Wissen und Messdaten in einem System liegen.

Welche Daten das Sprachmodell zu sehen bekommt, halten wir im Angebot fest. Verarbeiten wir personenbezogene Daten in Ihrem Auftrag, schließen wir einen Auftragsverarbeitungsvertrag. Wie wir solche Vorhaben aufsetzen, steht auf der Seite KI-Lösungen für Unternehmen.