CatchGrow
Alle Artikel AI Implementation

So testen Sie KI im Kundenservice auf einem Kanal und mit einer Aufgabe

Ein kleiner KI-Pilot verschafft Ihnen einen klaren Überblick darüber, was sich verbessert, was ein Mensch noch braucht und ob sich eine Erweiterung lohnt.

Kollegen arbeiten gemeinsam an einem Tisch mit geöffneten Laptops

Was sollte Ihr erster KI-Pilotprojekt leisten?

Ein erster KI-Pilotprojekt funktioniert am besten, wenn man in einem Satz erklären kann, was der Assistent tun darf. Beginnen Sie mit einem Kanal, einem wiederholten Auftrag, einem kleinen Satz genehmigter Antworten und einem Teamkollegen, der mit Ausnahmen umgehen kann. Vergleichen Sie das Pilotprojekt mit der vorherigen Arbeit Ihres Teams.

Stellen Sie sich ein lokales Reparaturunternehmen vor, das Instagram-Nachrichten erhält, die mit „Wie viel würde das kosten?“ beginnen. Der Kostenvoranschlag hängt vom Gerät und dem Problem ab. Für sein erstes Pilotprojekt könnte das Team CatchGrow verwenden, um das Gerätemodell und eine kurze Beschreibung des Problems zu sammeln, eine Frage nach der anderen. Ein Techniker entscheidet immer noch, ob er ein Angebot macht, ein Foto anfordert oder einen Besuch vereinbart.

Was sollte man vor einem KI-Pilotprojekt messen?

Sehen Sie sich eine Woche berechtigter Anfragen an. Zählen Sie, wie viele eingegangen sind, wie viele genügend Details für den nächsten Schritt enthielten und wie oft das Team dieselben Informationen erneut anfordern musste.

Für das Reparaturunternehmen ist ein nützliches Ergebnis: „Der Techniker kann erkennen, um welche Aufgabe es sich handelt, und entscheiden, was als nächstes zu tun ist.“ Schnelle Antworten sind wichtig, aber eine kurze Begrüßung allein ändert nichts daran, wie viel Arbeit der Techniker leisten muss.

Welche Gespräche sollten Sie vor dem Start testen?

Verwenden Sie echte Kundenformulierungen und entfernen Sie Namen und Kontaktdaten. Schließen Sie jemanden ein, der seine Modellnummer mit einem Tippfehler eingegeben hat, jemanden, der sie bereits angegeben hat, und jemanden, der um einen dringenden Besuch bittet. Testen Sie, was passiert, wenn der Assistent die Antwort nicht überprüfen kann oder der Kunde eine Person möchte.

Schreiben Sie neben jedes Beispiel das erwartete Verhalten. Das macht die Überprüfung viel einfacher, wenn das Team beschäftigt ist und zwei Personen uneinig sind, ob eine Antwort hilfreich war.

NIST empfiehlt die Überwachung auf unerwartete KI-Ausgaben und die Definition, wann ein KI-System überschrieben oder außer Betrieb genommen werden muss. Schreiben Sie für einen ersten Piloten auf, was Sie dazu veranlassen würde, ihn zu unterbrechen, z. B. ein falsches Preisversprechen oder eine dringende Anfrage, die nie bei einem Teamkollegen angekommen ist. NIST, 2024

Woher wissen Sie, wann Sie Ihr KI-Pilotprojekt erweitern müssen?

Lesen Sie nach einer Woche die Gespräche mit der Person, die diese Anfragen bearbeitet. Zählen Sie Fälle, die vorangekommen sind, Fälle, die korrigiert werden mussten, und Fälle, die an den richtigen Ansprechpartner weitergeleitet wurden. Achten Sie auf neue Arbeiten, die durch das Pilotprojekt entstanden sind, z. B. auf die Korrektur eines Versprechens oder die Aufforderung an Kunden, Informationen zu wiederholen.

Wenn die Ergebnisse uneinheitlich sind, beheben Sie das Problem, das am häufigsten auftritt, und testen Sie es erneut. Wenn die Anzahl der Gespräche gering ist, geben Sie dem Piloten mehr Zeit und halten Sie das Zielfernrohr stabil. Erweitern Sie, wenn das Team auf eine echte Verbesserung hinweisen kann und die Ausnahmen einen Eigentümer haben.

Lesen Sie weiter

Häufige Fragen

Was ist die beste erste Aufgabe für einen KI-Pilotprojekt?

Wählen Sie eine häufige Aufgabe mit klaren Grenzen aus, z. B. die Erläuterung einer genehmigten Lieferrichtlinie oder die Bitte um ein fehlendes Detail in einer Angebotsanfrage. Wählen Sie eine Aufgabe aus, die Ihr Team schnell überprüfen kann.

Wie lange soll das Pilotprojekt dauern?

Überprüfen Sie es nach der ersten Woche. Ein Unternehmen mit wenigen Nachrichten benötigt möglicherweise länger, um genügend Beispiele zu sammeln, insbesondere für Ausnahmen.

Was sollte ich über die Reaktionszeit hinaus messen?

Verfolgen Sie korrekte Antworten, nützliche nächste Schritte, erfolgreiche Übergaben und vermeidbare Nacharbeiten. Wählen Sie ein primäres Ergebnis, das mit der Aufgabe übereinstimmt, die Sie dem Assistenten gegeben haben.

Foto Airam Dato-on via Pexels.