#173 Sentimentanalyse, LLMs und Agentic Insights: CX-Technologie verstehen – Maurice Gonzenbach (Caplena)

00:00:04: In der heutigen Folge geht es um den technologischen Quantssprung in der Textanalyse, von der klassischen Sentiment-Analyse hin zu large Language Models und KI-Agenten.

00:00:15: Wir erklären ganz praktisch und ausführlich wie moderne Algorithmen menschliche Sprache im Kontext verstehen und wie Unternehmen zehntausende Freitexte automatisiert aussernten können.

00:00:28: Damit verstehst du am Ende, wie das Zusammenspiel zwischen Mensch und automatisierter Sprachanalyse die Qualitätsstandards im CX Management neu definieren kann.

00:00:46: Hallo und herzlich willkommen bei CXTalks!

00:00:49: Mein Name ist Peter Perner und ich begrüße dich zu einer Folge, die tief in die Praxis der modernen Feedback-Analyse eintaucht.

00:00:57: Jedes Unternehmen, dass Kundenbefragungen durchführt oder Kundendialoge im Callcenter erfasst steht vor demselben Berg an unstrukturierten Freitexten.

00:01:07: Diese Daten, manuell zu codieren ist zeitlich und finanziell kaum machbar während automatisierte Standard-Tools in der Vergangenheit oft an der Komplexität der menschlichen Sprache scheiterten.

00:01:20: Die Kernfrage lautet wie schaffen wir es technisch aus tausenden von unstrukturierten Nennungen eine valide quantitative Analyse zu bauen die auch vor dem Vorstand bestand hat?

00:01:32: Begehen wir mit unterschiedlichen Sprachen, Dialekten oder gar Schreibfehlern um ohne dass wertvolle Informationen verloren gehen?

00:01:39: und vor allem wie verhindern wir das?

00:01:41: durch falsche methodische Ansätze – wie das reine Zählen von Worthäufigkeiten die falschen strategischen Schlüsse gezogen werden.

00:01:51: Mein heutiger Gesprächspartner Maurice Gonzenbach hat sich genau dieser Aufgabe verschrieben.

00:01:58: Er ist Mitbegründer und CEO von Kaplena, das heute Millionen von Kundenfeedbacks für namhafte Unternehmen analysiert.

00:02:06: In unserem Gespräch wollen wir dir helfen ein Grundverständnis für moderne Sprachanalyse zu entwickeln – wir sprechen aber auch über die methodischen Grenzen Und warum ein gut gepflegtes Codebook immer noch das Fundament jeder verlässlichen Analyse ist.

00:02:27: Gemeinsam werfen wir einen Blick auf die neuesten Entwicklungen wie Entity Extraction und Agendic Insights.

00:02:34: Wir diskutieren, wie sich die Rolle des klassischen Marktforschers und CX-Managers verändert wenn KI-Agenten den direkten Zugriff auf Insights für jedermann im Unternehmen demokratisieren.

00:02:47: Am Ende stellt sich die Frage, ist der Hype um autonome KI-Agenten nur Marketinggequatsche oder der Beginn einer völlig neuen Ära der Custom Experience?

00:02:58: Freu dich auf ein hoch spannendes technologisch fundiertes Gespräch das Licht ins Dunkel der künstlichen Intelligenz bringt.

00:03:18: Hallo

00:03:18: Maurice!

00:03:19: Herzlich willkommen bei CXTalks!

00:03:28: Eine Masterarbeit über Sentimentanalyse geschrieben, bevor das bei Unternehmen überhaupt ein riesengroßes Thema war.

00:03:34: Wie bist du auf dieses Thema gekommen?

00:03:39: Ja ich habe einen technischen Hintergrund.

00:03:41: Ich habe Computer Science studiert und mich hat vor allem die Technologie dahinter fasziniert.

00:03:48: Dieses Konzept dass eben nicht explizit Regeln vorgegeben werden müssen einem Computer um etwas zu verstehen sondern das Konzept das man Beispiele dem Computer zeigen kann und er daraus lernen kann, wie jetzt eine Vorhersage zu machen ist aufgrund dieser Beispiele.

00:04:07: Und ursprünglich also ich habe mich da gibt es ja verschiedenste Anwendungsfälle davon.

00:04:12: Ich hab mich mit Bildanalyse auseinandergesetzt auch mit ganz anderen Daten zum Beispiel EEG Ströme um epileptische Anfälle zu klassifizieren vorherzusagen.

00:04:25: Und dann in meiner Masterarbeit wollte ich aber etwas was doch auch irgendwo anwendungsorientiert ist, für das es eben potenziell Anwendungen.

00:04:34: In der Industrie geben konnte weil vielleicht so bisschen Hintergedanke schon immer war.

00:04:38: Es wäre schon spannend in diesem Bereich vielleicht irgendwann mal ein Produkt zu lancieren.

00:04:44: und dann war die Sentiment Analyse war halt da ein super.

00:04:48: Beispiel dafür, ein super Anwendungsfall.

00:04:50: Einerseits weil menschliche Sprache doch so bisschen der heilige Graal ist dann Komplexität was man darin eigentlich verpacken kann wie komplex sein einzelner Satz schon sein kann wie viele Nuancen er enthalten kann und andererseits weil es auch sehr gut messbar ist.

00:05:08: das Sentimentanalyse kann man wirklich relativ zumindest für unbestrittene Beispiele kann man ja relativ gut sagen dass richtig das ist falsch.

00:05:16: Und es gab da so einen Wettbewerb, den Semivall-Wettbewehr war das Teil einer wissenschaftlichen Konferenz in dem sie eben ein Beispiel Datensatz veröffentlicht haben gesagt haben hey lasst da dein Algorithmus drauf laufen und wir sagen dir dann wie gut der Algorithmos ist.

00:05:31: Und dass also bisschen.

00:05:33: auch dieser messbare kompetitive Teil hat mich da fasziniert und deswegen habe ich mich damit beschäftigt und das hat dann auch ganz gut geklappt.

00:05:42: und später ist daraus was entstanden.

00:05:45: Genau, du hast ja dann mit Pascal de Brunnen ein Unternehmen gegründet.

00:05:49: Da hat die ETH glaube ich auch eine Rolle gespielt oder?

00:05:53: Also wir haben uns an der ETH kennengelernt spezifisch in einem Verein, der einen Studenten der studentischen Unternehmensberatung macht und... Wir haben dann beiden kurzen Abstecher in die klassische Unternehmensberatung gemacht, er war bei BCG und ich bei Bain.

00:06:11: Und haben dann aber beide realisiert das ist vielleicht doch spannender wäre selbst etwas zu machen als so ins die klassischen Beratungen zu gehen.

00:06:19: Die ETH ja waren natürlich absolut entscheidend um uns da ein bisschen das Rüstzeug zu geben auch mit dem Namen zumindest in der Schweiz öffnet dass partüren manchmal.

00:06:30: Und wir haben dieses ETH Spinnoff-Label bekommen, was für uns auch sehr wertvoll war.

00:06:35: Da die Technologie eben... Genau

00:06:36: das hatte ich

00:06:37: gesehen.

00:06:38: War die ETH da mit Kapital auch beteiligt oder war es einfach nur faktisches Ding?

00:06:43: Das ist wirklich

00:06:44: nur ein Label.

00:06:47: Da sind sie relativ großzügiger, so Masterarbeit.

00:06:49: Da wird man ja nicht bezahlt für.

00:06:51: Deswegen gehört das geistige Eigentum, was man erschafft am Ende auch dem Studierenden Wenn man in einer Doktorarbeit ist das anders oder dann würde sie sich beteiligen.

00:07:02: Und... ...das Unternehmen, das ihr gegründet hast heißt Kaplena gibt es heute auch noch.

00:07:07: wie groß seid ihr?

00:07:08: Wann habt ihr euch eigentlich genau gekründet und wie groß sei die?

00:07:11: Wie hat sich das entwickelt?

00:07:13: Ja wir haben... ...zwei tausend achtzehn haben.

00:07:15: wir sind ja offiziell gestartet mit diesem Loose Case der Analyse von Freitexnennung und am Anfang waren wir Bootstrapped.

00:07:24: also wir haben uns da Langsam aber stetig weiterentwickelt und mit der Zeit dann, aber auch ein paar externe Finanzierungsrunden gemacht.

00:07:34: Wir sind heute fünfundzwanzig Leute die Hälfte etwa in der Schweiz Die Hälfe in Europa verteilt ein paar Deutschland jemand in der UK ein paar Spanien Und genau wir haben Kunden aus ganz europa.

00:07:51: schwerpunkt immer noch dachregion ist sicher unser heimmark da wo wir uns am wohlsten fühlen am stärksten verbreitet sind mit ein paar sehr coolen.

00:08:01: Filmen die wir da die wir unterstützen dürfen bei ihrer analyse von Kunden feedback also große nam wie, Unterdessen aber durchaus auch Paar aus dem anglikanischen Raum, also beispielsweise haben wir GM dieses Jahr gewonnen General Motors und es ist schon unser Ziel auch die Internationalisierung weiter voran zu treiben.

00:08:25: Dann ist das natürlich überwiegend ein Vertriebsproblem und weniger ein technologisches Problem weil die Technologie ist dann ja auch in anderen Ländern in anderen Sprachen anwendbar.

00:08:36: Genau um die Technik soll's jetzt gehen!

00:08:39: Und ich habe mich sehr gefreut, dass du zugesagt hast für das Interview.

00:08:42: Weil ich einen absoluten Fachmann jetzt hier habe und es wird so wahnsinnig viel über Textanalytik geredet und die wenigsten Menschen wissen im Detail was da eigentlich dahinter steckt.

00:08:55: und deshalb wollte Ich und wir hatten es in Vorgespräche vereinbart wollen wir sagen Wir machen mal so ein Teil wo man wirklich mal ganz grundlegend auch klärt Was da eigentlich passiert um auch besser zu verstehen, wo die Grenzen und die Chancen eigentlich liegen.

00:09:10: Und deshalb auch gleich meine erste Frage wenn du wie nähert sich denn ein Computer überhaupt zunächst mal einen Wort an?

00:09:21: Er kriegt erstmal den Wort dahin geknallt.

00:09:23: das sind für ihn eine Abfolge vom Buchstaben.

00:09:25: aber Wie zerlegt einem unter ein Computer diese Information die er da bekommt oder was passiert da im ersten Schritt?

00:09:35: Ja also wie du gesagt hast einen Buchstabe ist ja für ein Computer.

00:09:38: erstmal nicht sagen das hat keine Bedeutung, keine semantische Bedeitung dahinter.

00:09:42: Das erste was ein Computer macht es dass in Zahlen umzuwandeln.

00:09:45: In Zahlen damit kann er rechnen und das ist das was sein Computer kann.

00:09:50: Und was man jetzt konkret macht ist dass man jedes Wort in sogenannte... Also zuerst mal aufsplittet den kleinere Teile und dann jedes dieser Teile in ein Embedding umwandelt.

00:10:04: Man kann sich das.

00:10:05: ein Bedding ist eigentlich einfach einen Vektor, der das Wort oder den Wort Teil repräsentiert.

00:10:13: Für die Mathematik schon lange her ist ein Vektors eigentlich eine Reihe von Zahlen.

00:10:19: In einem dreidimensionalen Vector kann man sich noch relativ gut vorstellen, dass beschreibt wo ein Element im dreidimentionalen Raum zum Beispiel sitzt.

00:10:29: und die Idee Embeddings ist eben das ähnliche Worte oder ähnlichen Wortteile, auch ähnliche Vektoren haben.

00:10:39: Also beispielsweise wenn man jetzt bei diesem bleiben wir mal beim dreidimensionalen Raum als Beispiel, wenn wir jetzt das Wort König und Königin in ein Embedding umwandeln dann sind diese beiden Worte sind im Dreidimensionalen Raum sehr nahe beieinander weil sie eine ähnlich Bedeutung haben.

00:11:00: Und mehr noch, du kannst sogar gewisse Operationen damit machen.

00:11:06: Also wenn du jetzt das Wort Königin nimmst und davon Frau abziehst, dass den Vektor von Frau und dem Vektors Mann wieder adiast dann landest du sehr nahe bei dem Ort wo eben der König steht im dreidimensionalen Raum.

00:11:25: Das ist so ein bisschen die Grundsatzprinzip mit dem das funktioniert.

00:11:30: Häufige Wörter, der die Dust König haben ein eigenes Embedding.

00:11:36: Die sind wirklich als ganzes Wort definiert.

00:11:38: und dann gibt es aber eben diese Tokens, die eigentlich zusammengesetzt jedes Wort repräsentieren können.

00:11:46: man kann sich das einfach als Silben eigentlich vorstellen Und die Silben sind so aufgeteilt dass ich dann mit irgendwie... Das sind oft um die Fünfzighundert, Hundertfünfzigtausend einzelne Tokens die eben am Ende es uns erlauben jedes Wort darzustellen.

00:12:05: Jetzt haben wir das Wort.

00:12:06: ein Wort ist aber nur dann sinnvoll wenn ich auch den Kontext rund um dieses Wort herum verstehe.

00:12:12: Das sind dann wieder eigenständige im Bettings oder wie kann man sich das vorstellen?

00:12:17: Ein, dass die im Bedding sind wirklich mal nur das ist einfach der Input.

00:12:21: Das sind nur die Worte oder die Abfolge aller Worte nacheinander und diese Vektoren werden dann eigentlich einfach aneinander gereiht.

00:12:30: Und was dann in modernen Modellen passiert?

00:12:36: Moderne Modelle sind alle Kinder und Kindeskinder des Transformer-Modellen dieses... Landmark paper was von google publiziert wurde.

00:12:48: attention is all you need also jemand der wirklich mal die materie einwählt.

00:12:51: das ist so bisschen auf dem, dass paper auf dem alles basiert ironischerweise von Google publiziert und später von Open AI monetarisiert.

00:12:59: Und zurück zu wie das läuft.

00:13:01: also wir haben jetzt diese Vektoren wir rein die aneinander und in einem Transformer Modell werden die dann eben im kontext gesetzt.

00:13:08: also was da grundsätzlich passiert ist dass wir Eigentlich einfach mal jedes Wort mit jedem anderen multiplizieren, um zu sehen macht diese Relation irgendwie Sinn.

00:13:18: Weiterhin wird auch der Ort des Worts natürlich mit reingenommen in die Berechnung.

00:13:24: also das macht einen Unterschied ob jetzt zwei Worte nebeneinander stehen oder ob sie zehn Worte Platz haben dazwischen und genau so wird das dann miteinander vermengt um am Ende einen Output zu kreieren.

00:13:41: Wir haben den Kontext und jetzt gibt es ja auch noch sowas wie die Tonalität oder das Sentiment, wo?

00:13:48: so was wie Dinge wie Sarkasmus oder solche oder Humor.

00:13:51: Also derselbe Kontakt mit einer anderen Tonalitet hat einfach inhaltlich eine ganz andere Bedeutung.

00:13:58: Wie

00:13:59: kann man das dann einem Computer beibringen?

00:14:01: Ist das einfach nur nochmal die nächste Stufe der Komplexität in der Mathematik?

00:14:06: Oder ist das...

00:14:08: Ja, das ist eine spannende Frage.

00:14:10: Das hat sich auch wirklich verändert wie das gemacht wurde.

00:14:13: also beispielsweise das System was ich da für meine Masterarbeit gebaut habe, dass hat einen spezifischen Zweck das Sentiment zu analysieren.

00:14:23: mit dem Aufkommen von Transformers, BERT Modellen etc.

00:14:29: haben wir einen und die nennen wir.

00:14:31: diese Systeme nennen heute LLMs oder Large Language Models im generellen Und mit dem Aufkommen dieser Systeme haben wir eine große Veränderung.

00:14:42: Durchgeführt und das ist, dass eben die Modelle nicht mehr nur einen spezifischen Zweck erfüllen sondern dass sie relativ generisch sind.

00:14:51: also man bringt ihnen ein allgemeines Textverständnis vor.

00:14:55: Man macht das indem man riesige Mengen an Text ihn füttert und dann sehr generische Aufgaben ihn stellt.

00:15:01: beispielsweise sagt mir welches Wort jetzt sein Ein guter Kandidat wäre als nächstes Wort.

00:15:07: also man gibt einen input Satz und sagt dann welches werden gutes nächstes war?

00:15:10: oder mein nehmt ein wort aus einem satz raus und sagt, welches wort würde jetzt da reinpassen.

00:15:16: Und mit diesem generischen text verständnis.

00:15:20: ist ein LLM eben in der Lage oder sind moderne transformer modelle in der lage.

00:15:26: Verschiedenste Aufgaben zu lösen ohne dass sie ganz explizit auf diesen auf dieser Aufgabe trainiert wurden.

00:15:35: Und dass die Information ist eigentlich in einer sehr abstrahierten Weise im Inneren des Modells verhandelt, also das Modell übersetzt.

00:15:44: dann ich den Input Text eine kondensierte abstrahierte Inhaltsanalyse im Innern des Models und daraus kann man dann verschiedenste Outputs rausholen.

00:15:55: Dann kann man sagen okay ich will jetzt übersetzen oder ich will eine Sentiment Analyse machen oder ich will eben eine Kategorisierung machen.

00:16:02: Das lässt sich dann eigentlich alles aus dem gleichen Modell rausfiltern, oder

00:16:08: rausholen.".

00:16:09: Jetzt kenne ich noch die Zeiten wo du Schwierigkeiten hattest mit ganz unterschiedlichen Sprachen in so einem klassischen Voice of the Customer Programm umzugehen und da war immer ... also vor vielen Jahren war der Königsweg... Du hast das erstmal ins Englische übersetzt und hast dann die Textanalyse gemacht.

00:16:31: wird es heute auch noch so gemacht, weil die Sprache ist natürlich ein weiterer Komplexität.

00:16:36: Eine weitere Komplexitätsstufe.

00:16:39: absolut ja wir haben das tatsächlich lange Zeit auch so gemacht bis vor etwa eineinhalb Jahren, weil eben diese englischen Text-Analyse-Modelle einfach sehr viel weiter vorgeschritten war und ein besseres Verständnis von Englisch als von anderen Sprachen.

00:16:55: Heute ist das anders, heute arbeiten wir eigentlich immer in der Ursprungssprache und es sind auch nicht mehr unterschiedliche Modelle für die verschiedenen Sprachen sondern es ist ein globales Modell welches jetzt.

00:17:08: Egal welche Input sprach es kommt in diese.

00:17:11: diese interne dieses interne Bild des Modells ist sozusagen gültig über alle Sprachen hinweg.

00:17:18: dieser diese Repräsentationen des Inhalts ist für alles Sprachen gleich.

00:17:23: deswegen die Übersetzung machen wir heute immer noch in der App, aber sie dient eigentlich unterdessen hauptsächlich dem Menschen.

00:17:30: Denn die Betrachterin spricht normalerweise nicht fünfzig verschiedene Sprachen und deswegen wird es für den Menschen übersetzt, aber eigentlich nicht mehr für das LLM-Modell oder für das Transforming-Model.

00:17:44: Das führt natürlich dazu dass die Qualität der Analyse durch dieses Vorgehen in jeder Sprache eigentlich gleich gut ist Und vorher hing alles dran, wie gut es von dieser Sprache ins Englische übersetzt hat.

00:17:55: Weil da war der erste Verlust schon weg!

00:17:59: Ich würde nicht ganz so weit gehen dass ich sage ist das wirklich überall genau gleich gut?

00:18:03: und ich glaube die häufigen Sprachen da hat man wahrscheinlich schon immer noch einen leichten Vorteil in der Qualität aber die Unterschiede haben sich sicher sehr stark minimiert.

00:18:15: Es kann immer noch sein, dass gewisse Formulierungen sehr selten vorkommen oder sehr idiomatisch sind für diese Sprache, dass die jetzt vom Modell im Englischen vielleicht noch besser erkannt werden als in einer sehr selbenen Sprache.

00:18:30: Aber die Unterschiede sind unterdessen wirklich sehr klein

00:18:32: geworden.".

00:18:33: Ein

00:18:34: anderes Praxisproblem das ich immer noch bei der Erkennung von Texten beobachtet hatte war wenn du Markenforschung betrieben hast... Entweder als Bild nicht vollständig erfasst wurde und dadurch schon mal schlecht übertragen wurden in die Textform oder dass jemand undeutlich gesprochen hat, um einmal die Marke schlecht verstanden.

00:18:55: Es war aber extrem wichtig das die Marcke eindeutig identifiziert werden konnte oder bestimmte Personen oder ein ganz bestimmter Ort.

00:19:04: wie viel unscharfe Vertragenden solche Modelle beim Erkennen heute?

00:19:11: Und wie hat sich so entwickelt im Laufe der Zeit, wie viel genauer oder wie viel verzeihender ist das geworden?

00:19:18: Ja.

00:19:19: Das ist eine spannende Frage denn das war eigentlich so einer unserer ersten Newscases wo wir gesagt haben da haben wir wirklich jetzt eine Genauigkeit.

00:19:27: Da braucht es eigentlich wenig menschliches Zutun noch für diese halb offenen Fragen oder typische markunggestützte Markenbekanntheitsstudien.

00:19:36: und Es ist aber heute so, dass das immer noch eines der vielleicht schwierigsten Probleme ist.

00:19:44: Also ich glaube für die allermeisten Projekte kommt man auf einen sehr hohen Automatisierungskrat.

00:19:51: Die große Herausforderung ist, dass diese Antworten oft sehr kurz sind.

00:19:56: Man hat einzelne Worte und auch teilweise sehr abstrakte Markenbezeichnungen, gerade wenn du jetzt ein Auto marken längst.

00:20:04: Dann bekommst du irgendwie einen R drei oder so und das ist dann natürlich.

00:20:08: da kann ein Buchstabe ein falscher Buchstabekandar natürlich die Bedeutung komplett verändern.

00:20:15: Und bei einem längeren Text gibt es eben mehr Kontext dazu.

00:20:19: Da gibst Du auch so eine gewisse Fähigkeit hinzu Fehler zu korrigieren weil Du eben den Kontext kennst und das Modell dann sagen kann in diesem Kontext macht dass irgendwie wenig Sinn.

00:20:29: Das ist wahrscheinlich Ein Schreibfehler oder irgendwie ein sollte was anderes heißen eigentlich, während das bei ganz kurzen Nennungen eigentlich nicht gegeben ist.

00:20:40: Deswegen... Es gibt absolut eine gewisse Resilienz, aber die Resilience liegt eigentlich darin Kontext zu geben.

00:20:48: Das ist immer wichtiger geworden in den letzten zwei Jahren dass man den Modellen eben nicht nur den Text an sich vorlegt sondern auch sagt hey das ist ne ungestützte Markenbekanntheitsstudie durchgeführt in Deutschland befragt in diesen Sprachen Und mit diesen Marken, die wir anschauen wollen und das gibt den Modell eben sehr viel mehr an dem es sich halten kann.

00:21:13: Und kommt nicht auf die Idee vielleicht diese Marke als irgendwie japanischen Begriff zu interpretieren?

00:21:22: Also ich halte jetzt mal fest dass wir die Worte und die Bedeutung dieser Worte grundsätzlich relativ gut... erkennen können.

00:21:32: technisch und das sind die Grund, wie das geschieht haben wir jetzt gerade geklärt.

00:21:37: Richtig spannend wird es ja wenn man dann an die Analyse von mehreren hintereinander gefügten Worten also sprich von Texten geht werden.

00:21:45: doch mal ganz praktisch wenn ihr zum Beispiel ein Kunde von euch kommt und sagt ich würde gern mit euch arbeiten und nicht lad.

00:21:51: ich habe hier z.B.

00:21:52: fünfzig tausend völlig unstrukturierte Freitexte die ich aus dem Call Center gezogen habe.

00:22:01: Welche technischen Schritte sind denn da notwendig damit aus so einem nicht aufbereiteten Datensatz, der aus irgendeiner Anwendung im Unternehmen kommt und auf Kundendialogen passiert?

00:22:14: Da nicht nur ein wildes Sprachrauschen entsteht sondern tatsächlich vernünftige Analysen gefahren werden können.

00:22:22: Also welche vorbereitenden Schritte braucht es denn dazu?

00:22:26: Ja das ist auch spannend weil eigentlich weniger als früher.

00:22:31: Heute was ganz konkret passiert, wenn man jetzt Texte hochlädt ist immer noch die Übersetzung und es isst die Anonymisierung.

00:22:39: Anonymisierung einfach weil viele Unternehmen genau im Dachbereich nicht wollen das jetzt Personennamen zum Beispiel genannt werden.

00:22:47: Danach passiert aber grundsätzlich mal nichts weiteres was explizit preprocessed wird.

00:22:54: Früher hat man da ja Lematisierung gemacht oder die Worte werben in ihre Grundform übersetzt oder so.

00:23:00: Das passiert heute gar nicht mehr, sondern wir schmeißen das direkt in das Sprach-Analyse-Modell rein.

00:23:07: Dann passieren aber eine Reihe von Dingen um jetzt eben das herunterzurechnen.

00:23:12: Beispielsweise schauen wir mit einem relativ günstigen Modell mal wirklich alle Texte an versuchen zu erkennen welche Themen kommen vor und schlagen die Themen dann der Nutzerin vor, sodass die Nutzerinnen dann eben sagen kann.

00:23:27: ja das ist jetzt ne das sind Elemente, die ich in der Kategorisierung haben möchte.

00:23:32: Also mal so ein grobes Verständnis zu bekommen welche Themen kommt vor und wie häufig ganz, ganz grob gesagt?

00:23:41: Dann gibt es weitere Modelle die gewisse... Spalten zusammenfassen.

00:23:46: Denn wir wollen nachher, wenn wir das in weitere Modelle reinfügen, wollen wir nicht jedes Mal den ganzen Kontext aller Daten da reingeben sondern einfach eine Zusammenfassung.

00:23:57: um was geht es in diesen Spalten?

00:24:00: Aber wirklich im Sinne von klassischem Pre-Processing passiert da.

00:24:05: eigentlich sind diese Modelle heute die machen das wirklich intern direkt selbst.

00:24:11: Man nennt das so end-to-end Training.

00:24:13: also man trainiert wirklich auf den ganz groben Inputdaten bis zum fertigen Output der Klassifizierung, die man daraus haben will.

00:24:23: Die New Orleans liegt eigentlich mehr in dem Prozess mit dem Menschen.

00:24:29: wie funktioniert das Zusammenspiel zwischen Modell und Mensch?

00:24:33: denn es ist ja nicht einfach so dass man das sagt rein schmeißt und dann kommt die fertige Analyse raus.

00:24:38: Und man kann das machen, aber die allermeisten Kunden wollen natürlich involviert sein und wollen da an verschiedensten Stellen Schrauben, Stellschrauben stellen können um sicherzustellen dass das eben nach ihrem Gutdünken passiert und da daraus kommt was sie auch interessiert

00:24:54: Kannst du auch relativ schnell feststellen ob da oder gibt es dann Datensätze wo du sagst Die sind qualitativ so schlecht.

00:25:04: Das macht eigentlich gar keinen Sinn.

00:25:06: da großartig jetzt weiter viel zu investieren in die Analyse.

00:25:11: und wie stellst du das fest?

00:25:14: Ja, es gibt also.

00:25:16: wir hatten kürzlichen einen Kunden der wollt etwas codieren aber die eigentlichen Inhalte der Texte waren noch im Papierform geschrieben.

00:25:27: Das heißt er hatte nur eine Referenz.

00:25:29: nun mal diakodieren will Ja, dafür ist dann natürlich eine KI-Analyse wenig sinnvoll.

00:25:36: Sonst ist es aber eigentlich... Also der Inhalt ist jetzt nicht ein großes Problem und die meisten Dinge können analysiert werden.

00:25:47: Die Herausforderung ist eher darin dass manchmal Kunden mehr aus den Daten rausziehen wollen als diese eigentlich hergeben.

00:25:54: wenn jetzt Kunden wirklich nur sagen ja war toll finde ich schlecht.

00:26:00: dann lässt sich da beim besten Willen nicht mehr herausholen oder keine größere Nuance herausholen, als was jetzt in den Texten steht.

00:26:09: Das ist glaube ich so ein bisschen das Hauptproblem, was hier manchmal zum Zutage tritt.

00:26:15: Also eher die Erwartungshaltung, der hat doch so viel gesagt, da würde auch irgendwas zufällig für unsere Produkteentwicklung gesagt haben.

00:26:21: aber gefragt war vielleicht etwas ganz anderes?

00:26:24: Genau!

00:26:24: Sie diskutieren

00:26:25: euch ja auch mal geführt.

00:26:27: Und da muss man dann aber vielleicht eher bei der Collection ansetzen, dass man da irgendwie andere Methoden verwendet um bei der Kollektion eben tiefgreifender Inhalte zu bekommen.

00:26:37: Du hast vorhin schon gesagt ihr jagt erstmal ein einfaches Modell drüber, das schaut welche Themen so entstehen und das ist immer ja eigentlich schon beim nächsten richtigen Punkt Kunden.

00:26:46: Verständnis zu den Inhalten entsteht ja dadurch, dass ich zunächst mal schaue ob bestimmte Inhalten besonders häufig oder eher weniger genannt werden.

00:26:57: Jetzt habe ich aber von dir einen Artikel gelesen, wo du gesagt hast letztendlich nur nach Häufigkeiten zu zählen ist absolut nicht ausreichend.

00:27:08: So hat man das früher übrigens ganz brav gemacht.

00:27:11: da haben wir sogar richtig noch händisch gezählt.

00:27:13: Das ist zum Glück ja vorbei.

00:27:15: Aber warum führt ein des manchmal auch auf die komplett falsche Spur?

00:27:20: Ja weil etwas kann sehr häufig genannt sein, aber am Ende eigentlich für das Kundenerlebnis nicht entscheidend sein.

00:27:28: Typisches Beispiel ist der Preis und wir sehen das bei sehr vielen Projekten, dass der Preis oft genannt wird, aber im Ende die Kunden eigentlich trotzdem zufrieden sind.

00:27:37: Und wenn man jetzt da einfach der häufigsten Nennung nachjagt und den Preis halbiert ist es wahrscheinlich nicht im Sinne des Unternehmens.

00:27:47: und was wir da eigentlich immer empfehlen ist auch eine... Treiberanalyse zu machen, sodass man eben quantifizieren kann wie groß ist jetzt wirklich der Einfluss eines Themas auf die Kundenzufriedenheit.

00:27:59: Dazu brauche ich neben dem Freitext auch einen Score.

00:28:03: das ist eigentlich egal welcher es ist.

00:28:05: das kann der NPS sein oder CSAT oder ein Star Rating.

00:28:10: Aber ich brauche diese zwei und diese zwei müssen auch in der ursprünglichen Befragung irgendwie miteinander korreliert werden.

00:28:17: Das ist übrigens auch so, wenn jemand ein neues Programm aufsetzt, ein neues CX-Programm... ...und bis andendlich noch nichts hat mit diesen zwei Fragen einer Ratingfrage und einer offenen Frage.

00:28:30: Wenn ich die richtig kombiniere kann ich bereits sehr tief gehen.

00:28:34: da kann ich wirklich sehr viele Inhalte bereits rausholen Um unter anderem eben auch so eine Treiberanalyse, die mir dann sagt.

00:28:42: Okay der Preis wurde jetzt zwar häufig genannt aber für die Zufriedenheit ist er eigentlich nicht sehr entscheidend währenddessen vielleicht ein Thema was viel weniger häufig genannt wird.

00:28:52: So ein Hidden Driver und hidden Champion ist und angegangen werden sollte.

00:28:57: Aber auch dieses Thema muss ich ja irgendwie mal codiert haben.

00:29:00: wie gehe ich denn vor damit ich ... Ein möglichst optimales Codebook überhaupt erst einmal schaffe?

00:29:08: Ja, ich glaube da komme ich wieder zurück zu diesem Prozess dieser Interaktion zwischen Mensch und KI.

00:29:15: Unsere Philosophie hier ist wirklich die komplette Automatisierung wo auch immer möglich aber die Möglichkeit für den Menschen an jedem Schritt des Prozesses eine Qualitätssicherung vornehmen zu können.

00:29:30: das heißt zum Beispiel eben nicht Schlag.

00:29:32: die KI schlägt natürlich einen Codebuch vor eine Themen-Sammlung.

00:29:36: früher waren das noch Implets, also Industrievorlagen die wir da hatten für Telekommunikation.

00:29:42: Für Versicherungen

00:29:43: etc.,

00:29:44: das ist heute nicht mehr so sondern dass die automatisch generierte Themesammlung basiert wirklich auf den gegebenen Texten um eben sehr viel spezifischer sein zu können.

00:29:53: und dann wird der Nutzerin aber die Nutzerin wird involviert und es wird spezifik gefragt auch vom System.

00:30:03: wie kann man das jetzt verbessern.

00:30:05: Also beispielsweise fragt dann das System, hey ich hab diese zwei Themen entdeckt bin mir aber nicht sicher die sehen relativ ähnlich aus.

00:30:11: willst du dir jetzt wirklich separat behalten oder nicht?

00:30:14: Oder sagt hey ich habe diese Themen gefunden es gibt aber noch diese... ...fünfzehn weiteren Kandidaten die relativ selten vorkommen aber vielleicht sind sie für dich relevant.

00:30:25: willst du da kurz durchschauen ob eins davon dazugenommen werden kann?

00:30:29: Das ist so der erste Schritt vom Codebuch- oder Topic Collection aufsetzen.

00:30:34: Dann Nachher nimmt die KI die Kategorisierung vor, also dass sie da durchläuft über die Texte und jeden einzelnen kategorisiert.

00:30:43: Und dann kann ich aber als Anwenderin möchte da potenziell halt eben nochmal so ein Qualitätscheck machen und schauen stimmt das jetzt oder bin ich da einverstanden?

00:30:53: Hat es den Sarkasmus erkannt!

00:30:55: Und dazu gibt es einen Qualitäterscore dem wir ausweisen.

00:31:01: der zeigt an wie gut jetzt die KI ... dich verstanden hat als Anwender.

00:31:06: Und dann kann ich mit verschiedenen Maßnahmen die KI in die richtige Richtung lenken.

00:31:12: Früher haben wir das Training genannt, ich würde es heute eher so Feinjustierung nennen... Es soll eben nicht mehr so sein dass der Kunde hunderte oder tausende von Beispielen kodieren muss um das System anzulernen sondern mit sehr wenigen Griffen kann hier die KI eben verbessert werden.

00:31:32: Beispielsweise indem ich die Themenbeschreibungen, die die Beschreibung der Codes, die automatisch auch generiert werden, die eben verbessere und da sage was sich genau im Code drin haben möchte oder nicht?

00:31:45: Oder vielleicht wirklich ein zwei sehr komplizierte Beispiele, die falsch gemacht wurden der KI nochmal als Beispiel vorgebe.

00:31:53: aber das Ziel ist wirklich da eigentlich immer weniger manuellen Aufwand besser, die das Verständnis und das Wissen der Anwender in ganz wenigen Iterationen abgreifen zu können.

00:32:11: Jetzt

00:32:12: ist ja das Wissendehranwender vor allem wenn jetzt mehrere Personen an der Analyse arbeiten übersteigt auch des Verständnisses eines einzelnen Anbieters weil jeder sich ein bisschen was anderes darunter vorstellt.

00:32:24: und dann kann es ja auch dazu führen dass man zu viele Themen Sich reinbaut, weil man kennt das von Fragebögen.

00:32:30: Die Demokratisierung des Fragebogen ist so ziemlich der Schlimmste was dir passieren kann.

00:32:34: Jeder sagt ich habe auch noch eine Idee was man noch fragen könnte.

00:32:36: genauso könnt einer sein.

00:32:37: Ich hab auch nur eine Idee welches Thema mal reinbringen kann.

00:32:40: wie viele Themen verträgt denn in der Praxis normalerweise so ein System.

00:32:47: und wann is es zu viel?

00:32:48: Wann ist es zu wenig?

00:32:51: Ja dass ist die Gretchenfrage.

00:32:53: also das ist so ein gutes Kobuch zu kreieren ist es wirklich absolut essentiell, um eine gute Textanalyse rauszubekommen.

00:33:03: Wir sagen oder wenn wir haben eine Analyse gemacht letztes Jahr und uns etwa hunderttausend Studien angeschaut die bei uns analysiert wurden... Die Medianlänge lag oder Anzahl Codes lag glaube ich irgendwo bei vierzig, wenn ich das richtigen Kopf habe.

00:33:21: Achtzig Prozent!

00:33:22: Hast du die andere Hälfte drunter?

00:33:23: Genau

00:33:24: genau Achtzig Prozent bewegen sich irgendwo zwischen fünfundzwanzig und achtzig.

00:33:29: Das ist so.

00:33:29: die typische Bandbreite heißt jetzt aber nicht, dass es komplett falsch sein muss wenn man mehr hat.

00:33:36: Wir haben durchaus ein paar sehr komplizierte Tracker oder sehr große Studien, die eben einen riesigen Themenbereich abdecken beispielsweise auch den Lufthansa Case.

00:33:47: da sind Daten von der Online Buchung übers Check-in bis zum Onboard Experience Und der bergage collection also wirklich die ganze reise der der customer ist dabei und da gibt es dann doch deutlich mehr themen.

00:34:00: das sind dann einige hundert die.

00:34:03: Getrackt werden.

00:34:04: ich glaube der absolute rekord ist von einem automobilkonzern, hat ein Projekt.

00:34:12: das sind glaube ich sieben oder achthundert Themen da die Sie, die Sie tracken wollen aber weil eben auch gewisse es werden sehr viele Einzelteile des Autos.

00:34:21: Ja dann eher so die Qualitätssicherung?

00:34:23: Genau genau.

00:34:24: Aber das Typische ist vielleicht ja Ich würde jetzt mal sagen so mit fünfzig-sechzig Ist.

00:34:29: eigentlich ist man ganz gut dabei normalerweise und ich glaub Man tut sich oft keinen Gefallen wenn man versucht ... künstlich Nuancen reinzubringen, die Texte nicht hergeben.

00:34:40: Also nochmal Beispiel auf Englisch hier was wir oft sehen ist das Kunden haben zwei verschiedene Themen.

00:34:46: einer ist irgendwie Price und einer ist Value for Money... Und dann muss man schon sagen ja okay aber was ist jetzt wirklich der Unterschied so?

00:34:55: Das wird oft sehr wischy-washy und dann leidet am Ende eigentlich die Analyse Qualität.

00:35:04: Das ist im Zweifel auch wieder im Auge desjenigen, der diese Differenzierung eingeführt hat und alle anderen haben den auch schon längst verloren.

00:35:12: Absolut!

00:35:13: Aber

00:35:14: es gibt ja selbst wenn ich das perfekte Codebook mir jetzt erstellt habe, gibt's dann ja wieder im Langfristverlauf das Problem dass sich das auch rächen kann weil ich eben möglicherweise auch neue Elemente falsch zu einem alten code zu.

00:35:32: oder das gab es früher auch schon.

00:35:34: aber wie geht man denn da heute mit um die technologie damit um dass man dieses.

00:35:39: solche probleme vermeidet?

00:35:42: ja ich glaube hier würde ich ein bisschen spezifizieren sagen das hau problem ist nicht unbedingt, falsch zugewiesen wird, sondern mehr dass es vielleicht so einem generischen Thema was schon existierte zu gewiesen wurde.

00:35:55: Währenddessen nicht eigentlich lieber hätte das es als neues Thema aufkommt sodass ich diesen ansteigenden Trend eben identifizieren kann.

00:36:04: Das ist tatsächlich ja eine große Herausforderung für Tracker.

00:36:10: wir versuchen natürlich neue Themen Erkennen also dass man wie gesagt wenn du etwas hochlädst dann haben wir dieses Modell was direkt mal drüber läuft um versucht.

00:36:20: Die häufigen oder die die Häufigkeit verschiedenster Themen herauszufinden unabhängendes Kot Buch sondern wirklich in einer sehr abstrakten Form und daraus synthetisieren wir dann Vorschläge für das Kot Buch, also der Nutzerin dem Nutzer wird dann ein Vorschlag gemacht und gesagt hey dieses Thema.

00:36:41: kommt jetzt doch häufig vor.

00:36:43: möchtest du das vielleicht reinnehmen.

00:36:46: Bei großen Trackern ist es aber natürlich auch so, dass ich da jetzt nicht einfach konstant das Codebuch so ein bisschen wilden Westen mäßig adaptieren will weil doch sehr viele Leute vielleicht da drauf schauen am Ende und sich natürlich auch die Wellen vergleichbar haben will über die Zeit hinweg.

00:37:06: deswegen sehr wichtig, dass man ein Prozess hat.

00:37:10: Wir machen das so mit einem Development und Production Projekt also bisschen aus der Softwareentwicklung inspiriert.

00:37:18: Dass man da auf dem Developmentprojekt kann man dann experimentieren mit neuen Themen die vorgeschlagen werden oder die man auch selbst sagt hey ich habe jetzt herausgefunden oder keine Ahnung.

00:37:28: der Vorstand hat dieses Jahr eine neue eine neue Priorisierung und deswegen will ich hier dieses Thema aufsplitten in fünf Unterthemen, um eben eine genaue Rezuordnung zu bekommen.

00:37:41: Und da kann ich das ausprobieren auf dem Developement-Projekt und dann wenn ich da sehe okay ja das macht so Sinn dass dann in einem Guss rübernehmen ins Produktionprojekt Ja, alles was eben so für Enterprise auch wichtig ist hiermit.

00:37:56: So ein Audit Trail das ich sehe okay in welchem Tag hat sich etwas verändert um das auch nachvollziehen zu können?

00:38:03: am Ende?

00:38:03: Wir

00:38:04: haben jetzt immer über Kategorisierungen gesprochen.

00:38:08: gibt es Text-Analyse Techniken die darüber hinausgehen?

00:38:16: ja Absolut, dass ich glaube die Kategorisierung ist wenn man über Freitext der offenen Nennung CX.

00:38:23: Absolutes Standard oder das was alle dran denken.

00:38:26: es gibt aber auch weitere Technik vielleicht das sind also Übersetzung und so haben wir natürlich auch.

00:38:31: Aber das vielleicht interessantes oder relevanteste ist Entity Extraction Und Das Sehen wir immer mehr das Kunden das auch anwenden das heißt Dass sich aus einem FreiteXT einen bestimmte Entitäten herauslösen will und in eine neue Spalte extrahieren.

00:38:52: Ein typisches Beispiel sind Produktnamen, wenn ich jetzt in meinen Freitexten nennen die Leute Produktname Und ich möchte jetzt dass dieser Produktname jedes Produkt rausgezogen wird in eine Neue Spalter weil dann kann Ich nachher Wenn ich die Analyse mache diese Spalter eben als kategorische Variable verwenden um Nachbestimmten Produkten zu filtern.

00:39:18: Und das können natürlich auch verschiedenste anderes, können Competitors sein, das können Marknahmen sein.

00:39:24: aber diese Entity Extractions etwas was immer mehr aufkommt und was es eben erlaubt auch die Tiefe der Analyse nochmal zu erhöhen mit den Daten die ich eh schon habe.

00:39:40: Jetzt habt ihr eine spezielle Software?

00:39:44: Aber die meisten Menschen experimentieren ja gerade mit klassischen LLMs.

00:39:50: Und wenn ich jetzt an Menschen in der Praxis denke, die sagen naja ich hab jetzt was ist ich?

00:39:58: Tausend Zeilen Feedback das hau' ich jetzt halt einfach mal den ChatGPT hoch oder in Claude oder in Geminal oder was auch immer und frag dann die Software des LM einfach nach den fünf Top Problemen.

00:40:14: Warum reicht das?

00:40:16: oder wann sind die Fälle, wo das nicht mehr ausreicht?

00:40:19: Weil es liefert ja auch ein Ergebnis.

00:40:22: Und diese Systeme haben natürlich auch rasant Fortschritte gemacht.

00:40:28: wenn ich jetzt wirklich wenn ich so sagen wir Ich bin Sitz eines Restaurants und ich möchte meine fünfhundert Reviews einmal im Jahr analysiert haben dann ganz ehrlich schmeißt die in Claude rein.

00:40:41: Ich glaube das ist wirklich eine gute Lösung für diesen Case, du bekommst ungefähr die fünf wichtigsten Themen mit so einer groben Handgelenkmal Pi Estimation der Häufigkeit der Themen und das reicht für diesen case absolut was dieses Thema natürlich wo sie irgendwo an Grenzen stoßen ist wenn ich wirklich ne zuverlässige Quantifizierung haben möchte die über die Zeit konsistent ist, in der ich eben mehr als nur eine Keyword-Analyse habe.

00:41:15: Sondern ich möchte dieses System eben in einer semantischen Art und Weise fein gestieren können.

00:41:22: Ich möchte auch ein System of Record haben, in dem mich jetzt... ...ich möchte nicht einfach die Daten Excel haben sondern möchte da einen Ort haben, indem die Ground Truth abgespeichert wird und wo ich das über die Zeiten weg verfolgen kann.

00:41:38: Also die Qualität, die Reproduzierbarkeit und Last but not least natürlich das ganze drum herum.

00:41:45: Das ganze Interface, dass die ganzen Chartingmöglichkeiten, die Möglichkeiten das eben zu vergleichen mit der letzten Welle einfach im UI Änderungen vornehmen zu können.

00:41:54: wenn ich jetzt einen Code ändern möchte sobald es diesen Threshold überschreitet der gewissen Professionalisierung was ich sagen würde ist dann da, wenn ich ein Insights Team habe.

00:42:06: Also wenn ich einen Insights-Team habe mit welchen Professionellen welche sein Tracker oder Studien mehr als eine Studie im Jahr mit tausend Leuten Dann hab' ich einen gewissen Professionalitätsgrad und dann macht wahrscheinlich auch eine spezifische Software Sinn.

00:42:22: Ich vergleichse immer bisschen gerne mit Buchhaltungsprogramm.

00:42:26: Wenn ich eine Ein-Mann-Firma bin oder ein Fraufirma, dann ist Excel wahrscheinlich eine wunderbare Möglichkeit um eine Buchhaltung durchzuführen.

00:42:39: Wenn ich aber, wenn ich jetzt ein Unternehmen mit zwanzig oder fünfzig oder hundert Leuten habe, dann passiert die Buchhaltungen hoffentlich nicht auf Excel sondern auf einem Programm was eben eine gewisse Professionalität erlaubt.

00:42:53: Ihr Arbeil du hast es vorhin ja gesagt habt ihr arbeit mit Lufthansa.

00:42:57: Und wenn wir jetzt von Professionalisierung reden, ist das ja häufig ein Mengenthema.

00:43:04: Von welchen Mengen?

00:43:05: Von Welchen Größenordnungen sprechen wir denn was da zu analysieren ist?

00:43:11: Weil auch ich nehme auch an, dass hat natürlich Einfluss darauf, ob im LMM für den ganz anderen Gebrauch gestaltet ist, da an seine Grenzen stößt oder eben nicht.

00:43:21: Also die größten Kunden, die analysieren eine mittlere Also im mittleren, einstelligen Millionenbereich Anzahl offener Nennung also mit mit Textinhalte rein Quantitative.

00:43:36: Feedbacks gibt es natürlich noch mehr.

00:43:37: aber so mit Text Inhalten mit Freitext sind wir sowohl bei Lufthansa als auch bei IKEA irgendwo in diesem Bereich.

00:43:46: das sind die größten.

00:43:48: Wir haben dann natürlich sehr viele.

00:43:51: Wir haben unterdessen fast zweihundert Kunden und viele davon sind irgendwo im Bereich zwischen hunderttausend und einer millionen.

00:43:59: Im Jahr und so die sag mal die allerkleinsten cases wo eine software wie wir irgendwo anfängt sin zu machen, die sind so im bereich vielleicht fünf bis zehn tausende Nennungen im jahr.

00:44:13: das ist so die vielleicht der untere der untreffreschung.

00:44:17: vielleicht noch ein kommentar zu den ja LLMs, die du vorher gemacht hast.

00:44:22: Ich glaube mir ist auch immer wichtig zu differenzieren zwischen der Anwendung und dem Modell dahinter.

00:44:29: oder wir verwenden natürlich auch verschiedenste LLMS unter anderem auch von den großen Anbietern von Gemini und Anthropic.

00:44:39: aber ich glaube es ist eben man muss unterscheiden zwischen denen Anwendungen, ChatGPT oder Claude.

00:44:44: Den Consumer Prosumer Anwendung, Chat GPT und Claude und den dahinter liegenden Modellen die diese Anwendungs sind eben für die einfachen Cases ganz okay.

00:44:57: ab einer gewissen Professionalität Stufe ist das nicht mehr das richtige Tool um diese Analyse durchzuführen.

00:45:04: Die Modelle dahinter die wie gesagt sprechen wir trotzdem manchmal an aber halt in der sehr spezifischen Art und Weise.

00:45:13: Und wir haben natürlich da eine sehr große Erfahrung jetzt, wie man aus diesen LLMs eben qualitativ hochwertige Ergebnisse bekommt die eben auch Standards der Reproduzierung erfüllen und die eben eine Indikation wo wir ein Indikations über die Qualität geben können und wo wir diese Feinjustierung ermöglichen können etc.

00:45:33: etc.

00:45:34: also Vielleicht noch mal damit man sich das vorstellen kann, wenn ich jetzt die normalen, so einen normalen Chat habe.

00:45:40: Das ist die Oberfläche, die du meinst für den normalen Anwender.

00:45:44: und was ihr macht?

00:45:45: Ihr ruft es praktisch über eine Schnittstelle direkt in dieses, ihr macht diese Abwicklung direkt über eine Stittstelle mit dem dahinter liegenden professionellen Programm und gebt die Parameter auch ganz technisch viel technischer und strukturierter mit.

00:45:59: Exakt!

00:45:59: Ich glaube das beschreibt sehr gut.

00:46:01: ja okay

00:46:03: Jetzt is ja ein großes Thema in der Diskussion immer das.

00:46:08: ehrlich gesagt ich kann es auch fast nicht mehr hören.

00:46:11: Wenn du denkst, dass war bisher schon komplex jetzt habe ich auch noch Agenten die dann unabhängig voneinander arbeiten können.

00:46:17: Es gibt also so was wie Agentic Insights, es gibt Insights Agents.

00:46:20: kein Mensch weiß was da eigentlich wie man das alles dann voneinandersauber abgrenzen kann.

00:46:26: ist das nur Marketinggequatsche oder ist es tatsächlich ein ganz anderes Vorgehen?

00:46:34: Ähnlich wie wir jetzt gesehen haben, wie sich die Sentimentanalyse entwickelt hat.

00:46:38: Ist das jetzt bei Agenten?

00:46:39: wird es sich noch mal wesentlich verändern?

00:46:43: Ja da muss ich zugeben sind wir mitschuldig an diesem Marketing-Bus.

00:46:50: Wir haben auch einen Inside-Agent.

00:46:52: Wir haben tatsächlich vor drei Jahren den Inside Chat gestartet indem man eben Insights in der Chatform abgreifen kann, haben den dann umbenannt zu Inside Agent im letzten Jahr.

00:47:07: und die Idee dahinter oder der Grund auch dieser Entwicklung ist dass die Entwicklung dieser Agenten eben weggeht von nur Analysen machen zu können sondern auch dahingehend das sie eben Aktionen ausführen können.

00:47:26: Ein Beispiel jetzt ganz spezifisch also bei uns kannst du in den Agenten fragen Was ist das Thema, was den NPS-Score auf Flügen zwischen Berlin und JFK am meisten in die Tiefe gedrückt hat im letzten Monat?

00:47:41: Und damit kommst du in eine Lüse.

00:47:42: Das macht diese Analyse!

00:47:45: Der Agentic Teil ist aber auch dass Du jetzt halt dem System sagen kannst Ich bin nicht ganz zufrieden mit der Kategorisierung, schau mir das mal an und passe dann direkt die Themenbeschreibungen entsprechend an oder spalte dieses Thema in fünf neue Subthemen auf.

00:48:06: Und der Agent nimmt diese Änderung dann auch direkt vor.

00:48:11: also da muss ich halt nicht mehr selbst im UI rumklicken und da vielleicht ein bisschen mehr Verständnis noch haben von der Software um diese Äinderung vornehmen zu können sondern der Agent übernimmt eigentlich Teile dieser Arbeit im UI direkt.

00:48:26: oder ich kann eben sagen, kreiere mir eine neue Spalte in der jetzt die Produktnamen extrahiert werden und der Agent nimmt dann diese Änderung im System direkt vor ohne dass sich als Nutzer im UI rumklicken muss.

00:48:43: Und deswegen bin ich schon sehr überzeugt davon das es nicht nur Marketing-Bus ist sondern dass das einen großen, großen Mehrwert bietet den verschiedensten Nutzern.

00:48:54: Ich war mir am Anfang nicht so ganz sicher für wen sind die Agenten?

00:48:57: Sind sie für die Profi-Nutzer oder sind Sie für solche Nutzer, die die App noch nie gesehen haben?

00:49:04: und da dessen glaube ich es kann wirklich für beide einen großen Mehrwerb bieten.

00:49:08: Es ist ein viel einfacher Einstieg in die App.

00:49:12: wenn ich eine direkte Fragestellung habe und ein Ziel vor Augen dann kann ich das mit dem Agenten sehr viel schneller erreichen.

00:49:20: Es ermöglicht aber auch den Profis einfach einen größeren Mengen und kurzeren Zyklen, die die Analysen durchzuführen.

00:49:29: Und es ist ja möglich eben auch Leuten, die vielleicht sonst gar nie in den Genuss dieser Insights kämen weil der Prozess eine neue App zu lernen ein Zugang zu bekommen und dann da eine Analyse aufzusetzen.

00:49:45: das hat sie sozusagen gehindert daran die App zu nutzen.

00:49:49: Und heute haben wir zum Beispiel mit Integration in Microsoft Teams oder Slack.

00:49:55: Können jetzt auch Produktleute oder Marketing-Leute, können einfach eine Frage stellen dem Agenten und der Agent beantwortet diese Frage dann direkt in Teams oder Slack?

00:50:06: Du musst da nicht gar nicht mehr in die App reingehen um davon profitieren zu können.

00:50:12: Das kann fluchend zägen sein!

00:50:15: Weil ne Antwort kriegst du natürlich immer Guter Researcher kann dir zumindest diese Antwort einordnen, wenn du aber nicht viel Erfahrung hast.

00:50:26: Das ist wie Fragebogen gestalten oder sonstige Dinge.

00:50:29: Wenn du nicht viel Erfahrungen hast dann meinst du es war richtig.

00:50:33: in Wirklichkeit bist du einfach nur einem klassischen Irrtum einer klassischen im klassischen Pliesing des Agenten aufgesetzt der dir halt jetzt auch ein Ergebnis liefert obwohl die Frage schon dämlich war.

00:50:46: und ich frage mich bei solchen Systemen, dass die jetzt praktisch diese Schrittstelle bedienen.

00:50:54: Welche Rolle du

00:50:57: da

00:50:58: zächtlich noch siehst für die klassischen Forscher, die sich ja dann anpassen müssen?

00:51:03: Weil das ist genau ihre Konkurrenz!

00:51:05: Es muss ja dann irgendeinen Grund geben können warum.

00:51:08: ich sage Ich mach's doch nicht selber so.

00:51:09: Ich frag lieber den Maurice selber nochmal oder jemand aus dem Team oder jemand in meiner Firma, der sich damit auskennt Was muss man mitbringen, damit man dann in so einer Konkurrenz noch bestehen kann?

00:51:24: Wo der andere vielleicht nicht mal richtig einordnen kann ob ihm das wirklich so viel nutzt.

00:51:28: Weil eine Antwort kriegt er ja auch so.

00:51:31: Ja es ist natürlich so die der Agent ich würde mal sagen die Gefahr dass vielleicht einen Schritt zurück noch wegen den Pliesing oder falsche Informationen Ich glaube Die heutigen Agenten und unsere Erfahrung damit Falsch Resultate liefern quantitative falsch ist sehr, sehr selten.

00:51:55: Aber was natürlich passiert ist dass sie manchmal jetzt eine.

00:52:01: Sie machen ein Vergleich einmal mit der einen Spalte und einmal mit den anderen Spalten.

00:52:05: diese Spalten haben gewisse Differenzen und dann kommt ein anderes Ergebnis raus.

00:52:09: beide quantitativ richtig aber halt auf einer anderen Datenbasis gemacht.

00:52:15: das ist eine Herausforderung absolut.

00:52:18: ich würde aber sagen, die Insights-Teams oder CX-Teems tun eigentlich gut daran nicht der Verbreitung von Insights im Wege zu stehen.

00:52:33: Sondern ich glaube es kann auch eine Möglichkeit sein eben überhaupt den Zugang zu ermöglichen für viele Leute zu diesen Insights.

00:52:41: und wenn Produkt Mensch, irgendeine Fragestell.

00:52:46: Vielleicht eine Follow-up Frage und dann kann ich ja viel gezielter zum Insight Team gehen und so sagen hey könnt ihr mir hier helfen diesen diese zwei unterschiedlichen Antworten des Agenten zu verstehen?

00:52:57: Und das irgendwie was da mit gemeint ist oder was soll ich jetzt damit machen?

00:53:02: Diese Frage wäre sonst wahrscheinlich gar nie zum Insights Team gekommen weil wenn Ich jetzt von Anfang an, ich weiß ja nicht mal welche Daten da drin sind.

00:53:11: Ich weiß noch nicht genau, welche Fragen ich stellen kann und dann müsste ich wie ein Meeting aufsetzen mit dem Insights Team um das überhaupt mal kennen zu lernen Das würde dann einen Moment dauern bis es zustande kommt etc.

00:53:24: Der Weg dahin ist mit so vielen... Da sind so viele Hürden zu überspringen dass ich glaube sehr viele Teams diesen Aufwand im Moment gar nicht auf sich nehmen um Fragen zu stellen.

00:53:36: Und ich glaube eine Möglichkeit, die es bietet.

00:53:39: Es werden mehr Fragen gestellt.

00:53:41: Ja, es gibt ein gewisses Risiko dass ein paar da vielleicht falsch interpretiert werden aber es gibt auch sehr viele Möglichkeiten das Insights Team eben mit einbezogen wird in Bereiche wo sie vorher nie dazugekommen werden.

00:53:56: Jetzt war Agenten mein verhasstes Buzzword aus diesem Jahr.

00:54:02: zum Abschluss Die Frage an dich gibt es einem was im Bereich der künstlichen Intelligenz, wo du sagst das kann ich jetzt beim besten Willen nicht mehr hören weil das wird völlig übertrieben dargestellt oder da sind wir noch ganz weit weg davon.

00:54:16: Oder dass ist schon längst durch?

00:54:21: Ja also dieses AGI oder Artificial General Intelligence sagen wir vielleicht noch spezifischer die Singularity Das ist ein bisschen schon so ein bisschen Punkt der mir manchmal ein bisschen genervt.

00:54:36: Also wo

00:54:36: die KI so weit intelligent geworden ist, dass sie ein eigenes Leben und eigenes Bewusstsein entwickeln?

00:54:41: Genau genau, als sei das so ein Punkt in dem sich alles plötzlich schlagartig ändern würde weil jetzt diese Schwelle überschritten wurde der allgemeinen Intelligenz.

00:54:56: ich habe nicht das Gefühl, dass es ein zielführendes Konzept ist.

00:55:01: Ja, jeder berühmte KI-Firma hat da irgendein Paper drüber veröffentlicht.

00:55:08: Das habe ich unterdessen wenig Lust das zu lesen.

00:55:12: Alles klar Maurice!

00:55:13: Ganz herzlichen Dank, dass du die Zeit genommen hast es auch sehr fundiert zu erklären.

00:55:17: Genau dafür haben wir diese Folge mal gemacht.

00:55:20: Vielen herzliche Dank.

00:55:22: Danke dir Peter und schönen Tag noch.

00:55:35: Das war Maurice Gonzenbach, Mitbegründer und CEO von Kaplena.

00:55:40: Mehr Informationen zu Maurice und Kaplener findest Du wie immer in den Shownotes!

00:55:46: Und damit sind wir am Ende der heutigen Sendung von CXTalks angekommen.

00:55:50: Wenn Dir diese Folge gefallen hat und du auch in Zukunft keine Insights aus der Welt des Customer Experience Management verpassen möchtest dann abonniere jetzt unseren Podcast auf Spotify, Apple Podcast oder der Plattform Deiner Wahl.

00:56:04: Lass uns auch gerne eine fünf Sterne Bewertung da, denn das hilft uns noch mehr CX Professionals wie Dich zu erreichen und die Community weiter wachsen zu lassen.

00:56:14: In vierzehn Tagen geht's weiter – bis dahin bleibt gesund, optimistisch und immer mit dem Kunden im Herzen!

00:56:29: Das war CXTalks der erfolgreichste deutschsprachige Podcast für Customer Experience Management.

00:56:38: Mehr Informationen zu CXTALKS findest Du im Newsletter des EZEM Hoffentlich in und unter www.cx-tux.com.