Wenn Tabellen sprechen

Unternehmenswissen mühelos abrufen

Wir bei [at] glauben an eine Zukunft, in der Unternehmen ganz unkompliziert über Chat-Anwendungen auf ihr gesamtes Wissen zugreifen können. Der erste Schritt dahin: unseren Kunden den Zugang zu ihrem expliziten Wissen zu erleichtern – also zu den strukturierten und dokumentierten Informationen, die bereits in Datenbanken, Tabellen oder internen Plattformen vorliegen.

Implizites Wissen hingegen entsteht durch Erfahrung und ist oft schwerer zu greifen. Doch auch solche Information lassen sich erfassen und in einem zweiten Schritt in explizites Wissen überführen – etwa durch die Auswertung von Videoaufnahmen oder ähnlichen Formaten.

Explizites Wissen liegt in unterschiedlichen Formaten vor – etwa in Datenbanken, Tabellenblättern, Dokumenten, Präsentationen, Intranet-Seiten, Wissensplattformen, Codebasen und vielem mehr (siehe Abbildung 1). Damit dieses Wissen gezielt und effizient abgerufen werden kann, unterscheiden wir zwischen zwei zentralen Datentypen:

• Textbasierte Daten lassen sich besonders gut über Retrieval-Augmented Generation (RAG) abfragen.
• Tabellarische Daten hingegen sind am flexibelsten über eine agentenbasierte Chat-Lösung zugänglich – etwa durch die Ausführung von SQL- oder Python-Code.

Diese Unterscheidung hat einen technischen Hintergrund: Die in RAG-Systemen verwendete Vektorsuche funktioniert besonders gut mit der sequenziellen Struktur von Texten, die sich in logische Abschnitte zerlegen und in einem Vektorraum darstellen lassen. In Tabellen oder Datenbanken hingegen sind zusammenhängende Informationen oft nicht direkt nebeneinander angeordnet. Eine agentenbasierte Chat-Anwendung kann hier gezielt die relevanten Daten aus verschiedenen Bereichen einer oder mehrerer Tabellen zusammentragen.

Um die verschiedenen Möglichkeiten des Dialogs mit Unternehmensdaten aufzuzeigen, starten wir eine Blogserie, in der wir drei innovative Ansätze vorstellen, mit denen sich explizites Wissen gezielt nutzbar machen lässt:

1. Agentic Chat with Tabular Data: Vereinfachung des Zugangs zu tabellarischen Daten durch Abfragen in natürlicher Sprache.
2. Graph RAG: Nutzung der Leistungsfähigkeit von Graphenstrukturen für die Wissensabfrage.
3. Agentic RAG: Nutzung von agentengesteuerten Methoden zur Extraktion und Interpretation von Wissen aus komplexen Quellen.

In diesem Blog starten wir mit der Anwendung Agentic Chat with Tabular Data. Sie zeigt, wie die Möglichkeit des Fragestellens in natürlicher Sprache die Interaktion mit tabellarischen Daten grundlegend verändert – und den Zugang zu wertvollen Informationen deutlich vereinfachen kann.

Chatten mit tabellarischen Daten – aber wie?

Im Kern einer Chat-Anwendung für tabellarische Daten steht ein agentenbasiertes System, das auf Large Language Models (LLMs) basiert. Anders als einfache RAG-Systeme, die für textbasierte Daten eingesetzt werden, bedarf es hier KI-Agenten, um den mehrstufigen Prozess der flexiblen Informationsbeschaffung aus Tabellen per Chat zu steuern. So läuft der Abrufprozess ab:

1. Verarbeitung natürlicher Sprache: Das System verarbeitet und interpretiert Benutzereingaben, die in natürlicher Sprache verfasst sind, wie z.B. „Was sind die wichtigsten Bestellungen, die heute verschickt werden müssen?“
2. Dynamische Abfragegenerierung: Auf Grundlage der Benutzereingaben erstellt die Anwendung SQL- oder Python-Queries und führt sie in angeschlossenen Datenbanken oder Excel-Tabellen aus.
3. Antwort in natürlicher Sprache und optionale Visualisierung: Die Ergebnisse der Datenabfragen werden dem Benutzer in Form einer Antwort in natürlicher Sprache auf die Eingabeaufforderung zurückgegeben. Neben der reinen Textausgabe kann die Chat-Anwendung optional Diagramme, Tabellen oder Grafiken erstellen, um die Daten effektiver zu präsentieren.

Diese nahtlose Interaktion überwindet technische Hürden und ermöglicht sowohl internen als auch externen Nutzern den einfachen Zugriff auf tabellarische Daten - was für eine Vielzahl von Anwendungsfällen genutzt werden kann.

Wie KI-Agenten zusammenarbeiten

Die Chat-Anwendung für tabellarische Daten besteht aus LLM-basierten Agenten, die als Team zusammenarbeiten, um Benutzerfragen zu beantworten. KI-Agenten sind im Grunde Large Language Models, die bestimmte Rollen erfüllen, die einmalig in ihrem sogenannten Systemprompt definiert werden müssen. Diese Agenten kommunizieren miteinander und sind mit verschiedenen Werkzeugen (z.B. Python-Funktionen) ausgestattet. Eine Einführung in Multi-Agenten-LLM-Systeme und einen detaillierteren Überblick über verschiedene Architekturen von Multi-Agenten-Systemen finden Sie in unserem Unternehmensblog.

In unserem Fall arbeiten die einzelnen LLM-basierten Agenten zusammen, um eine Frage auf der Grundlage von Tabellendaten zu beantworten. Der spezifische Aufbau des Multi-Agenten-Systems kann variieren, aber typischerweise ist mindestens ein Manager-Agent und ein Coding-Agent Teil des Agententeams. Der Manager-Agent nimmt die Frage des Benutzers entgegen und erstellt einen Plan, indem er sie in umsetzbare Aufgaben für den/die anderen Agenten übersetzt. Anhand dieser Aufgaben erstellt der Coding-Agent den Code und führt ihn auf den Tabellendaten aus. Wenn das Ergebnis für den Manager-Agenten zufriedenstellend ist, fasst er die Ergebnisse der Datenabfrage zusammen und sendet sie an den Benutzer zurück (siehe Abbildung 2).

Neben der individuellen Rollendefinition sollten die Systemprompts der Agenten mit zusätzlichen Metadaten angereichert werden – dazu gehören unter anderem Informationen zum allgemeinen Geschäftskontext, das Datenbank- oder Tabellenschema sowie Erläuterungen zu den Spaltennamen und deren Inhalt. Zusätzlich lässt sich durch die Einbindung eines separaten Wissensagenten auch unternehmensspezifisches Fachwissen ins System integrieren.

Grundsätzlich gilt: Je besser die Agenten das zugrunde liegende Datenverständnis mitgegeben bekommen, desto eindeutiger und gezielter können sie agieren – ein entscheidender Faktor für zuverlässige Abfragen und Analysen.

Hinsichtlich der Auswahl des zugrundeliegenden LLMs gibt es verschiedene Optionen: Zum Einsatz können sowohl aktuelle proprietäre Modelle kommen – etwa die GPT-Modelle von OpenAI, die über eine API angebunden werden – als auch lokal gehostete Open-Source-Modelle, je nach Anforderungen und Rahmenbedingungen.

Das richtige Maß an Flexibilität

Ein weiterer zentraler Aspekt beim Aufsetzen der Chat-Anwendung ist der Trade-Off zwischen Systemflexibilität und Antwortqualität.

Grundsätzlich gilt: Je weniger flexibel das System bzgl. der Bandbreite an Fragen als Input und der Handlungsoptionen der Agenten ist, desto verlässlicher sind in der Regel die Antworten – vor allem dann, wenn die zugrunde liegenden Daten unvollständig oder schlecht beschrieben sind. Sind die Daten hingegen von hoher Qualität und gut dokumentiert, kann ein flexibleres System punkten: Es ist in der Lage, ein breites Spektrum an Nutzerfragen zu beantworten und kann sich sogar eigenständig von kleineren Codierungsfehlern erholen – ganz ohne manuelle Eingriffe. Das optimale Maß an Flexibilität hängt also stark vom jeweiligen Use Case und der Qualität der verfügbaren Daten ab.

Für ein sehr flexibles System mit einer unbeschränkten Bandbreite von Datenabfragen als Eingabe benötigen wir KI-Agenten mit hohem Freiheitsgrad, wie in Abbildung 2 dargestellt. In diesem Fall muss der Coding-Agent in der Lage sein, flexibel Python-Code oder SQL-Abfragen zu generieren, z.T. in mehreren Iterationen, bis der Manager-Agent die Codeausgabe als endgültige Antwort akzeptiert. Der große Handlungsspielraum, den das System dadurch hat, kann sich nachteilig auf die Antwortzeit und die Qualität der Antworten auswirken, insbesondere bei schlecht beschriebenen und unsauberen Daten.

Eine Möglichkeit, die Antwortqualität zu verbessern, besteht darin, den Umfang möglicher Nutzeranfragen auf einfachere Fragen zu begrenzen. Alternativ lässt sich das agentenbasierte System auch so gestalten, dass es deterministischer arbeitet – etwa indem es keinen eigenen Code mehr generiert, der auf die Daten angewendet wird.

Für ein solches Setup wird ein Katalog der häufigsten Nutzerfragen erstellt, jeweils mit den dazugehörigen, von Menschen verfassten SQL- oder Python-Code-Zeilen, die zuverlässig die gewünschten Daten liefern. Die Fragen dieses Katalogs werden in eine Vektordatenbank eingebettet und bilden die Grundlage für ein RAG-System. Neue Nutzeranfragen werden dann mit den im Vektorraum eingebetteten Katalogfragen abgeglichen.

Gibt es eine ausreichend hohe Übereinstimmung mit einer existierenden Frage, wird der im Katalog hinterlegte SQL- oder Python-Code vom Coder-Agenten ausgeführt. Das Ergebnis wird anschließend – wie gewohnt – aufbereitet und dem Nutzer als Antwort zurückgegeben.

Lässt sich eine neue Nutzerfrage nicht mit einer bestehenden Katalogfrage abgleichen, wird ein Arbeitsauftrag für einen menschlichen Analysten erstellt. Dieser ergänzt den richtigen Code für die Datenabfrage samt zugehöriger Nutzerfrage im Katalog. So wächst der Fragen- und Antwortbestand kontinuierlich und deckt mit der Zeit ein immer breiteres Spektrum an Nutzeranfragen ab. Die so ausgestaltete Chat-Lösung ist in Abbildung 3 dargestellt.

Praktische Anwendungsfälle in verschiedenen Branchen

[at] hat die Vielseitigkeit agentenbasierter Chat-Anwendungen bereits in Projekten mit Kunden aus unterschiedlichsten Branchen unter Beweis gestellt – überall dort, wo sich neue Potenziale durch schnellen, dialogbasierten Datenzugriff erschließen lassen:

• Konsumgüter: Kunden können sich mit einer agentenbasierten Chat-App, die im Hintergrund eine tabellarische Datenbank abfragen kann, direkt über verschiedene Produkte informieren: „Wann ist diese Version des Bettes wieder verfügbar?“
• Logistik: Supply-Chain-Teams können Aufträge einfach per Chat priorisieren, z.B. „Was sind die wichtigsten Bestellungen, die heute verschickt werden müssen?“
• Fertigung: Ingenieure können Fehler in der Produktionslinie schnell zurückverfolgen, z.B. mit der Frage „Welche Sensoranomalie ging dem aktuellen Produktionsstopp voraus“? Eine ausführlichere Beschreibung eines solchen Anwendungsfalles finden Sie in unserer Kundenreferenz zum Qualitätsmanagement bei einem Automobilhersteller oder unserem Artikel über das Zusammenspiel von KI-Agenten und Sensordaten.
• Transport: Administratoren können Daten zur Kundenzufriedenheit analysieren und daraus lernen, z.B. mit Ad-hoc-Fragen wie „Was war die häufigste Beschwerde letzte Woche in Berlin?“

Diese Beispiele zeigen, wie eine agentenbasierte Chat-Anwendung die Interaktion Ihres Unternehmens und Ihrer Kunden mit tabellarischen Daten verändert, Zeit spart und Ihre Teams in die Lage versetzt, bessere Entscheidungen zu treffen.

Mehrwert für Ihr Unternehmen schaffen

Der Mehrwert einer agentenbasierten Chat-Applikation für tabellarische Daten ergibt sich aus ihren einzigartigen Stärken und aus der Möglichkeit, sie mit einem RAG-System zum Abrufen von Informationen aus Texten zu kombinieren.

Die Flexibilität einer Chat-Anwendung für tabellarische Daten ist besonders wertvoll in dynamischen Umgebungen – etwa dort, wo sich die Ausgangsbedingungen von Prozessen regelmäßig ändern, wie bei der Bearbeitung von Kundenanfragen oder der Priorisierung von Sendungen. Auch für spontane Datenabfragen und Ad-hoc-Analysen eignet sich die Anwendung ideal – zum Beispiel, um Fehler oder Störungen in Produktionssystemen auf Basis von Sensordaten oder anderen Betriebskennzahlen schnell zu identifizieren. Wird die App zusätzlich mit Informationen aus Handbüchern oder technischer Dokumentation angereichert, kann sie sogar Lösungsvorschläge liefern – eine echte Hilfe für das technische Personal vor Ort.

Gerade bei Chatbots, die Mitarbeitenden oder Kunden Informationen bereitstellen, macht zudem der kombinierte Zugriff auf tabellarische und textbasierte Daten häufig den entscheidenden Unterschied – sei es bei der Servicequalität oder bei der Reaktionsgeschwindigkeit.

Der Mehrwert einer Chat-Anwendung für tabellarische Daten zeigt sich daher insbesondere in folgenden Punkten:

1. Zeitersparnis & höhere Kundenzufriedenheit: Weniger Personalzeit für die Beantwortung von Mitarbeiter- oder Kundenanfragen, während gleichzeitig immer die neuesten Daten bereitgestellt werden.
2. Kostenersparnis: Reduzierte Personalkosten und kürzere Stillstandszeiten von Maschinen oder Anlagen – dank schnellerer Identifikation und Behebung von Fehlern.
3. Qualitätsverbesserungen: Unterstützung bei der Verbesserung von Prozessen, wie der Priorisierung von Sendungen, um die Servicequalität und die Kundenzufriedenheit zu verbessern.
4. Verbesserte Entscheidungsfindung: Der schnellere Zugriff auf tabellarische Daten ermöglicht schnellere und fundiertere Entscheidungen, die die Effizienz steigern.

Stabilität und Sicherheit im laufenden Betrieb

Um einen benutzerfreundlichen, konformen und zuverlässigen Betrieb zu gewährleisten, sind Integration und Sicherheit bei der Bereitstellung Ihrer Chat-Anwendung für die Abfrage von Tabellendaten entscheidend:

• Produktive Nutzung und Integration: Stellen Sie sicher, dass sich die Anwendung nahtlos in bestehende Geschäftsprozesse und die IT-Infrastruktur einfügt. Bewerten und überwachen Sie außerdem kontinuierlich die Leistung des KI-Agentensystems auf der Grundlage eines Evaluationsdatensatzes, d.h. Paare von Nutzerfragen und menschlichen Antworten zu den tabellarischen Daten.
• Datensicherheit & KI-Sicherheit: Betreiben Sie das agentenbasierte System in einem isolierten (Sub-)Netzwerk, um ein Durchsickern von Daten an Dritte oder das Internet zu verhindern. Darüber hinaus können Sie Code automatisch auf Schwachstellen überprüfen lassen, bevor Sie ihn von Agenten ausführen lassen.
• Datenschutz: Die Anwendung sollte Datenschutzvorgaben wie die DSGVO zuverlässig erfüllen – etwa durch die Implementierung von rollenbasierter Zugriffskontrolle und Datenmaskierung. So wird sichergestellt, dass sensible Daten vor unbeabsichtigtem Zugriff geschützt sind. Zusätzlich empfiehlt es sich, die Berechtigungen für Datenbankverbindungen gezielt zu begrenzen, um potenzielle Risiken zu minimieren. Da KI-Agenten auch SQL-Abfragen generieren können, die Daten verändern oder löschen können, sollten entsprechende Nutzerkonten ausschließlich mit Lesezugriff ausgestattet werden – um unbeabsichtigte Änderungen sicher auszuschließen.

Mit diesen Maßnahmen lässt sich die Chat-Anwendung sicher und datenschutzkonform in den produktiven Betrieb überführen – und zuverlässig betreiben.

Bei [at] bringen wir Erfahrung aus über 2.500 Daten- und KI-Projekten mit und begleiten unsere Kunden als vertrauensvoller Partner entlang der gesamten Data Journey – von der Datenstrategie über Data Science und Data Engineering bis hin zu DevOps und MLOps.

Fazit

Durch die Kombination aus natürlicher Sprachverarbeitung und intelligenter Ausführung von Code machen agentenbasierte Chat-Anwendungen tabellarische Daten für unterschiedlichste Anwendungsfälle in Ihrem Unternehmen zugänglich. Ob zur Optimierung des automatisierten Kundensupports, für eine schnellere Problemlösung im technischen Bereich oder um Stakeholdern sofortige Einblicke zu ermöglichen – diese Technologie eröffnet völlig neue Effizienzpotenziale. Unternehmen, die bereit sind, diese Innovation frühzeitig zu nutzen, verschaffen sich in einer zunehmend datengetriebenen Welt einen klaren Wettbewerbsvorteil – indem sie alltägliche Daten in einen strategischen Erfolgsfaktor verwandeln.

Sie wollen herauszufinden, welchen Mehrwert KI-Agenten in Ihrem Unternehmen schaffen können? Lassen Sie uns sprechen!