Informationen liegen nicht nur im Unternehmen an verschiedenen Orten. Kunden der Open Telekom Cloud (OTC) von T-Systems finden Informationen nicht nur auf der offiziellen Webseite, sondern auch in technischen Hilfeseiten, Communitynotes und anderen Quellen. Nutzer mussten somit zunächst wissen, an welchem Ort überhaupt nach einer Antwort gesucht werden soll.
Seit Juli 2024 ist auf der Webseite der OTC der erste, freiverfügbare und extern gerichtete KI-Chatbot von amberSearch zu finden. Als Experte für das systemübergreifende Chatten und Suchen für interne Anwendungsfälle ist amberSearch über Techboost schon lange Partner der Telekom und hostet seine Software auch standardmäßig auf der OTC. Nun wurde die bestehende Infrastruktur genutzt, um das öffentliche OTC-Wissen zentral zugänglich zu machen – natürlich DSGVO-konform.
Inhaltsverzeichnis
Umsetzung des KI-Chatbots
Für die Realisierung setzte man auf die Kombination der Stärken von Künstlicher Intelligenz in Kombination mit Retrieval Augmented Generation (RAG). In nur 7 Wochen wurde der Chatbot inkl. Anbindung an die verschiedenen Systeme realisiert.
„Als Open Telekom Cloud haben wir verschiedene Berührungspunkte mit Künstlicher Intelligenz“, weiß Norbert Brüll, Senior Service Manager, „als KI-Anbieter verfolgen wir verschiedene KI-Initiativen mit unseren Partnern“. Dazu gehören u.a. die Bereitstellung von Entwicklungs- und Trainingsumgebungen (u.a. via ModelArts), Daten-Pipelines, der DSGVO-konforme Betrieb von KI-Services oder das Angebot eines LLM Hub.
„Mit dem aktuellen Projekt haben wir die Perspektive gewechselt und uns auf den Standpunkt eines KI-Anwenders gestellt. Wir wollten die Möglichkeiten von KI für uns und unsere Kunden erkunden“, so Brüll. Der Anwendungsfall war schnell gefunden – auch in der Open Telekom Cloud herrscht ein typisches Enterprise-Problem: viele Daten sind an vielen verschiedenen Ecken „verstreut“. Anwender und Nutzer (sowohl intern als auch extern) müssen häufig suchen, bis sie die richtigen Informationen finden. Die Lösung liegt – in KI-Zeiten – in einem intelligenten Suchassistenten, der alle Quellen anzapft und die Informationen in einer griffigen Antwort zusammenfasst.
„Eine Enterprise Search bzw. ein intelligentes Knowledge Management reduziert Suchaufwände in solchen Fällen um durchschnittlich 40 Prozent“, erläutert Bastian Maiworm, der Gründer und Geschäftsführer von amberSearch, „die Produktivitätsgewinne liegen auf der Hand“.
Im Mai 2024 starteten amberSearch und die Open Telekom Cloud das Projekt, um den neuen KI-basierten Chatbot auf die Beine zu stellen. Die Basis dafür waren Dienste, die das Start-up bereits entwickelt hatte und die nun als Standardprodukt schnell und einfach verfügbar sind. Dazu zählen die semantische Suche „amberSearch“ und das Frage-Antwort-System „amberAI“, die auf einem selbst entwickelten und trainierten Large Language Model (LLM) basieren. In der Basisversion fungieren die amberSearch-Dienste als eine Art ChatGPT, um das unternehmensinterne Wissen zu finden und mit diesem zu chatten.
„Der interne Anwendungsfall war jedoch nicht die Intention unseres Open Telekom Cloud Chatbots“, stellt Brüll fest, „er sollte nach dem Motto ´Find it fast´ unseren Nutzern helfen, schnell relevante Informationen aufzustöbern und für den einfachen Einsatz der Cloud anzuwenden“.
Technische Umsetzung des KI-Chatbots
Dazu benötigte das amberSearch-System den Zugriff auf die relevanten Quellen. Dazu zählen zum Beispiel die Webseite der Open Telekom Cloud, die Dokumentenbibliothek (Doc Library), die Inhalte der Community und eine Sammlung von PDFs wie beispielweise die Leistungsbeschreibung. „Damit der Chatbot den Zugriff auf diese Informationen bekommt, haben wir eine Technologie eingesetzt, die als Retrieval Augmented Generation bezeichnet wird“, erklärt Maiworm.
„Unseres Wissens sind wir der erste Public-Cloud-Anbieter, der seinen Kunden einen kostenlosen LLM-basierten Chatbot anbietet. Der Bot schafft klare Vorteile für Customer Experience und User Experience“
Norbert Brüll, Senior Service Manager, Open Telekom Cloud
Beim RAG-Einsatz wird KI-Modell nicht neu trainiert oder fine-getunt – damit entfallen auch die entsprechenden Aufwände bzw. Kosten. Stattdessen kooperiert der Chatbot mit einer Enterprise Search. Wird eine Frage gestellt, wird zunächst eine Suche in den angebundenen Quellen ausgelöst. Die Informationen werden dem KI-Modell situativ zur Verfügung gestellt und dann zu einer Antwort verdichtet. Die Informationen verbleiben damit auch innerhalb des Unternehmens bzw. in den Ablagen, in denen sie ohnehin vorgehalten werden.
amberSearch bietet verschiedene Verfahren an, um die Daten für den Bot zu erschließen. Konkret werden für die Multimedia-Inhalte der Community eine API genutzt, die anderen Quellen werden mehrmals täglich über einen Crawler indiziert. Die Informationen werden in einer Vektor-Datenbank gesammelt und vereinheitlicht. Diese Datenbank fungiert dann als konsolidierte Basis für das geballte Open-Telekom-Cloud-Wissen, aus der der Bot sich bedient. Die automatisierten Updates der Vektor-DB stellen sicher, dass der Bot immer über zumindest tagesaktuelles Wissen verfügt.
Innerhalb von nur sieben Wochen entstand so der Chatbot. Seit Mitte Juli läuft er. Nutzer der Open Telekom Cloud erhalten mit ihm einfachen Zugriff auf aktuelles Wissen, das sie brauchen; langwierige Suchen gehören der Vergangenheit an. Zudem dokumentiert der Bot, aus welchen Quellen er die jeweiligen Informationen gezogen hat – das reduziert die Wahrscheinlichkeit von Halluzinationen.
„Mit dem KI-Chatbot für die Open Telekom Cloud haben wir demonstriert, wie einfach es ist, einen Mehrwert-KI-Service für das Wissensmanagement aufzubauen. Praktisch jedes Unternehmen kann von einem solchen Blueprint profitieren“
Bastian Maiworm, Geschäftsführer amberSearch
Erreichbarkeit des Chatbots
„Unser Chatbot ist ganz simpel über den Support-Reiter an der rechten Bildschirmseite (AI) verfügbar. Eine Anmeldung ist nicht nötig“, so Brüll. „Mit dem Betrieb der Vektor-DB und des Modells innerhalb der Open Telekom Cloud hat das Team volle Kontrolle über die KI. Das schließt auch DSGVO-Compliance ein“, ergänzt Maiworm, „damit kann ggfs. auch eine zweite Stufe realisiert werden, bei über eine Anmeldung personenbezogene Daten zum Einsatz kommen“.
Also – ran an den Bot und fragt ihn, was Ihr schon immer über die Open Telekom Cloud wissen wolltet:
Der Bot ist übrigens nicht nur ein Informations-Assistent, sondern kann Euch auch ganz praktisch helfen. Norbert Brüll: „Wer einen Service deployen möchte, muss sich nicht durch API-Dokumentationen oder den Community-Input hangeln, sondern kann den Bot auch einfach um ein Deployment-Setup auf Container-Basis bitten – inklusive Code“.
KI-Anwendungsfälle für das eigene Unternehmen entwickeln
Du möchtest Anwendungsfälle für dein eigenes Unternehmen entdecken? Dann lies dir jetzt unseren Blogartikel mit einigen Blogartikel durch.
Ansonsten bleibe über unseren Newsletter mit uns in Kontakt. Dort erfährst du von neuen Anwendungsfällen: