Was ist generative KI: Wissensvermittlung durch die intelligente Kombination von Technologie und bestehenden Datensilos

Zahlreiche Unternehmen erkennen das Potenzial, das generative KI in Verbindung mit internem Firmenwissen bietet. Dennoch herrscht bei vielen Unternehmen eine große Unklarheit über die besten Vorgehensweisen und Funktionsweisen. Dieser Blogbeitrag zielt darauf ab, interessierten Unternehmen dabei zu helfen, die Technologie und Prozesse besser zu verstehen.

Welche Anwendungsfälle können durch die Verknüpfung von firmeninternen Daten mit generativer KI erreicht werden?

Angenommen, ein Unternehmen verfügt über eine Art ChatGPT, der mit internem Firmenwissen angereichert ist. Dadurch ergeben sich zahlreiche Anwendungsfälle. Einige dieser konkreten Anwendungsfälle werden im Folgenden anhand von Screenshots dargestellt:

Richtige Anwendung von Normen in der Produktentwicklung mit Hilfe von generativer KI

Nur wenige Abteilungen sind so wissensintensiv wie die Produktentwicklung. Gerade deshalb ist es entscheidend, schnell auf internes Know-how zugreifen zu können. Ein praktisches Beispiel hierfür zeigt sich in der Suche nach spezifischen Werten zur Kalkulation, wie im beigefügten Screenshot mithilfe technischer Regeln für Trinkwasserinstallationen verdeutlicht wird.

Abbildung 1: Der vorliegende Screenshot aus der Software amberSearch veranschaulicht die potenzielle Anwendung generativer KI auf unternehmensinternes Know-how

In dieser Situation werden lediglich die Informationen aus der Norm verwendet, um eine Antwort auf die Frage des Mitarbeiters mit Hilfe von generative KI generieren. Um sicherzustellen, dass die Aussage der KI nicht blind vertraut wird, wurde zusätzlich ein Verweis auf Seite 42 eingefügt. Auf diese Weise können Mitarbeiter direkt nachvollziehen, von welcher Seite der Wert entnommen wurde.

Finden von dezentralen Informationen mit Hilfe von generativer KI

In zahlreichen Szenarien sind Informationen über verschiedene Systeme verteilt, darunter Laufwerke, SharePoint und möglicherweise ein Ticket-Tool wie Jira. Durch die Kombination einer intelligenten Enterprise-Suche mit generativer KI können diese verschiedenen Informationsquellen zusammengeführt werden. Auf diese Weise kann die generative KI die Informationen effektiv zusammenfassen und präsentieren.

Abbildung 2: Häufig müssen bei der Beantwortung von Fragen Informationen aus verschiedenen dezentralen Datensilos berücksichtigt werden. Der beigefügte Screenshot veranschaulicht, wie mithilfe einer LLM-basierten Suche interne Unternehmensinformationen gefunden werden können.

Im vorliegenden Screenshot ist deutlich erkennbar, dass auf der linken Seite eine Suche ähnlich der von Google verwendet wird, um Informationen aus verschiedenen Quellen wie Confluence, Outlook und Teams zu finden. Auf der rechten Seite fasst die generative KI amberAI die ermittelten Ergebnisse zusammen und verweist auf die verschiedenen Dateien, die im Rahmen des Suchprozesses gefunden wurden. Es ist sofort ersichtlich, dass alle Informationen sorgfältig referenziert und übersichtlich zusammengefasst wurden.

Zusammenfassungen von E-Mailverläufen mit generativer KI schreiben

Es kommt häufig vor, dass Mitarbeiterinnen und Mitarbeiter im Laufe der Zeit Teil längerer E-Mail-Threads werden. In solchen Fällen haben sie die Möglichkeit, alle E-Mails durchzulesen oder mithilfe einer generativen KI den Verlauf zusammenzufassen oder Rückfragen zu stellen.

Abbildung 3: Zusammenfassung von generativer KI von mehreren E-Mails

Der vorliegende Screenshot illustriert, wie in diesem Fall auf Grundlage eines E-Mail-Verlaufs eine Zusammenfassung generiert wurde. Dadurch erhalten Mitarbeiterinnen und Mitarbeiter einen vereinfachten Zugriff auf internes Unternehmenswissen.

Reduktion der Supportanfragen durch generative KI

Eine der ersten Situationen, die häufig in Verbindung mit generativer KI genannt wird, ist die des Supports. Dieser Anwendungsfall kann sowohl extern als auch intern auftreten. Der beiliegende Screenshot zeigt ein Beispiel für einen internen Supportfall.

Abbildung 4: Ein Beispiel zur Beantwortung einer technischen Frage im Rahmen eines internen Supportfalls wird dargestellt.

Oftmals wird die IT von technischen Anfragen blockiert, für die bereits Antworten in Richtlinien oder Supportdokumenten vorhanden sind. Über einen herkömmlichen Chat können Mitarbeiter mithilfe generativer KI ihre Fragen einfach an die KI richten. Im beigefügten Screenshot ist zu sehen, wie eine detaillierte Schritt-für-Schritt-Anleitung auf die Frage: „Wie kann ich eine Signatur selbst einrichten?“ generiert wurde. Diese Antwort stammt jedoch nicht aus der „Intelligenz“ des KI-Modells selbst, sondern aus einem Confluence-Dokument, das klar referenziert wurde.

Damit jeder amberSearch einmal ausprobieren kann, haben wir in unserer Onlinedemo eine mittlere sechsstellige Anzahl an Dokumenten auf über 10 Systeme verteilt:

Finden von AnsprechpartnerInnen sowie Generierung einer E-Mail

Generative KI kann dazu verwendet werden, E-Mails mit den spezifischen Feinheiten des Unternehmens zu formulieren. Ein Beispiel dafür ist im beiliegenden Screenshot dargestellt.

Abbildung 5: Eine Beschreibung eines Beispiels zur Generierung einer E-Mail, bei der internes Know-how einfließt, wird präsentiert.

Natürlich haben viele Onlinetools die Fähigkeit, E-Mails vorzuformulieren. Oft fehlen jedoch konkrete Einblicke, die eine solche E-Mail wirklich nützlich machen würden. Das oben genannte Beispiel zeigt, wie die Software zunächst nach den korrekten Kontaktdaten sucht und dann eine E-Mail basierend auf dem beschriebenen Problem verfasst. Unten wird erneut gezeigt, woher die Kontaktdaten stammen – aus einem internen Confluence-Eintrag. Selbstverständlich haben Nutzer auch hier die Möglichkeit, die KI zu bitten, Formulierungen anzupassen oder die E-Mail beispielsweise informell zu gestalten.

Anwendungsfälle sind zahlreich vorhanden, doch wie erfolgt ihre technisch saubere Umsetzung?

Um die genannten Herausforderungen mit generativer KI und unternehmensinternem Know-How zu kombinieren, gibt es drei Möglichkeiten – aber nur eine ist für Unternehmen wirklich nachhaltig:

1. Training eines eigenen Large Language Modells
2. Aufbau eines Retrieval Augmented Generation Systems (RAG)
3. Kombination des RAG-Systems mit einer Enterprise Search

Aktuell träumen viele Unternehmen von einem eigenen Sprachmodell, das mit ihren eigenen Daten trainiert wird. Schnell stellt sich die Frage: Warum trainieren wir nicht einfach eine KI mit unseren Daten? Das Ergebnis wäre ein KI-Modell, das über das Know-how des Unternehmens verfügt. Dadurch hätten Mitarbeiterinnen und Mitarbeiter die Möglichkeit, ihre Fragen beantworten zu lassen.

Abbildung 6: Das Konzept beinhaltet die Abfrage eines KI-Modells, das mit den eigenen Unternehmensdaten trainiert wurde.

Dieser technische Ansatz birgt einige Herausforderungen:

• Um ein KI-Modell mit eigenen Daten zu trainieren, sind umfangreiches technisches Know-how sowie beträchtliche Hardwareressourcen erforderlich. Die Kosten können schnell in den hohen fünf- bis sechsstelligen Bereich steigen.
• Dieser Ansatz hat einige Nachteile: Zunächst muss festgelegt werden, welcher Datensatz verwendet wird, um die generative KI zu trainieren. Da sich der Datensatz schnell ändern kann, wird das trainierte KI-Modell schnell veraltet sein.
• Ein weiteres Problem besteht darin, dass ein KI-Modell allein keine Zugriffsrechte berücksichtigen kann. Daher wird oft ein oberflächlicher Datensatz gewählt, der möglicherweise nicht genügend Informationen enthält, da die wirklich interessanten Daten Zugriffsbeschränkungen unterliegen und daher nicht für das Training verwendet werden können.
• Darüber hinaus neigen KI-Modelle dazu, „zu halluzinieren“, was bedeutet, dass die Antworten nicht immer korrekt sind. Wenn die Antworten direkt aus dem KI-Modell stammen, wie es bei diesem Ansatz der Fall wäre, ist unklar, woher das KI-Modell die Antwort erhält – ähnlich wie bei ChatGPT.

Lösung der Herausforderung durch einen Retrieval Augmented Generation Ansatz

Mithilfe eines Retrieval Augmented Generation Ansatzes lassen sich diese Herausforderungen jedoch umgehen. Bei diesem Ansatz wird vor der Generierung einer Antwort überprüft, welche Daten aus einem bestimmten Datensatz am besten geeignet sind, um die Anforderungen des Nutzers zu erfüllen. Nur die Dokumente, die als besonders relevant bewertet werden, werden in die Generierung einer Antwort einbezogen.

Um ein Retrieval Augmented Generation System zu entwickeln, würde zunächst ein Datensatz definiert werden. Anschließend würde dieses Softwaresystem den Datensatz indizieren oder vektorisieren, um ihn effizient durchsuchen zu können.

Abbildung 7: Eine Erläuterung eines Retrieval Augmented Generations Modells ohne die Integration einer Enterprise Search.

Wenn ein Nutzer eine Frage stellt, durchsucht die Software zunächst die relevantesten Dokumente und nutzt diese in Verbindung mit der Intelligenz eines KI-Modells, um eine Antwort zu generieren. Dabei wird die Antwort nicht ausschließlich durch das Know-how des KI-Modells selbst erzeugt, sondern basiert auf dem Kontext, der durch den vordefinierten Datensatz bereitgestellt wurde. Die Intelligenz des generativen KI-Modells dient lediglich dazu, die relevantesten Ergebnisse so aufzubereiten, dass sie die Frage des Nutzers beantworten können. Ein weiterer Vorteil dieses Ansatzes ist, dass das KI-Modell in der Lage ist, zu referenzieren, woher genau jede Information stammt.

Dich interessiert das Thema generative KI und du überlegst, KI in deinem Unternehmen einzusetzen? Dann solltest du jetzt unser 16-seitiges White Paper mit den Best Practices zu der Einführung von generativer KI im Unternehmen mit allen Insights lesen:

Dennoch birgt auch dieser technische Ansatz einige ungelöste Herausforderungen:

• Mit diesem Ansatz können zwar diverse Chatbots aufgebaut oder definiert werden, beispielsweise ein Support-Chatbot, der alle Informationen vom Support erhält, oder ein Onboarding-Chatbot, der alle Informationen zum Onboarding bereitstellt. Das Problem besteht jedoch darin, dass bisher kein wirklich übergreifender Chatbot existiert, sondern mehrere spezialisierte Chatbots. Für jeden Anwendungsfall muss ein statischer Datensatz definiert werden.
• Auch hier werden die Zugriffsrechte nicht berücksichtigt.

Die Verbindung eines Retrieval Augmented Generation Systems mit einer Enterprise Search

Um den Datensatz flexibler zu gestalten und Zugriffsrechte zu berücksichtigen, empfiehlt es sich, ein Retrieval Augmented Generation System mit einer Enterprise Search zu kombinieren. Die Enterprise Search, vergleichbar mit einer Art Google für das Unternehmen, durchsucht zunächst alle relevanten Informationen für die Anfrage des Nutzers unter Berücksichtigung der bestehenden Zugriffsrechte. Diese Informationen werden dann als Kontext an die generative KI übergeben, welche in der Lage ist, sie so aufzubereiten, dass sie die Frage des Nutzers beantworten kann. Ein solches System wurde übrigens verwendet, um die Screenshots der verschiedenen Anwendungsfälle zu generieren.

Abbildung 8: Die Vereinigung einer Enterprise Search mit generativer KI ermöglicht die Generierung präziser Antworten auf einem vielseitigen Datensatz.

Im Gegensatz zum reinen Retrieval Augmented Generation System übernimmt die Enterprise Search die flexible Definition des zum Prompt passenden Datensatzes. Dadurch können die Herausforderungen, die mit mehreren Retrieval Augmented Generation Systemen sowie Zugriffsrechten einhergehen, gelöst werden. Eine Herausforderung dieses Ansatzes besteht jedoch darin, dass die Enterprise Search im Hintergrund nur auf ein Thema des Prompts fokussieren kann. Um jedoch multidimensionale Prompts (s. beispiel in Abbildung 5), wie die Suche von Kontaktdaten und die Generierung einer E-Mail, zu lösen, wird ein Multi-Hop Question Answering System benötigt. Dieses System ist in der Lage, vor der Generierung einer Antwort mehrere Suchanfragen an das System zu senden und somit die verschiedenen Dimensionen eines Prompts zu beantworten.

Zusammenfassung Make or Buy bei RAG-Systemen?

Werkzeuge wie ChatGPT und ähnliche erleichtern es, solche Systeme selbst als Demonstrator zu erstellen. Dennoch ist für eine nachhaltige Lösung der Einsatz eines echten Produkts ratsam. Die erwähnten Aspekte verdeutlichen die Komplexität und die Herausforderungen bei der Umsetzung solcher Lösungen. Derzeit bieten viele Agenturen und Beratungsunternehmen Unterstützung bei der Entwicklung von Demonstratoren an. Unternehmen sollten jedoch die Komplexität bei der Eigenentwicklung solcher Systeme berücksichtigen. Die Umwandlung eines Demonstrators in ein produktives System erfordert erheblichen Aufwand. Bei amberSearch haben wir bereits im Jahr 2020 begonnen, ein Produkt zu entwickeln, das die genannten Anforderungen für Unternehmen erfüllt.

Regelmäßige Fragen, die über den Artikel noch nicht beantwortet wurden:

1. Was sind die möglichen Nachteile oder Grenzen der Implementierung generativer KI in Verbindung mit internem Unternehmenswissen? Die Leser fragen sich vielleicht nach den möglichen Nachteilen oder Einschränkungen, die mit der Integration von generativer KI und internem Unternehmenswissen verbunden sind. Ein Verständnis der Herausforderungen oder Risiken, die mit der Einführung dieser Technologie verbunden sind, könnte Unternehmen, die ihre Einführung in Erwägung ziehen, wertvolle Erkenntnisse liefern.
2. Gibt es ethische Überlegungen oder Bedenken hinsichtlich des Datenschutzes bei der Nutzung generativer KI mit internen Unternehmensdaten? Angesichts der Sensibilität unternehmensinterner Daten könnten sich die Leser für die ethischen Implikationen oder Datenschutzüberlegungen im Zusammenhang mit dem Einsatz generativer KI-Systeme interessieren. Die Untersuchung der ethischen und datenschutzrechtlichen Dimensionen des Einsatzes von KI in diesem Zusammenhang könnte den Lesern helfen, die Auswirkungen auf die Datensicherheit und die Einhaltung der Datenschutzbestimmungen besser zu verstehen.
3. Welche Schritte sollten Unternehmen unternehmen, um generative KI-Lösungen erfolgreich in ihre bestehenden Arbeitsabläufe zu integrieren? Die Leser könnten eine Anleitung zu den praktischen Schritten und bewährten Verfahren für die Integration generativer KI-Lösungen in ihre aktuellen Arbeitsabläufe suchen. Das Verständnis dafür, wie Unternehmen diese Technologien effektiv implementieren und integrieren können, könnte für die erfolgreiche Einführung und die Realisierung von Vorteilen innerhalb von Organisationen entscheidend sein.

Du findest unseren Content spannend?

Dann bleib jetzt über unseren Newsletter mit uns in Kontakt: