Wie kann man generative KI mit unternehmensinternen Daten kombinieren?

Generative Künstliche Intelligenz (KI) transformiert die Herangehensweise an die Erstellung verschiedenster Inhalte, darunter Texte, Bilder, Melodien und Designs. Sie ist eine bahnbrechende Technologie mit dem Potential, Unternehmen dabei zu helfen, ihre Effizienz zu steigern und innovative Lösungsansätze zu entwickeln. In der heutigen Geschäftswelt ist insbesondere die textgenerierende KI von hoher Relevanz, wodurch sich der Fokus dieses Beitrags auf diesen Aspekt richtet. In einem anderen Blogbeitrag haben wir einen detaillierten Blick auf die Einführung von generativer KI geworfen.

Aktueller Stand der Technologie

Im Laufe des ersten Halbjahres 2023 folgte die Markteinführung neuer KI-Modelle in schnellem Tempo von Woche zu Woche. Diverse Anbieter lancierten in kurzer Zeit eine Vielzahl an Produkten für Unternehmen und Endverbraucher. Einige der angebotenen Modelle, die sich durch spezialisierte Funktionen und modernste Technologien auszeichneten, waren dabei besonders gefragt und kostspielig. Parallel dazu wurden zahlreiche Open-Source-Modelle veröffentlicht, die breiter zugänglich und anpassbar sind und Unternehmen die Möglichkeit bieten, sie auf ihre individuellen Bedürfnisse anzupassen. Die Tech-Branche ist gegenwärtig noch dabei, die Modelle zu identifizieren, die am effizientesten für die unterschiedlichen Anwendungsfälle sind.

Darüber hinaus besteht die Erwartung, dass die Modelle auf Basis des derzeitigen rapiden Entwicklungstempos kontinuierlich weiterentwickelt werden und Anwendungen entsprechend anpassungsfähig für neue Modelle gestaltet werden müssen.

Anwendungsfälle

Obwohl sich dieser Blogbeitrag primär auf die technischen Herausforderungen bei der Implementierung konzentrieren soll und weniger auf mögliche Anwendungsfälle, möchten wir trotzdem einen kurzen Überblick über einige Anwendungsmöglichkeiten bieten:

1. Produktentwicklung / R&D Generative KI kann verwendet werden, um Ingenieuren wichtige Informationen und Best Practices aus bereits durchgeführten Projekten zu vermitteln, sodass bereits vorhandenes Wissen genutzt statt neu erarbeitet werden kann.
2. Marketing & Content Creation Generative KI hilft dabei, Marketingmaterialien wie Blogbeiträge, Social-Media-Posts oder E-Mail-Kampagnen spezifisch auf die Zielgruppe zugeschnitten und effizient zu erstellen.
3. Vertrieb Im Vertrieb kann generative KI dazu genutzt werden, Einwände von potenziellen Kunden schnell und effizient zu bearbeiten oder follow-up Emails aus Meetingnotizen zu generieren.
4. Service (Chatbots, Self-Service) In Zeiten von Personalengpässen können generative ChatBots dazu beitragen, das notwendige Personal zu reduzieren, indem sie mithilfe von internem Know-how die Fragen des Kunden beantworten.
5. Personalwesen Generative KI hat die Fähigkeit, große Mengen von Lebensläufen nach bestimmten Kriterien zu analysieren, um so eine Vorauswahl für den Recruiter zu treffen.

Generative Systeme mit unternehmensinternen Systemen kombinieren

Die zentrale Herausforderung bei der Implementierung eines generativen Systems besteht darin, wie die internen Daten unter Einhaltung der DSGVO mit den KI-Modellen kombiniert werden können. Es gibt dabei drei wesentlichen Herausforderungen:

• Berücksichtigung der aktuellen Zugriffsrechte
• Administrationsaufgabe: Müssen Dokumente aktiv irgendwo hochgeladen werden oder kommunizieren die Systeme über eine dauerhafte Schnittstelle?
• Hosting: Wo sollte das System laufen und hat das Unternehmen genügend Ressourcen und Know-how, um ein solches System zu verwalten und zu warten?

Die meisten gehen zuerst von der Notwendigkeit aus, dass KI-Modelle für den internen Gebrauch neu trainiert werden müssen – dem ist jedoch nicht so. Folgende Fragen würden sich stellen, wenn dem so wäre:

• Wie oft muss das KI-Modell nachtrainiert werden, um immer auf dem neuesten Stand zu bleiben?
• Welche Ressourcen werden für das Training benötigt (Spoiler: Es sind viele) und wer bezahlt das?
• Welche Daten werden für das Training genutzt? Je nach Position/Abteilung könnte die Datengrundlage variieren.

Angesichts der nicht trivialen Beantwortung dieser Fragen bzw. dem fehlenden guten Return on Investment, bietet die folgende Lösung eine bessere Alternative:

Enterprise Search Systeme sind darauf ausgerichtet, Informationen aus verschiedenen unternehmensinternen Systemen zu kombinieren und den Mitarbeitern die relevantesten Informationen anzuzeigen. Eine Standardanforderung an solche Systeme ist natürlich die Berücksichtigung von Zugriffsrechten. Dadurch wird gewährleistet, dass jeder Mitarbeiter nur die Informationen findet, die er auch tatsächlich einsehen darf.

Übrigens: Bei der Einführung einer Enterprise Search steht man zunächst vor einer Make-or-Buy Entscheidung. Aufgrund der Komplexität ist eine Enterprise Search meistens eher eine Buy-Entscheidung.

Wer überlegt, solche Technologien in seinem Unternehmen einzusetzen, der sollte vorher unser kostenloses, 16-seitiges White Paper mit allen notwendigen Insights lesen: „So geht eine erfolgreiche Einführung generativer KI“

Wie kann eine Enterprise Search mit generativer KI kombiniert werden?

Wenn der Nutzer eine Frage oder einen Prompt an das System stellt, durchsucht die unternehmensinterne Suchmaschine die relevantesten Informationen. Diese werden dann an ein allgemeines (!) generatives Modell übermittelt, um die relevantesten Informationen zu finden. Dieser Prozess nennt sich Retrieval Augmented Generation und in dem verlinkten Blogartikel sind weitere Informationen zu diesem Prozess hinterlegt.

Damit jeder amberSearch einmal ausprobieren kann, haben wir in unserer Onlinedemo eine mittlere sechsstellige Anzahl an Dokumenten auf über 10 Systeme verteilt:

Um ein Gefühl für die Funktionsweise sowie den technischen Grenzen von generativer KI im Einsatz mit unternehmensinternen Daten zu bekommen, sollte man zudem ein gewisses Grundlagenverständnis der Technologie haben.

Welches generatives Modell wählen?

Bei der Auswahl des generativen Modells stellt sich zunächst die Frage, was mit den Daten im Modell passiert. Wenn man einen der großen Anbieter wie OpenAI nutzt, dann werden die Daten auf deren Systemen verarbeitet. Nutzt man ein Open Source Modell, kann man dieses auch auf eigenen Instanzen hosten – vorausgesetzt man hat genug Ressourcen. Wenn nicht, kann man oft auf Anbieter zurückgreifen, die das DSGVO-konforme Hosting solcher Modelle anbieten. Welches Modell im individuellen Fall gewählt wird, hängt jedoch stark vom Anwendungsfall ab. Es ist jedoch wichtig, dass die Architektur so entwickelt ist, dass Modelle schnell ausgetauscht werden können, wenn passendere Modelle auf den Markt kommen. Übrigens: bei amberSearch setzen wir im Standardfall immer auf selbstentwickelte bzw. Open Source gestellte KI-Modelle, damit wir eine größtmögliche Unabhängigkeit halten können. Die Turbulenzen bei OpenAI im November 2023 zeigen, dass diese eine nachhaltige Strategie zu sein scheint.

Fazit

Die größte Herausforderung bei der Einführung eines generativen Systems ist die Frage, wie man die internen Daten mit einem geringen administrativen Aufwand, aber DSGVO-konform mit dem generativen System verbindet. Enterprise Search Lösungen bieten hier einen sehr guten Ansatz, um generative KI direkt über mehrere Systeme hinweg anzuwenden.

Du findest unseren Content spannend?

Dann bleib jetzt über unseren Newsletter mit uns in Kontakt: