Einführung generative KI – Worauf sollte man achten und was macht die Einführung in Unternehmen erfolgreich?

Viele Unternehmen müssen und wollen Erfahrung mit generativer KI sammeln. Dennoch stoßen Sie mit Tools aus dem Internet schnell an die Grenzen – zu allgemein, zu wenig auf den Kontext und die Challenges des Unternehmens angepasst. Dennoch eignen sich die online verfügbaren Tools hervorragend, um erste Erfahrungen im Bereich KI bzw. generative KI zu sammeln. In diesem Blogartikel soll es jedoch darum gehen, wie man unternehmensinternes Know-How erfolgreich mit generativer KI – in einem sicheren und DSGVO-konformen Rahmen – kombinieren kann und worauf zu achten ist. Die Einführung generativer KI ist nämlich nicht so komplex, wie es zunächst scheint.

Mehrwerte von generativer KI

Generative KI kann insbesondere bei der Formulierung von Texten (bspw. im Marketing oder Vertrieb) aber auch im Kundenservice (Beantwortung von Fragen) viel Zeit einsparen und – richtig eingesetzt – eine vergleichbare Qualität liefern. Ein weiterer Anwendungsfall liegt insbesondere in der Verwaltung des unternehmensinternen Know-How’s, welches zumeist in diversen Datensilos abgespeichert ist. Mit Hilfe vom richtigen Einsatz von generativer KI kann sichergestellt werden, dass Mitarbeiter schnell und effizient auf das entsprechende Know-How, unabhängig vom Speicherort, zugreifen können. 40% der Wissensarbeiter verbringen mehr als 30 Minuten täglich mit der internen Recherche. Zudem ist allein in den letzten Jahren der Zeitaufwand für die digitale Suche um 77% angestiegen. Ob es nun darum geht, Informationen im Onboarding oder während der langjährigen Arbeit zugänglich zu machen, oder ob Texte basierend auf internem Know-How generiert werden sollen, mit amberSearch schaffen wir einen zentralen Ort, über den Mitarbeiter diese und weitere Anwendungsfälle lösen können.

In einem unserer älteren Blogs haben wir einmal den Business Case für eine Enterprise Search berechnet. Mit Hilfe von generativer KI kommen nun nochmal weitere Anwendungsfälle hinzu.

Dieser Blogbeitrag ist Teil unseres White Papers „So geht eine erfolgreiche Einführung von generativer KI“. Wer das gesamte, 16-seitige White Paper mit allen Insights lesen möchte, der kann sich den ganzen Report hier herunterladen:

Welche Grundlagen sind für die Einführung von generativer KI relevant?

In den letzten Jahren hat sich bei uns herauskristallisiert, dass die Projekte, bei denen die Projektpartner ein gewisses Verständnis für die Technologie haben, die erfolgreichsten Projekte durchführen. Diese Projektpartner haben die realistischsten Erwartungen an die Software und können dadurch identifizieren, wo die Potenziale liegen. In dem hier verlinkten Blogartikel möchten wir einen groben Überblick über die verschiedenen Grundlagen geben. Zu einigen Themen haben wir bereits weiterführende Blogartikel geschrieben, bei anderen Themen werden in Zukunft weitere Artikel kommen. Zusätzlich sollte man die richtigen Anwendungsfälle definiert haben. Wie das aussehen kann, haben wir hier anhand eines Beispiels skizziert.

Welche Anforderungen haben die meisten Unternehmen?

Unabhängig von den technischen Grundlagen haben die meisten Unternehmen sehr ähnliche Anforderungen:

• Zugriffsrechte: Die wichtigste Anforderung, insbesondere aus DSGVO-Sicht, ist die Berücksichtigung von Zugriffsrechten. Jeder Mitarbeiter sollte, idealerweise gesteuert über ein bereits vorhandenes Zugriffsrechtemanagementsystem (bspw. Active Directory oder Single Sign On), einen Zugriff erhalten.
• Sicherheit & DSGVO-Konformität: Als grundlegende Voraussetzung für eine Integration solcher Systeme gilt eine entsprechende Sicherheitsarchitektur und Compliance mit bspw. der DSGVO. Bei amberSearch berücksichtigen wir all diese Punkte.
• Skalierbarkeit: Eine weitere Anforderung ist die Skalierbarkeit, insb. was die Performance angeht. Das eine ist, ein stabiles System in einer kleinen Testgruppe zu haben. Eine andere, dass dieses System auch stabil bei großen Nutzermengen funktioniert.
• Unabhängigkeit: Die Posse bei OpenAI im November 2023 hat es gezeigt, dass eine Abhängigkeit von anderen Anbietern problematisch sein kann. Bei amberSearch haben wir das Know-How, um an jeder Stelle unseres Algorithmus selbst Änderungen vorzunehmen und setzen im Standard nicht auf Drittanbieter wie OpenAI & Co.
• Flexibilität: Ein großer Punkt, der uns bei amberSearch von anderen Anbietern unterscheidet, ist unsere Flexibilität, die mit der bereits beschriebenen Unabhängigkeit einhergeht. KI-Modelle entwickeln sich sehr schnell weiter, d. h. sie müssen austauschbar sein, damit die Lösung auf dem neuesten Stand der Technik bleiben. Daher können auch wir unsere KI-Modelle beliebig gegen stärkere austauschen. Übrigens ist das ein weiterer Grund, weshalb man für die meisten Anwendungsfälle keine unternehmensspezifischen KI-Modelle trainieren sollte.
• Nachvollziehbarkeit: Wenn ein KI-Modell anfängt, Antworten zu formulieren, dann sollten diese nachvollziehbar sein. Daher referenzieren wir bei amberSearch die Ursprungsdatei, aus der wir Informationen zitiert haben. Dadurch kann der Mitarbeiter beim Verdacht von Halluzinationen direkt nachvollziehen, woher eine Information stammt.
• Integrationen: Ein System wie unsere Lösung wird nur erfolgreich sein, wenn es smart integriert ist. Daher haben wir diverse Integrationen (sowohl Systeme, die wir anbinden können, als auch wie wir unsere Lösung zur Verfügung stellen [bspw. Teamsapp, Desktopapp, Iframe, mobil, …]) entwickelt, die wir unseren Kunden zur Verfügung stellen. Ein weiterer Punkt ist die Integrationen der KI in bereits vorhandene Datenquellen wie bspw. Laufwerken, Teams, Outlook, etc…
• Aktualität: Das Know-How eines Unternehmens entwickelt sich kontinuierlich weiter. Daher darf ein System wie unseres nicht auf einem starren Datensatz aufbauen, sondern muss immer die neusten Erkenntnisse berücksichtigen. Auch das berücksichtigen wir selbstverständlich.
• Hostingvarianten: Soll die Software als Managed Service, in der Private Cloud oder On Premise gehostet werden? Aufgrund der recht hohen Hardwareanforderungen kommt gerade bei kleineren Unternehmen – unabhängig vom Anbieter – zumeist ein Managed Service Deployment in Frage. Bei amberSearch unterstützen wir jedoch alle Varianten.

Damit jeder amberSearch einmal ausprobieren kann, haben wir in unserer Onlinedemo eine mittlere sechsstellige Anzahl an Dokumenten auf über 10 Systeme verteilt:

Welche Antworten sollte ein interessiertes Unternehmen haben, wenn es mit Anbietern spricht?

Natürlich kann man viele Dinge gemeinsam mit dem Anbieter erarbeiten. Am Ende des Tages müssen immer folgende Fragen beantwortet werden und je besser man vorbereitet ist, desto erfolgreicher wird das Projekt:

1. Welche Anwendungsfälle sollen im Unternehmen gelöst werden?

Um ein erfolgreiches Projekt umsetzen zu können, sollte man wissen, welchen Mehrwert man vom Tool erwartet und welche Challenge gelöst werden soll. Generative KI kann vielfältig und in verschiedenen Abteilungen eingesetzt werden, zumeist fängt man jedoch mit einem Anwendungsfall an. Dies hilft, ein tiefergehendes Verständnis für die Technologie aufzubauen.

2. Wie viele Nutzer/Abteilungen sollen auf das System bzw. von wem soll es wie oft genutzt werden?

Um eine Software entsprechend auslegen zu können, ist es hilfreich zu wissen, wie viele Nutzer die Software nutzen sollen. Meistens ergibt sich die Anzahl der Nutzer bzw. Häufigkeit der Nutzung bereits aus dem Anwendungsfall.

3. Wie soll die Software integriert werden?

Ein wesentlicher Punkt ist die Integration der Software in die bestehende IT-Landschaft. Dies ist zweiseitig zu denken:

• Welche der vorhandenen IT-Systeme sollen mit der KI verbunden werden?

Bei amberSearch haben wir eine ganze Reihe verschiedener Standardintegrationen. Selbstentwickelte Systeme können zusätzlich über eine offene Schnittstelle angebunden werden, so dass es aus technischer Sicht von unserer Seite aus immer die Möglichkeit gibt, ein System mit uns zu verbinden.

• Von wo aus sollen Mitarbeiter auf die Software zugreifen?

Eine Software wie unsere wird von den Nutzern nur entsprechend genutzt werden, wenn diese auch für die Nutzer zugänglich ist. Daher sind wir mit unserer Lösung dort, wo der Nutzer ist. Wir bieten Integrationen wie eine Teamsapp, eine Iframelösung, mobile Optimierung, Chromeplug-In und Co neben der klassischen Webapp an, damit Nutzer jederzeit leicht auf amberSearch zugreifen können.

4. Wie soll die Software gehostet werden?

Wenn eine generative KI eingesetzt werden soll, die vergleichbare Ergebnisse wie bspw. ChatGPT in Kombination mit unternehmensinternen Daten erzielen soll, dann läuft es in den meisten Fällen auf eine Managed Service oder Private Cloud Variante hinaus. Wer kleinere Lizenzmengen (<300 Stück) hat, der wird ausschließlich auf eine Managed Service Variante setzen müssen, da sich vorher im Vergleich zu den erforderlichen Hardwareanforderungen nur schwer ein Business Case rechnen lässt. Aus technischer Sicht können wir aufgrund von unserer Unabhängigkeit amberSearch als On Premise System zur Verfügung stellen, dies ist jedoch eher in Ausnahmefällen üblich.

Tipps zur Toolauswahl

Im Moment gibt es eine Vielzahl an Tools auf dem Markt. Die Mehrwerte, die versprochen werden, sind zumeist ziemlich ähnlich. Dennoch liegen die Unterschiede im Detail, insb. in der Reife und Qualität der generierten Informationen. Einerseits sollte darauf geachtet werden, dass die Lösung zum Anwendungsfall passt. Andererseits bieten viele Anbieter nur einen gewissen Teil der hier genannten Prozesse ab (bspw. entweder die Suche oder die Generierung von Antworten). Anbieter, die sich ausschließlich auf die Suche fokussieren haben meist kein Know-How, um eine eigene generative KI anzubinden, sondern müssen hier zumeist auf Drittanbieter wie OpenAI, Google Bard oder Aleph Alpha setzen. Anbieter, die sich ausschließlich auf die Generierung von Antworten fokussieren haben Schwierigkeiten, im ersten Schritt die richtigen Daten auszuwählen.

Die Anbindung von amberSearch war tatsächlich so leicht, wie ursprünglich besprochen und ermöglichte es uns so, die Lösung schnell für die Nutzer freizuschalten. Nach dem schnellen Set Up waren wir besonders beeindruckt von der Entwicklungsgeschwindigkeit, in der das Feedback der Nutzer in die Software von amberSearch eingearbeitet wurde. Man merkt, dass das Team mit Herzblut dabei ist und Kundenwünsche ernst nimmt.

Nader el Azabi, IT-Leiter R-Biopharm

Bei amberSearch bieten wir eine solche Lösung aus einer Hand an, d. h. es findet direkte eine komplette End-to-End Integration statt. So können auch Unternehmen, die begrenzte IT-Ressourcen haben, die Mehrwerte moderner Technologien wie generativer KI realisieren. Der Aufwand zur technischen Integration (im Standardfall) für unsere Lösung liegt bei einem halben Tag.

Da wir in den letzten Jahren einiges an Know-How in diesem Bereich aufgebaut haben, haben wir zudem einen Blogartikel zur Auswahl von KI-Software gestellt, in dem es primär darum geht, welche Fragen einem Anbieter idealerweise gestellt werden sollten, falls die Antworten nicht bekannt sind. In unserem Blogartikel Checkliste Einführung KI-Software geht es jedoch eher darum, wie ein Unternehmen, welches KI anwendet, an ein solches Projekt gehen sollte.

Gerne nehmen wir den Kontakt für weitere Gespräche auf. Falls bereits bekannt, dann können die folgenden Felder ausgefüllt werden.