Multi-Hop Question Answering (Multi-Hop Q&A) ist eine Methode, um im Bereich von generativen KI-Anwendungen eine bessere Qualität der Antworten zu erzeugen. Als weitere Ausbaustufe von einem Retrieval Augmented Generation (RAG) System geht es darum, bevor eine Antwort generiert wird, möglichst alle Aspekte des Prompts zu berücksichtigen. Dieser Blogartikel befasst sich mit fortgeschrittenen Techniken im Bereich des Information Retrieval. Wer ein Grundverständnis in diesem Bereich aufbauen möchte, dem empfehlen wir zunächst unsere Blogartikel „Was ist eine Enterprise Search?“, „Was ist Retrieval Augmented Generation?“ sowie „Technische Grundlagen zur Einführung von generativer KI“ zu lesen.
Retrieval Augmented Generation als Vorstufe zu Multi-Hop Question Answering
Um heutzutage generative KI im Unternehmen einzusetzen, setzt man typischerweise auf ein Retrieval Augmented Generation System. Ein Retrieval Augmented Generation System besteht üblicherweise aus 3 Schritten:
- Alle Informationen in eine vektorbasierten Index bringen, damit die Informationen für ein Large Language Modell verarbeitbar werden
- Sobald der Nutzer eine Frage eingibt, wird nach den relevantesten Informationen gesucht
- Die kontextbezogenen Ergebnisse, die durch die intelligente Suche erzeugt werden, werden genutzt um darauf aufbauend eine Antwort zu generieren.
Abbildung 1 Vereinfachter Prozess von Retrieval Augmented Generation
Diese Methode hat bereits den Vorteil, dass über die Suche verschiedene Dinge wie die Aktualität eines Dokuments oder Zugriffsrechte berücksichtigt werden können. Die generative KI muss anschließend nicht mit unternehmensspezifischem Know-How trainiert sein, sondern kann einfach die allgemeine Intelligenz nutzen, um die Antwort zu generieren. Dabei darf es sich jedoch ausschließlich auf den vorgehaltenen Kontext (a. k. a. die zuvor gefundenen Suchergebnisse) stützen. Dadurch wird das Risiko von Halluzinationen massiv reduziert, was beispielsweise ein Problem, ist wenn man ein KI-Modell mit eigenen Daten trainiert.
Die Schwäche dieser Methode, auf der anderen Seite, ist jedoch, dass sich die vorgeschaltete Suche nur auf ein Thema fokussieren kann. Somit sind die Ergebnisse eindimensional und liefern bei komplexeren Prompts keine zufriedenstellenden Ergebnisse.
Du überlegst, generative KI in deinem Unternehmen einzusetzen? Dann solltest du vorher unbedingt unser White Paper: „So geht eine erfolgreiche Einführung von generativer KI“. Wer das gesamte, 16-seitige White Paper mit allen Insights lesen möchte, der kann sich den ganzen Report hier herunterladen:
Wann wird Multi-Hop Question Answering eingesetzt und wie funktioniert es?
Multi-Hop Question Answering wird eingesetzt, wenn ein Nutzer einen mehrdimensionalen Prompt an ein generatives KI-System stellt. Um das zu veranschaulichen, nehmen wir das folgende Beispiel:
Eine eindimensionale Frage wäre bspw: „Wer sind unsere Lieferanten für hochpräzise Kugellager?“
In diesem Fall reicht ein einfaches Retrieval Augmented Generation System aus, da der semantische Fokus auf „Lieferanten für hochpräzise Kugellager“ liegt.
Ein mehrdimensionaler Prompt wäre jedoch:
„Schreibe mir eine Kaltakquise E-Mail an unsere Buyerpersona CTO vor und nenne unsere USP’s“. Um diese Frage zufriedenstellend zu beantworten, muss das System drei Kernfragen beantworten können:
- Wie sieht eine Kaltakquise E-Mail aus?
- Was ist zur Buyerpersona CTO bekannt?
- Was sind unsere USP’s?
Erst wenn es die Antworten auf diese Fragen hat, kann es eine ausreichend zufriedenstellen Antwort generieren, in der alle Dimensionen des Prompts berücksichtigt werden können.
Abbildung 2 Vergleich Single vs Multi-Hop Question Answering
Im Gegensatz zu dem ersten Beispiel werden hier mehrere Zwischenschritte (Multi-Hop) verwendet, um die Frage zu beantworten (Abbildung 2). Im ersten Beispiel handelte es sich im Gegensatz dazu um ein Single-Hop Q&A.
Autonome Agenten in Multi-Hop Q&A
Das besondere bei einem Multi-Hop Q&A System ist, dass es an sich auf einem autonomen Agenten Ansatz basiert. Es entscheidet, basierend auf den Ergebnissen der ersten Suche, selbst, ob es bereits genug Ergebnisse hat, um eine Antwort zu generieren. Somit kann es selbst entscheiden, ob es 2, 3 oder mehr Zwischenschritte bedarf, um die Antwort ausreichend zu beantworten.
Anwendungsfälle von Multi-Hop Question Answering
Diese Technik bietet die Möglichkeit Anwendungsfälle abzudecken, an denen ein Single-Hop Retrieval Augmented Generation System scheitern würde. Dazu zählt bspw.:
- Beantwortung von Kundenfragen, die oftmals mehrere Fragen/Anforderungen in einer Query haben
- Erstellungen eines starken „ChatGPT-like“ Systems, welches komplexere Aufgaben erfüllen kann.
- Reine Suchsysteme können dadurch auch komplexere Suchanfragen in mehrere Zwischenschritte unterteilen und somit bessere Antworten generieren.
Die Mehrwerte von einem Multi-Hop Question Answering liegen daher insbesondere in der deutlich gesteigerten Qualität der Antworten, gerade bei komplexen Fragen sowie den flexibleren Prompts, die durch so ein Set Up Möglich werden.
Abbildung 3: Beispiel von Multi-Hop Question Answering in amberSearch
In Abbildung 3 haben wir ein weiteres Beispiel aus der Praxis gezeigt. Es wird zunächst nach einer Liste möglicher Lieferanten gefragt und anschließend gibt es die Aufgabe, eine Kaltakquise E-Mail basierend auf verschiedenen Vorgaben nachzustellen. In den Referenzen unten kann man sehen, wie verschiedene Informationen wie bspw. E-Mails (Outlook), Supplieroverviews (Confluence) oder Angebote (SharePoint) berücksichtigt werden, um diese Frage zu beantworten. Diese Beispiele und weitere können über diesen Link selbst nachgestellt werden.
Anwendung bei amberSearch bzw. amberAI
Schon 2020 haben wir bei amberSearch unsere ersten Large Language Modelle trainiert und hatten zeitweise das effizienteste deutschsprachige LLM veröffentlicht. Nun bieten wir Information Retrieval Systeme für Unternehmen an, damit Mitarbeiter schnell und effizient auf unternehmensinterne Daten zugreifen können.
Um weiterhin deutscher Marktführer in Information Retrieval Systemen im Bereich der generative KI/LLM‘s zu sein, entwickeln wir unsere Lösungen stets am Zahn der Zeit. Daher setzen wir einen Multi-Hop Approach an verschiedenen Stellen in amberAI ein, bspw. um komplexe Suchanfragen zu ergänzen oder anspruchsvolle Prompts mit unternehmensinternem Know-How zu lösen. In unserer Onlinedemo haben wir einen mittleren, sechsstelligen Demodatensatz in über 11 Systemen hinterlegt, damit jeder unsere Lösung problemlos ausprobieren kann:
Du findest unseren Content spannend?
Dann bleib jetzt über unseren Newsletter mit uns in Kontakt: