Open Source Beiträge

Hochqualitativer, deutscher Trainingsdatensatz

• Um KI-Modelle zu trainieren und gewisse Verzerrungen zu vermeiden, werden hochqualitative Datensätze benötigt.
• Gemeinsam mit Philipp May, T-Systems, haben wir diesen Trainingsdatensatz definiert, um damit unsere LLM’s zu trainieren.
• Wenn wir KI-Modelle trainieren, dann verwenden wir keine Kundendaten, sondern allgemeine, öffentliche Daten – wie zum Beispiel aus diesem Trainingsdatensatz.

Deutschsprachiges Electra-Modell

• Wir haben gemeinsam mit Philip May, T-Systems, ein verbessertes Electra-Modell veröffentlicht, welches mit 1,5 Millionen Schritten trainiert wurde.
• Zum Zeitpunkt der Veröffentlichung (August 2020) war es das effizienteste, deutschsprachige, LLM.
• Natürlich ist es mittlerweile bei weitem nicht mehr Stand der Technik. Aber es zeigt, wie früh wir uns bereits mit Large Language Modellen befasst haben und das wir eigenes Tech-Know-How in diesem Bereich haben.

Multilingual Passage Reranking Modell

• Dieses Modell ist ein von uns trainiertes Reranking Modell, welches auf LLM-Basis Inhalte nach verschiedenen Faktoren bewerten kann.
• Es hat mittlerweile eine hohe sechsstellige Anzahl an Downloads
• In diversen wissenschaftlichen Papern wurde diese als eines der effizientesten seiner Art bewertet:

• On cross-lingual retrieval with multilingual text encoders
• Improving NLP Model Performance on Small Educational Data Sets Using Self-Augmentation
• Query-Based Retrieval of German Regulatory Documents for Internal Auditing Purposes
• Better Retrieval May Not Lead to Better Question Answering
• Answer Similarity Grouping and Diversification in Question Answering Systems
• On cross-lingual retrieval with multilingual text encoders