Findet Ihr Assistent in jeder Sprache dieselben Belege?

Wo eine zweite Sprache das Retrieval stört

Ein Unternehmen, das in Deutschland und Polen arbeitet, hat selten eine saubere Trennung. Richtlinien liegen auf Deutsch vor, manche wurden ins Polnische und Englische übersetzt, und technische Notizen mischen englische Begriffe in polnische Sätze. Gefragt wird in der Sprache, in der jemand gerade denkt. Die typischen Brüche sind konkret:

• Deutsche Komposita, bei denen Kündigungsfrist zu einer Frage nach der notice period passen muss
• Polnische Flexion, bei der umowa, umowy und umowie für Lesende dasselbe Wort sind, für einen einfachen Stichwortindex aber nicht
• Interne Begriffe und Abkürzungen, die je Sprache anders lauten oder nur in einer existieren
• Antworten, die nur in einer Sprache existieren, sodass eine polnische Frage ein deutsches Dokument erreichen muss

Ein paralleles Testset

1. 1

   Echte Fragen in jeder Sprache sammeln

   Nehmen Sie sie aus Tickets und Chats in allen drei Sprachen, nicht nur aus der Sprache des Projektteams.

2. 2

   Mit Fachwissen übersetzen

   Lassen Sie Personen, die die Begriffe täglich nutzen, die anderen Fassungen erstellen, und behalten Sie die Formulierung, die echte Nutzer wählen würden.

3. 3

   Dieselben erwarteten Textstellen markieren

   Alle drei Fassungen einer Frage verweisen auf dieselben Textstellen-IDs, dazu auf übersetzte Kopien, die gleichermaßen gültig sind.

4. 4

   Sprachen auf beiden Seiten erfassen

   Speichern Sie mit jedem Ergebnis Anfrage- und Dokumentsprache, damit sich die Ergebnisse zu einer Matrix gruppieren lassen.

Fragen, die die Dokumente nicht beantworten können, gehören ebenfalls in jede Sprache. Ein Assistent, der auf Englisch korrekt ablehnt und auf Polnisch eine Antwort erfindet, hat ein Sprachproblem, das ein einsprachiger Test nie zeigt.

Die Sprachmatrix lesen

Expected passage found in the top 10, by query and document language
(hypothetical: 30 questions per cell, same expected passages in each row)

                    documents in EN   documents in DE   documents in PL
query in EN              28                24                22
query in DE              25                27                19
query in PL              23                17                26

Largest gap: PL questions about DE documents (17 / 30)
Failure review: 9 of 13 misses involve German compounds or internal
abbreviations that appear in the glossary but not in the query

Die Zahlen sind erfunden, aber nach diesem Muster lohnt es sich zu suchen: Die Diagonale, auf der Anfrage und Dokument dieselbe Sprache haben, schneidet am besten ab, und eine sprachübergreifende Zelle fällt zurück. Die Fehleranalyse ist wichtiger als der Wert, denn sie zeigt, ob Analyzer, Terminologie oder Embedding-Modell nachgebessert werden müssen.

Stichwortsuche braucht sprachbewusste Analyse

Die Stichwortsuche findet exakte Begriffe wie Teilenummern und juristische Bezeichnungen und sollte deshalb Teil einer hybriden Suche bleiben. Sie braucht für jede Sprache den passenden Analyzer. Azure AI Search unterstützt etwa Deutsch und Polnisch mit Lucene- und Microsoft-Analyzern; Microsoft dokumentiert, dass die eigenen Analyzer Lemmatisierung und Kompositazerlegung für Sprachen wie Deutsch ergänzen und im Schnitt zwei- bis dreimal langsamer indexieren. Ein Feld nimmt einen Sprachanalyzer auf, mehrsprachige Inhalte landen daher meist in getrennten Feldern pro Sprache, und eine Anfrage durchsucht alle, wenn ihre Sprache unsicher ist.

Embeddings, Übersetzung und ein gemeinsames Glossar

Mehrsprachige Embedding-Modelle bilden Fragen und Textstellen aus verschiedenen Sprachen in einen gemeinsamen Raum ab. Das M3-Embedding-Paper beschreibt etwa ein Modell für mehr als 100 Sprachen mit dichter, dünnbesetzter und Multi-Vektor-Suche, und die Autoren berichten starke Ergebnisse in mehrsprachigen und sprachübergreifenden Benchmarks. Benchmarks enthalten selten Ihr Vertragsvokabular, vergleichen Sie also zwei oder drei Kandidatenmodelle auf Ihrem parallelen Set. Die Anfrage in jede Dokumentsprache zu übersetzen und jede Fassung zu suchen, ist ein Ausweg, der Latenz kostet und interne Begriffe falsch übersetzen kann.

Interne Terminologie braucht ein Glossar mit dem vereinbarten englischen, deutschen und polnischen Namen für jedes Konzept, gepflegt von jemandem, der Streitfälle entscheiden kann. Nutzen Sie es, um Anfragen zu erweitern und Chunks gleichwertige Begriffe als Kontext mitzugeben. Anthropic merkt an, dass ein fachspezifischer Prompt zur Kontextualisierung, gegebenenfalls mit Glossar, das Retrieval verbessern kann. Antworten Sie in der Sprache der Frage und zitieren Sie die Originalstelle. Zeigen Sie ein übersetztes Zitat, kennzeichnen Sie es als Übersetzung und verlinken Sie das Original oder eine freigegebene übersetzte Fassung, damit Leser es prüfen können.