Wie funktionieren Übersetzungskopfhörer? Technik, KI & Grenzen erklärt

Übersetzungskopfhörer sehen aus wie gewöhnliche kabellose Kopfhörer, sind es aber nicht. Sie funktionieren wie eine Miniatur-Fertigungslinie, die die Stimme einer anderen Person in deine eigene Stimme umwandelt und sie abspielt, bevor ein peinliches Schweigen entsteht.

 

Diese „Echtzeit"-Übersetzung ist das Ergebnis dreier übereinander geschichteter Technologien, dazu kommt noch jede Menge Mikrofonarbeit, über die in der Werbung nie gesprochen wird.

 

Zuerst muss der Kopfhörer die richtige Person erkennen

Der Prozess beginnt mit dem Mikrofon, nicht mit der künstlichen Intelligenz. Die meisten Übersetzungskopfhörer nutzen mehrere Mikrofone und Strahlformung. Sie konzentrieren sich auf Geräusche aus einer Richtung und versuchen, das Lärmniveau im Café, den Verkehr und die Stimmen am Nachbartisch weitgehend auszublenden. Manche Modelle besitzen zusätzliche Sensoren, um menschliche Stimmen von Vibrationen des Kopfes zu unterscheiden. Schlägt dieser Schritt fehl, scheitern auch alle folgenden.

 

Die aufgezeichnete Stimme wird in einen digitalen Datenstrom umgewandelt und fast immer per Bluetooth ans Telefon übertragen. Der Kopfhörer selbst übernimmt selten die Rolle des Gehirns. Er ist nur das Ohr und das Mikrofon.

 

Danach folgt eine dreistufige Softwareverarbeitung

Sobald der Ton klar genug ist, arbeiten drei unterschiedliche Verarbeitungsmodelle.

 

Die automatische Spracherkennung (ASR) wandelt Sprache in Text um. Eine gute ASR gleicht nicht nur Phoneme ab. Sie muss auch mit Sprechtempo, Akzenten, weggelassenen Konsonanten und unvollständigen Sätzen zurechtkommen.

 

Maschinelle Übersetzung nutzt in der Regel neuronale Modelle mit einer zusätzlichen Sprachverstehenskomponente, um den Text in die Zielsprache umzuschreiben. Wort für Wort zu ersetzen, ist die klassische Methode. Moderne Systeme versuchen, Absicht, Höflichkeitsformeln und etwas Kontext zu bewahren. Manche Produkte setzen heute für letzteres auf größere Sprachmodelle. Unabhängige Tests zeigen jedoch nach wie vor, dass das Gedächtnis der Maschine begrenzt ist. Ein Wort, das vor einer Minute noch korrekt zugeordnet wurde, kann kurz darauf verschwunden sein.

 

Die Sprachsynthese (TTS) liest den übersetzten Satz laut vor. Frühe Systeme klangen wie ein Navigationsgerät. Neuere Stimmen weisen Sprechtempo und Tonfall auf, die einem echten Menschen näherkommen, und das ist wichtiger, als viele zugeben. Selbst wenn ein Satz zehn Minuten lang korrekt von einer starren Stimme vorgelesen wird, ermüdet das dennoch.

Der gesamte Kreislauf ist das, was du als „Übersetzung" hörst.

 

Wo das Denken stattfindet

Es gibt derzeit drei Architekturen, die die meisten Unterschiede zwischen den Produkten erklären.

 

Cloud-Architektur: Der Ton gelangt zuerst ans Telefon und dann an einen Server. Das ermöglicht mehr Sprachen und in der Regel präzisere Formulierungen. Es erfordert jedoch eine Netzwerkverbindung und eine Wartezeit für den Hin- und Rücktransport der Daten.

 

Auf dem Gerät: Die Sprachpakete liegen auf dem Telefon, theoretisch manchmal auch auf dem Kopfhörer. Das ist schneller, privater und funktioniert im Flugzeug. Da das Gerät kleiner ist, sinken jedoch Genauigkeit und Abdeckung.

 

Hybrider Modus: Häufige Sprachkombinationen bleiben lokal verfügbar. Seltene Sprachen oder Sprache mit schlechter Audioqualität werden in die Cloud hochgeladen.

 

Die Echtzeitübersetzung der neuesten AirPods von Apple ist eine Funktion auf dem Telefon und erfordert ein neueres iPhone. Google verlagert die Echtzeitübersetzung schrittweise von den Pixel Buds auf alle Bluetooth-Kopfhörer. Spezialmarken wie Timekettle verkaufen Kopfhörer, die speziell für Zweiergespräche im Modus „einer trägt einen Ohrhörer" konzipiert sind. Der Übertragungsablauf ist derselbe, nur die Verpackung unterscheidet sich.

 

„Simultan" ist nur ein Marketingbegriff

Echte Sprachüberlappung, bei der zwei Personen gleichzeitig sprechen und gleichzeitig die Echtzeitübersetzung hören, bleibt ein schwieriges Problem. Viele Produkte arbeiten im Wechselbetrieb. Erst wenn du deinen Satz beendet hast, hört die andere Person ihn. Selbst Systeme, die mit einer Verzögerung von nur wenigen hundert Millisekunden werben, müssen oft einen Nebensatz oder einen ganzen Satz abwarten. In der Praxis liegt die Verzögerung meist bei ein bis drei Sekunden, in lauter Umgebung oder bei Anrufen noch länger.

 

Diese Verzögerung entsteht nicht allein durch die Berechnung. Bluetooth selbst verursacht Aufwand. Die automatische Spracherkennung braucht genügend Audiomaterial für eine präzise Erkennung. Die Übersetzung braucht vollständige Sätze. Die Sprachsynthese muss ansetzen, um zu sprechen. All diese Faktoren summieren sich zu einem leichten Ruckeln im Gespräch, das sich anfühlt wie eine Synchronisation.

 

Was beeinflusst die Verzögerung noch?

Lärm, überlappende Stimmen, Slang, Namen und starke Dialekte. Mehrere Personen, die gleichzeitig sprechen. Menschen mit hohem Sprechtempo. Witze. Jede Situation, in der das nächste Wort aus Inhalten abgeleitet werden muss, die vor fünf Minuten geteilt wurden. Medizinische oder juristische Fachsprache ist kein guter Anwendungsfall, es sei denn, du lädst ein eigenes Vokabular, und selbst dann solltest du die Ausgabe nicht als offizielle Fassung behandeln.

 

Der Offline-Modus ist nützlich, aber leistungsschwächer. Der Cloud-Modus ist intelligenter, aber weniger privat. Dass Mikrofone und Funkmodule ständig arbeiten, verkürzt die Akkulaufzeit.