26. Mai 2024, 10:26 Uhr | Lesezeit: 3 Minuten
Avatare im Internet können Gehörlosen dabei helfen, Inhalte zu verstehen. Diese zu trainieren, ist jedoch nicht einfach. Avasag, ein Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung, soll die Lücke zwischen geschriebenem Text und Gebärdensprache schließen.
In der Onlinewelt begegnen uns häufig Avatare, digitale Figuren, inzwischen oft menschenähnlich. Vor allem auf Webseiten oder Infoscreens nutzen Unternehmen Avatare, um den Kontakt für die Kundschaft menschlicher zu gestalten. Gehörlose Menschen können künftig ebenfalls von Avataren profitieren. Gebärdensprache funktioniert allerdings nach anderen Regeln als gesprochene Sprache. Daher beschränkt sich das Projekt Avasag zunächst auf Reiseinformationen in Gebärdensprache.
Sehen statt Hören
Avasag steht für Avatar-basierter Sprachassistent zur automatisierten Gebärdenübersetzung. Dahinter verbergen sich sechs Partnerunternehmen. Gemeinsam haben sie im Rahmen eines mit Bundesmitteln geförderten Projekts Avatare für gehörlose Menschen entwickelt.
Die Avatare heißen Livian und Gloria. Während Gloria eher wie eine Cartoon-Figur wirkt, trägt Livian sehr menschliche Züge. Die beiden Avatare hat die Charamel GmbH entwickelt. Das Kölner Unternehmen gehört zu den Spezialisten im Bereich der virtuellen Assistenten.
Um Gebärdensprache verständlich abzubilden, dient der Charamel-Baukasten als Grundlage. Ohne die Unterstützung menschlicher Gebärdendolmetscher geht allerdings nichts. Denn Gebärdensprache funktioniert im feinen Zusammenspiel zwischen Mimik und Gestik.
Was viele Hörende nicht wissen: Geschriebene Sprache ist für gehörlose Menschen wie eine Fremdsprache. Denn die Schriftsprache steht in enger Verbindung zur Lautsprache. Deswegen sind beispielsweise Webseiten für Gehörlose oft nur schwer zu verstehen.
Lesen Sie auch: Die 6 besten Video-Chat-Programme
Enormer Trainingsaufwand
Diese Lücke möchte Avasag mit den Avataren Livian und Gloria schließen. Für Trainingszwecke sind menschliche Gebärdendolmetscher im sogenannten Motion Capturing-Verfahren aufgenommen. Dabei werden sämtliche Gebärden aus verschiedenen Winkeln aufgezeichnet. Per Computer entsteht daraus eine flüssige Bewegung.
Der Zeitaufwand, um verständliche Gebärden per Avatar abzubilden, ist enorm. Damit das System einen einzelnen Satz lernt, können bis zu 160 Minuten vergehen. Ein Großteil der Zeit benötigen erfahrene Gebärdensprachler, um sämtliche Feinheiten beim Zusammenspiel von Bewegungen und Gesichtausdrücken zu erkennen.
Die Projektteilnehmer von Avasag haben sich 2000 Gebärdensätze als Zielmarke vorgenommen. Die Sätze stammen aus dem Bereich Reise. Der Fokus liegt dabei auf Durchsagen über verspätete Züge oder andere sich immer wiederholende Ansagen.
Verschiedene Einsatzbereiche denkbar
Warum dieser ganze Aufwand? Das Avasag-Projekt dient zunächst einmal als Testlauf für weitere Lebensbereiche. Avatare wie Livian und Gloria bieten den Vorteil, dass sie problemlos digital angepasst werden können, beispielsweise bei sich ändernden Zeitansagen. Ein menschlicher Gebärdendolmetscher müsste dafür jedes Mal per Kamera aufgenommen werden.
Avasag hat dafür einen ersten Grundstein gelegt. Dennoch gilt es noch viele Hürden zu nehmen, bis das System problemlos verschiedene Themen in Gebärdensprache abbilden kann.
Start, Cast, Handlung Tolle Bilder von Kate Winslet in „Avatar 2“ – alle Infos zum Blockbuster
Künstliche Superintelligenz Was ist eigentlich Artificial General Intelligence (AGI)?
Per Sprachbot mit Verstorbenen sprechen App ermöglicht Gespräche mit Toten
Avatar oder Mensch?
Was sagen gehörlose Menschen zu den Avataren? Hier herrscht durchaus noch eine gewisse Skepsis. Livian und Gloria vermitteln die Gebärden verständlich, haben knapp 70 Gehörlose gegenüber den AVASAG-Machern gesagt. Allerdings bevorzugen im direkten Vergleich gehörlose Menschen immer noch einen menschlichen Gebärdendolmetscher.
Die virtuellen Gebärdendolmetscher von Avasag sind daher ein erster positiver Ansatz auf dem Weg zu mehr Barrierefreiheit für Menschen ohne Gehör. Ob das System in absehbarer Zeit auch themenübergreifend eingesetzt werden kann, muss sich erst noch zeigen.
