Forscher testen Handys mit Gebärdenspracherkennung

Mit Hilfe von „Haut-Detektoren“ lässt sich die Bildqualität in den wichtigen Bereichen der Videobotschaft verbessern (Bild: UW).

Ingenieure der University of Washington (UW) haben eine Videokompressionssoftware entwickelt, die es ermöglicht, Gebärdensprache per Videohandy zu übertragen. MobileASL – ASL steht für American Sign Language – nutzt den Kompressionsstandard H.264/MPEG-4 AVC mit dem Codec x264. Die Kompressionsrate ist damit fast doppelt soch hoch wie bei MPEG-2.

Die Forscher haben Algorithmen zur Erkennung von Haut und Bewegungen entwickelt. Mit solchen „Haut-Detektoren“ lassen sich die wichtigen Bereiche des Videos – die Hände und das Gesicht der sprechenden Person – leichter von den unwichtigen – dem Hintergrund – unterscheiden. So kann die Bildqualität erhöht werden, wo es notwendig ist, und der Rest des Bildes wird stärker komprimiert.

„SMS zu schreiben dauert manchmal sehr lang. Man schickt eine Nachricht und ist sich nicht sicher, ob die andere Person sie auch so versteht, wie sie gemeint ist“, erklärt Tong Song, einer jener tauben und schwerhörigen Studenten, die am Projekt beteiligt sind. Sein Kollege Josiah Cheslik stimmt zu: „Kurznachrichten funktionieren für Dinge wie ‚Ich bin schon da‘ oder ‚Brauchst du etwas aus dem Supermarkt?‘. Mit den Videohandys kann man ein richtiges Telefongespräch führen.“

Mittlerweile ist es den Wissenschaftlern gelungen, die Übertragungsrate der Videos auf 30 KBit/s zu senken, ohne dass die Gebärdensprache unlesbar wird. Ein erster Feldversuch fand diesen Sommer im Rahmen der Summer Academy for Advancing Deaf & Hard of Hearing in Computing statt. Eine größere Studie soll im Winter folgen.

In den USA sind die Bandbreiten für Mobilkommunikation stark eingeschränkt. In Ländern wie Schweden oder Japan, wo 3G-Netzwerke bereits relativ weit verbreitet sind, wird seit längerem daran geforscht, Handys zur Übertragung von Gebärdensprache einzusetzen.

Josiah Cheslik, ein Teilnehmer des Feldversuchs mit MobileASL, kommuniziert per Video mit seinem Kommilitonen im Hintergrund (Bild: UW).