Echtzeit-Handgestenerkennung - Umwandlung von Gebärdensprache in Sprache

ISBN-13: 9786209348754 / Niemiecki / Miękka / 2025 / 52 str.

Alex vijay raj Amalaraj; Xiaorong Zhang

Opis

Das Hauptziel des Projekts ist die Implementierung eines Echtzeitsystems, das Handgesten aus der amerikanischen Gebärdensprache (ASL) in Sprachsignale umwandelt. Dies könnte von Menschen mit Sprachbehinderungen genutzt werden, um mit anderen Menschen zu kommunizieren. Zu diesem Zweck wurden ein Oberflächen-Elektromyogramm (EMG), das die elektrische Aktivität der Unterarmmuskulatur misst, und ein Beschleunigungsmesser, der die Beschleunigung der Handbewegungen misst, verwendet. Ein tragbares Datenerfassungsgerät namens Shimmer wurde verwendet, um diese Signale vom Benutzer aufzuzeichnen und die gesammelten Daten über Bluetooth an Matlab zu übertragen. In Matlab wurde ein Mustererkennungsalgorithmus implementiert, der die Signale verarbeitete und die Ergebnisse basierend auf der ausgeführten Geste anzeigte. Es wurden mehrere Tests an einer Person durchgeführt, um verschiedene ein- und zweihändige Gesten zu identifizieren und verschiedene Wörter sowie einfache Sätze in ASL zu erkennen. Die Versuchsergebnisse wurden aufgezeichnet und diskutiert.