Serwisy partnerskie:
Close icon
Serwisy partnerskie

Sign Talk: Tłumacz z języka gestów

Article Image
Elmax
Porozumiewanie się z osobą niepełnosprawną, która nie może mówić ani słyszeć jest dość trudne, zwłaszcza gdy nie zna się języka migowego.

Żeby złagodzić ten problem, w artykule opisywane jest urządzenie Gesture Language Translator, które konwertuje język migowy na język mówiony. Urządzenie to będzie oparte na modelu ML, który może rozpoznać różne gesty języka migowego dla dokładnego tłumaczenia.

Fotografia 1. Tłumaczenie języka migowego

Przygotowanie modelu ML

Istnieją różne języki migowe praktykowane w różnych krajach. Na przykład, w Indiach używa się Indyjskiego Języka Migowego (ISL), podczas gdy w USA używa się Amerykańskiego Języka Migowego (ASL). Tak więc, najpierw musisz zdecydować, który typ chcesz zaimplementować.

Aby uzyskać zestawy danych ASL, odwiedź tę stronę. Dla ISL, odwiedź tę stronę. Możesz na nich znaleźć liczne gesty rąk, które są używane w życiu codziennym.

Po zebraniu zbiorów danych, przygotuj model ML do treningu. Istnieje wiele opcji do tego celu, takich jak TensorFlow, Keras, PyTorch, Google's Teachable Machine, itp. W tym projekcie używany jest Google's Teachable Machine, który jest usługą online do tworzenia modeli ML. W kolejnym kroku wprowadź zestawy danych do wybranego przez siebie kreatora modeli ML i uchwyć aparatem fotograficznym różne gesty/znaki dłoni. Pamiętaj, aby opisać je zgodnie z ich znaczeniem.

Rysunek 2. Zbiór treningowy dla modelu ML

Wdrażanie modelu ML

Po wykonaniu powyższych kroków, pobierz wynik działania modelu ML. Możesz też skorzystać z opcji wgrania modelu ML. Prześlij kod, a otrzymasz link do modelu ML i fragment kodu do wykorzystania w modelu ML, który może być użyty na różnych platformach, takich jak Python używając Keras P5.js lub JavaScript (JS). Po wgraniu modelu ML, skopiuj kod skryptu JS.

Kodowanie

Otwórz pulpit Raspberry Pi, a następnie utwórz nowy plik JS. Poniżej pokazany jest plik Gesturetranslator.html. Wklej do niego fragment kodu i wpisz nazwę projektu. Zwiększ rozmiar obrazu z aparatu tak, aby był dobrze widoczny w większej przestrzeni. Zapisz go.

Rysunek 3. Kodowanie
Rysunek 4. Fragment kodu

Testowanie

Najpierw należy włączyć interfejs aparatu w Raspberry Pi i podłączyć go do płytki. Następnie należy otworzyć kod JavaScript w Google Chrome lub innej przeglądarce, która obsługuje JS.

Fotografia 5. Testowanie urządzenia tłumaczącego język migowy
Wykaz elementów
Ilość
Symbol
Nazwa/opis/gdzie kupić
Do pobrania
Download icon Sign Talk - Tłumacz z języka gestów - kod źródłowy
Firma:
AUTOR
Źródło
www.electronicsforu.com
Udostępnij
Zobacz wszystkie quizy
Quiz weekendowy
Czujniki temperatury
1/10 Temperatura to
UK Logo
Elektronika dla Wszystkich
Zapisując się na nasz newsletter możesz otrzymać GRATIS
najnowsze e-wydanie magazynu "Elektronika dla Wszystkich"