Hand Wave is een project dat specifiek gericht is op het herkennen van vingerspelling binnen gebarentaal om deze vervolgens om te zetten in spraak. Het systeem werkt via een Python-inferentieservice en maakt gebruik van een neuraal netwerk, met als doel implementatie op web-platforms, iOS en smart glasses.
Technische details:
- Installatie: Vereist tools zoals pnpm, Node 22+, Python 3.11/3.12, uv en moon.
- Configuratie: De omgeving wordt ingericht via een
.env-bestand waarin de VITEINFERENCEURL moet worden gedefinieerd.
- Basis: Het project is gestoeld op diverse wetenschappelijke onderzoeken naar ASL (American Sign Language) fingerspelling en handshape recognition, waaronder MiCT-RANet en Questure Tracker.
Hand Wave
Meer informatie is te vinden op handwave.sh. Er is ook een demo beschikbaar op YouTube.
Installatie
Vereisten
Om het project te installeren, zijn de volgende tools nodig:
- pnpm 10.33+
- Node 22+
- Python 3.11/3.12
- uv
- moon
Stappenplan
Voer de volgende commando's uit om de omgeving in te richten:
cp .env.example .env
pnpm install
uv sync --project apps/inference
Let op: Vergeet niet om VITEINFERENCEURL in het .env-bestand in te stellen.
Ontwikkeling
Om de ontwikkelomgeving te starten, gebruik je het volgende commando:
pnpm dev
Onderzoeksverwijzingen
Dit project is gebaseerd op of maakt gebruik van de volgende bronnen en onderzoek:
- Questure Tracker
- MiCT-RANet for ASL Fingerspelling
- A Two-Stream Neural Network for Pose-Based Handshape Recognition in American Sign Language
- Mixed 3D/2D Convolutional Tube for Human Action Recognition
- Fingerspelling Recognition in the Wild with Iterative Visual Attention
- FSBoard: Over 3 million characters of ASL fingerspelling collected via smartphones
Hand Wave is een systeem voor het herkennen van gebarentaal voor web en iOS, ondersteund door een kleine Python-inferentieservice. Het project is bedoeld om gebarentaal (specifiek vingerspelling) om te zetten in spraak met behulp van een smart glasses en een neuraal netwerk.
Hand Wave
Meer informatie is te vinden op handwave.sh. Er is ook een demo beschikbaar op YouTube.
Installatie
Vereisten
Om het project te installeren, zijn de volgende tools nodig:
- pnpm 10.33+
- Node 22+
- Python 3.11/3.12
- uv
- moon
Stappenplan
Voer de volgende commando's uit om de omgeving in te richten:
cp .env.example .env
pnpm install
uv sync --project apps/inference
Let op: Vergeet niet om VITEINFERENCEURL in het .env-bestand in te stellen.
Ontwikkeling
Om de ontwikkelomgeving te starten, gebruik je het volgende commando:
pnpm dev
Onderzoeksverwijzingen
Dit project is gebaseerd op of maakt gebruik van de volgende bronnen en onderzoek:
- Questure Tracker
- MiCT-RANet for ASL Fingerspelling
- A Two-Stream Neural Network for Pose-Based Handshape Recognition in American Sign Language
- Mixed 3D/2D Convolutional Tube for Human Action Recognition
- Fingerspelling Recognition in the Wild with Iterative Visual Attention
- FSBoard: Over 3 million characters of ASL fingerspelling collected via smartphones
Groetjes,