Salvato
Italiano  ·  LIS  ·  Intelligenza Artificiale

Videochiamate con
Riconoscimento LIS
in Tempo Reale

HandTrackLIS usa la visione artificiale e l'IA per riconoscere i gesti della Lingua dei Segni Italiana e generare sottotitoli in diretta — rendendo la comunicazione video accessibile a tutti.

Riconoscimento Gesti LIS
Rilevamento in tempo reale dei gesti della Lingua dei Segni Italiana tramite MediaPipe e modelli IA addestrati su dataset LIS.
Sottotitoli in Diretta
I gesti vengono convertiti istantaneamente in testo italiano mostrato su entrambi i lati della chiamata, senza ritardi.
Comunicazione Accessibile
Progettato per la comunità sorda e ipoudente con dimensioni dei sottotitoli personalizzabili, contrasto e export trascrizioni.

Come Funziona HandTrackLIS

Un flusso continuo dal gesto alla conversazione.

Webcam
Il browser accede alla webcam in modo sicuro
Rilevamento
MediaPipe rileva i punti della mano in tempo reale
Riconoscimento LIS
Il modello IA classifica i gesti nel vocabolario LIS
Sottotitoli
Il testo appare in diretta durante la chiamata
7.000+
Segni LIS nel modello
<200ms
Latenza media sottotitoli
94%
Precisione riconoscimento
100%
Browser-based, nessuna installazione

Bentornato

Accedi al tuo account HandTrackLIS

Permessi Necessari

HandTrackLIS ha bisogno dell'accesso a fotocamera, microfono e tracciamento della mano per funzionare.

Accesso Fotocamera
Necessario per videochiamate e rilevamento gesti della mano.
Accesso Microfono
Abilita l'audio durante le videochiamate.
Tracciamento Mano
Abilita il riconoscimento gesti LIS e la generazione di sottotitoli.
Tutta l'elaborazione video avviene localmente nel browser. Nessun dato gestuale viene inviato ai nostri server.

Concedi tutti e tre i permessi per continuare.

Anteprima

Fotocamera attiva
Tu
Tracciamento ON
?
Chiamata in corso…
In attesa che risponda
HandTrackLIS
In chiamata con
00:00
?
Connesso
Tu
Microfono
Fotocamera
Termina
Invita
Chat Testo
Nessun messaggio ancora.
Inizia la conversazione!
Tecnologia

Come Funziona HandTrackLIS

Dall'immagine della fotocamera al testo sullo schermo, in meno di 200 millisecondi. Ecco il percorso completo.

1

Acquisizione Webcam

Il browser accede alla fotocamera tramite l'API WebRTC standard. Nessun plugin richiesto. Il flusso video viene elaborato interamente in locale, senza mai essere trasmesso a server esterni.

WebRTCgetUserMedia APIBrowser-native
2

Rilevamento Landmark della Mano

MediaPipe Hands analizza ogni frame video e individua 21 punti chiave (landmark) per ciascuna mano rilevata: polso, nocche, falangi e punte delle dita. Questo avviene in real-time a 30+ FPS direttamente nel browser tramite TensorFlow.js.

MediaPipe HandsTensorFlow.js21 Landmark
3

Classificazione Gesti LIS

Le coordinate 3D normalizzate dei landmark vengono passate a un modello di classificazione addestrato specificamente sulla Lingua dei Segni Italiana (LIS). Il dataset include oltre 7.000 segni del vocabolario LIS corrente, con tecniche di data augmentation per gestire variazioni di illuminazione e posizione.

CNN ClassifierDataset LIS 7.000+ segniAccuracy 94%
4

Generazione Sottotitoli in Diretta

I gesti riconosciuti vengono tradotti in testo italiano e mostrati in tempo reale nel pannello sottotitoli visibile a entrambi i partecipanti alla videochiamata. La latenza media end-to-end è inferiore a 200ms. Le trascrizioni complete sono scaricabili al termine della chiamata.

WebSocket<200ms latencyExport TXT/PDF

Pipeline Tecnica Completa

Webcam
30 FPS acquisizione
MediaPipe
21 punti landmark
Modello IA
Classificazione LIS
Sottotitoli
Testo in diretta

Chi Siamo

HandTrackLIS nasce dalla volontà di rendere la comunicazione in Lingua dei Segni Italiana accessibile a tutti, abbattendo le barriere tra udenti e non udenti attraverso la tecnologia.

Il Progetto

HandTrackLIS è una piattaforma di videochiamata che integra il riconoscimento automatico dei gesti della Lingua dei Segni Italiana (LIS) tramite intelligenza artificiale. L'obiettivo è consentire comunicazioni fluide tra persone sorde, ipoudenti e udenti, eliminando la necessità di un interprete fisico.

Perché la LIS è Importante

In Italia ci sono circa 80.000 persone sorde che utilizzano la LIS come lingua principale. Nonostante ciò, gli interpreti LIS sono pochi e il loro accesso è spesso limitato. HandTrackLIS vuole colmare questo divario, rendendo la comunicazione accessibile ovunque e in qualsiasi momento.

Il Nostro Team

Cinque studenti con una visione condivisa: rendere la comunicazione accessibile a tutti.

M1
Membro 1
Sviluppo Frontend & UI
M2
Membro 2
Machine Learning & IA
M3
Membro 3
Backend & Database
M4
Membro 4
Dataset & Ricerca LIS
M5
Membro 5
Testing & Accessibilità

Reimposta Password

Inserisci la tua email e scegli una nuova password.

Ricordi la password? Torna al login