Googles sanntids håndsporingsalgoritme bruker smarttelefon for å forbedre anerkjennelse av tegnspråk

Tegnspråk brukes av millioner av mennesker over hele verden. Forskere har jobbet med å bygge teknologier som kan forstå bevegelsene og automatisk konvertere dem til menneskelig forståelig språk. Imidlertid har slike prosjekter ikke fått stor suksess når det gjelder nøyaktighet.

Google har nylig utviklet en algoritme som kan brukes til håndsporing i sanntid. Det intelligente systemet utnytter maskinlæring for å lage et kart over hånden. Kartet er opprettet ved hjelp av et kamera eller en smarttelefon. Vi kan ikke benekte det faktum at de fleste systemene ikke klarer å fange raske håndbevegelser nøyaktig. Google har spesifikt adressert dette problemet i denne undersøkelsen. Interessant, de har begrenset mengden data som tidligere ble behandlet av algoritmene.

Hvordan fungerer håndsporing i sanntid?

De fleste av de eksisterende prosjektene oversetter tegnspråk ved å oppdage størrelsen og plasseringen til den komplette hånden. Med denne forskningen. forskerne har eliminert behovet for å håndtere rektangulære former i forskjellige størrelser. Googles system gjenkjenner bare håndflaten som er firkantet i form. For det andre gjøres en egen analyseprosess for fingrene.

Forskerne brukte rundt 30.000 håndbilder for å trene maskinlæringsalgoritmen. Disse bildene ble tatt under forskjellige lysforhold og positur. Systemet oppdager deretter gesten ved å gjøre en sammenligning mellom håndposen og en liste over kjente enheter som en ball eller lykke. Google beskriver gestgjenkjenningen i et blogginnlegg.

Den endelige algoritmen for håndsporing gir toppmoderne resultater når det gjelder hastighet og nøyaktighet. Algoritmen bruker MediaPipe-rammeverket for å kjøre. Denne teknikken virker som en stor fremgang i tegnspråkdomenet. Selv om det fortsatt er mye rom for forbedringer. for å skape en bedre forståelse av tegnspråket. Alle kan utvide dette arbeidet til å bruke ansiktsuttrykk og begge hender for å oppnå bedre resultater.

Selv om det ikke er noe ord fra Google, er det en mulighet for at Google kan forbedre denne håndsporingsteknologien i sanntid for å bruke den i sine produkter. I mellomtiden, hvis du vil leke med koden, er den offentlig tilgjengelig på GitHub.