Hvordan oversette tegnspråk til tekst ved hjelp av Arduino?

Vi har konsekvent akseptert at teknologien burde være tilgjengelig for alle og til en god tid, enten de er normale mennesker eller spesiallagde individer. Den grunnleggende fordelen med innovasjon er å engasjere enkeltpersoner og forbedre dem, ikke å erobre dem, men heller å hjelpe dem.

Mennesker med manglende evne til å snakke bruker forskjellige kommunikasjonsmåter for å formidle budskapene sine. Den vanligste av dem er tegnspråk. Tegnspråk er et språk som bruker gestmodalitet for å formidle et budskap. Tegnspråk er vanlig blant folk som ikke er i stand til å snakke eller lytte. Så her er et prosjekt som vil hjelpe deg med å oversette tegnspråket til en tekst som er forståelig for andre mennesker.

Hvordan bruker jeg Arduino til å lage en Sign to text-oversetter?

La oss nå gå mot å samle inn ytterligere data, analysere det, lage en krets og brenne koden på mikrokontrolleren.

Trinn 1: Forutsetninger

Før vi begynner å jobbe, er det bedre å samle inn og studere om apparatet vi skal bruke. En liste nedenfor viser alle elementene vi trenger i dette prosjektet.

Trinn 2: Sette opp apparatet

Vi vil bruke Flex-sensorer for å oppdage gesten. Flex-sensoren er en sensor som gir en annen motstand og en annen vinkel hver gang den er bøyd. Den har to pinner som er koblet i en spenningsdelerkonfigurasjon. Tilkoblingen av disse pinnene til Arduino er vist nedenfor.

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 er bøyesensorene, og RES1, RES2, RES3, RES4, RES5 er motstandene på 470 ohm. Ett punkt av alle flex-sensorene er vanlige, og 5V brukes på den. I den andre enden er det ene benet på alle motstandene vanlige og koblet til bakken. Inngangen til Arduino-pinnene vil motta analoge data fra 0 til 1023 som blir konvertert til den digitale skjemaet i koden.

Nå som vi vet at hvordan en flex-sensor fungerer, fest hver flex-sensor på hanskens fingre (unngå å bruke lim). Loddebryterledninger til alle flekssensorene og kobler dem på Veroboard som vist på bildet ovenfor. Lodd forbindelsene nøye og utfør en kontinuitetstest. Hvis kontinuitetstesten mislykkes, må du kontrollere loddede tilkoblinger på nytt og fikse dem.

Trinn 3: Komme i gang med Arduino

Hvis du ikke har Arduino IDE, kan du laste ned den nyeste versjonen fra Arduino

Koble Arduino til PCen din og gå til Kontrollpanel> Maskinvare og lyd> Enheter og skrivere for å sjekke navnet på porten som Arduino er koblet til. På min PC er det COM14. Det kan være annerledes på din PC.
Åpne Arduino IDE og sett brettet til “Arduino / Genuino Uno”.
Åpne Arduino IDE og sett porten du observerer på PCen din før.
Last ned koden som er vedlagt nedenfor, og last den opp til Arduino Board ved å klikke på Last opp-knappen.

Last ned lenke: Klikk her

Trinn 4: Kode

Koden er kommentert bra, men her er noen generelle forklaringer på hvordan den fungerer.

I begynnelsen av koden initialiseres 5 analoge pinner av Arduino for å brukes sammen med flex-sensorene. Enn Vcc fra Arduino og 4.7k ohm motstand er initialisert som brukes i kretsen. Deretter initialiseres motstanden til den rette bøyesensoren og motstanden i en 90-graders vinkel. Disse initialiseringene vil være nyttige når du skriver koden.
ugyldig oppsett () er en funksjon der vi initialiserer baudhastigheten til Arduino, og alle de fem analoge pinnene er initialisert til å brukes som INNGANG. Baudrate er hastigheten som mikrokontrolleren kommuniserer på.
ugyldig sløyfe () er en funksjon som går kontinuerlig igjen og igjen i en syklus. I denne funksjonen leses alle analoge verdier og konverteres til digitale verdier. Deretter beregnes motstanden ved å bruke spenningsdelerformelen, og gjennom den motstanden beregnes bøyevinkelen til flex-sensoren.

Når du har forstått og lastet opp koden, bruk hanskene og gjør forskjellige bevegelser for å oversette dem til tekst. I koden kan du legge til flere kombinasjoner av fingerbevegelse etter eget valg og vise meldingen deretter. Du vil se at tegnspråket ditt nå er konvertert til tekst.

Trinn 5: Avansert

Dette prosjektet handler om å konvertere tegnspråk til tekst og vise det på seriell skjerm. Ettersom mikrokontrolleren som brukes er Arduino, fungerer denne enheten bare når Arduino er koblet til PC-en via en datakabel fordi Arduino ikke har en innebygd WiFi-modul. For å gjøre dette prosjektet litt mer interessant, kan du legge til en ekstern WiFi-modul eller bruke en ESP-modul i stedet for Arduino og kvitte deg med datakabelen og nyte et tegn til tale-oversettelse via WiFi.