Itsaso Rodríguez-Moreno, José María Martínez-Otzeta, Izaro Goienetxea eta Basilio Sierra ikertzaileek duela gutxi egindako ikerketa Plos One aldizkari zientifikoan argitaratu da. “Munduko Osasun Erakundearen datuen arabera- esan du Basilio Sierrak, Konputazio Zientzia eta Adimen Artifizialeko katedradunak-, munduko herritarren % 5 baino gehiagok entzumen arazoak dituzte. Horrek esan nahi 466 milioi pertsonak arazoak dituztela (432 milioi heldu eta 34 milioi ume) eta aurreikusten da kopuru horrek gora egingo duela. 2050erako espero da 700 milioi pertsona inguruk (hamar pertsonatik batek) entzumen urritasunak izatea Pertsona horien artean, 70 milioi inguruk erabiltzen dute existitzen diren 300 zeinu hizkuntzetako bat lehenengo hizkuntza gisa. Hala ere, zeinu hizkuntzen ezagutza ez dagoenez mundu osotik zabalduta, pertsona horiek zailtasunak izan ohi dituzte zenbait agertokitan, eta eguneroko bizitzako esku hartzeak zailagoak bihurtzen dira itzulpenarekin laguntzen dieten interpreterik ez dagoenean. Arazo horiek konpontzeko, azken aldian, ikuspuntu ugari garatu dira zeinu hizkuntzaren ezagutza automatikoaren esparruan. Ikuspuntu horietako batzuk apur bat intrusiboak dira; izan ere, zeinu egileak (zeinu hizkuntza erabiltzen duen pertsona) gailuren bat erabili behar du, sistema esaten ari dena interpretatzeko gai izan dadin.”

“Zeinu hizkuntzek -azaldu du doktoregoko ikasle Itsaso Rodríguezek-, ahozko hizkuntzek bezalaxe, euren egitura linguistikoak dituzte eta nahiko zailak dira ahozko hizkuntzetara itzultzeko, zenbait alderdi direla eta. Zeinu hizkuntza bakoitza milaka zeinuk osatzen dute, eta, askotan, aldaketa txikiengatik bereizten dira. Adibidez, zeinu batzuek eskuen ezarpen berbera dute, baina orientazio desberdina. Gainera, batzuetan, zeinu baten esanahia erabiltzen den testuinguruaren edo esaldiaren arabera aldatu ahal da. Aurpegiera ere funtsezkoa da zenbait zeinu bereizteko, eta hori oso garrantzitsua da, adibidez, galde perpausak egitean. Hortaz, zenbait zeinu xehetasun txikiengatik bereizten dira, hala nola eskuaren ezarpena, mugimendua, kokapena, aurpegiera edo testuingurua.”

Bideoan oinarrituta

Hala ere, gaineratu du Basilio Sierrak, zenbait zeinu oso antzekoak dira entzule ez aditu batek egoera bat deskribatzeko erabiliko lituzkeenekin. Eta, kasu gehienetan, zeinu-objektu harremana arbitrarioa da eta ez dauka inolako erreferentzia bisualik. “Zeinu hizkuntzaren beste ezaugarri batzuk, adibidez, honako hauek dira: hitzen ordena desberdina izan ahal da testuinguruaren arabera edo zenbait aditz ez dira zeinuz adierazten. Horrez gain, hatz ortografia aintzat hartu behar da; hitzak letreiatzen dira ez bada hitzaren zeinua ezagutzen. Hatz bidez egindako letreiatzea gehien bat izen bereziekin erabiltzen da. Beste zenbait ezaugarrik ere eragiten dute zeinu hizkuntza ezagutzea lan zaila izatea, ikerketan guztiak aipatzen ez ditugun arren”. Hala, lan honetan bideoan oinarritutako zeinu hizkuntza ezagutzeko ikuspuntua aurkezten da. “Prozesuaren lehen urrats gisa, seinale batzuk osatzen dira MediaPipek (aurpegiko detekzio ultralasterreko soluzioa) ateratako posizioekin. Seinale horiek zeinua egiten ari den eskuaren artikulazio multzo bat irudikatzen dute. Jarraian, seinale horiek Common Spatial Patterns algoritmoa (elektroentzefalograma seinaleetan maiz erabiltzen den algoritmoa, dimentsionaltasuna murrizteko) erabilita eraldatzen dira. Common Spatial Patterns elektrokardiografiaren, elektromiografiaren esparruan edo irudi astronomikoetan ere aplikatu da planetak detektatzeko, eta duela gutxi bideo bidez ekintzak ezagutzeko erabili da. Lortutako emaitzak oso onak izan dira. Ikuspuntu horrek aukera ematen du modu itxian kalkulua egiteko, eta, beraz, beharrezkoa da amaiera irizpideak erabakitzea. Hala gertatzen da modu zabalean aplikatutako iterazio metodoekin, adibidez, ikasketa sakonean gertatutako gradiente murrizketan.

Plos One aldizkari zientifikoan argitaratutako artikuluetan zeinu hizkuntza ezagutzeko ikuspuntua aurkezten da, non argentinar zeinu hizkuntzaren datu multzo bat erabiltzen den. “Bideo fotograma bakoitzean eskuaren zenbait erreferentzia puntu lortzen dira MediaPipe teknologiaren bidez. Eskuaren erreferentzia puntu horiek bideo bakoitzaren zeinu multzo bat sortzeko erabiltzen dira. Aipatutako Common Spatial Patterns algoritmoa seinale horiek eraldatzeko erabiltzen da, eta, seinale horien ezaugarri batzuk atera ondoren (bariantza balioak, maximoa, minimoa eta kuartil arteko tartea), sailkapena egiten da. Sailkapena egiteko, zenbait sailkatzaile erabili dira. Aipatu behar da aurkeztutako ikuspuntua ez dela intrusiboa, eta ez da beharrezkoa zeinu egileei gailurik jartzea; hortaz, sistema erosoagoa da haientzat. Lortutako emaitzak 0:90 eta 0:95 artean daude, eta zehaztasun balio altuagoak lortzen dira kolore tarte zuri-beltzera bihurtzean. Hortaz, sailkapenaren emaitzak itxaropentsuak dira”, esan du amaitzeko Itsaso Rodríguezek.