Programa espezifikoa: HORIZON-CL4-2023-HUMAN-01-21

UPV/EHU: Onuraduna
UPV/EHU IP: Oier López de la Calle Lecuona

Proiektuaren hasiera: 2024/01/01
Proiektuaren amaiera: 2026/12/31

Deskribapen laburra:

LUMINOUSen helburua da lengoaiak areagotutako XR sistemen hurrengo belaunaldia sortzea, non hizkuntza naturalean oinarritutako komunikazioak eta tamaina handiko hizkuntza-eredu multimodalek (MLLM) erabiltzaileen eta ingurune ikusezinen premia indibidualetara, aurrez definitu gabeetara, egokitzeko aukera ematen duten. Horri esker, XRren etorkizuneko erabiltzaileek beren ingurunearekin modu arinean elkarreragin ahal izango dute, eta, aldi berean, zeregin berritzaileak egiteko etengabe eguneratutako domeinuaren ezagutza-iturri orokor eta espezifikoetarako berehalako sarbidea izango dute. Gure helburua da injektatutako MLLMak domeinuaren ezagutza espezifikoarekin ustiatzea, erabiltzaileak eskatutako zeregin berritzaileak deskribatzeko. Gero, ahots-interfaze baten eta/edo zereginera egokitu daitekeen avatar baten bidez komunikatzen dira (adibidez, entrenatzailea/irakaslea), hainbat laguntza bisualen eta zeregina egiteko prozedura-urratsen arabera. Estilo-hizkuntzak, aurpegi-adierazpenek eta gorabehera birtualen berariazko jarrerek bultzatutako zehaztapenak erraztu egingo du egoeraren komunikazio orokorra eta kontzientea, hainbat erabilera-kasutan eta sektoretan. LLMak aldi berean baliatuko dira beren entrenamendu-datuetan sartzen ez ziren objektu berriak identifikatzeko, eta, ondoren, bisualki ezagutzeko moduan deskribatuko dituzte. Gure emaitzak prototiparatu egingo dira eta hiru pilotutan probatuko dira, neurorrehabilitazioan (istripu zerebrobaskularra duten eta hizkuntzaren desgaitasuna duten pazienteei laguntzea), segurtasun industrialean murgiltzeko prestakuntzan eta 3Dko diseinu arkitektonikoaren berrikuspenean zentratuz. Sei diziplinatan (IA, ikuspegi areagotua, PNL, ordenagailu bidezko grafikoak, neurorrehabilitazioa, etika) adituak diren I+Gko sei institutu liderrek osatutako partzuergo batek desafiozko lan-plan bati jarraituko dio, Europan gaur egun etorkizun handiena duten bi garapen teknologikoren (LLM/IA eta XR) bidegurutzean aro berri bat sortzeko helburuarekin.