Autor: Julen Etxaniz Aragoneses

Tesis: Hizkuntza-ereduak hobetzen baliabide gutxiko hizkuntzetan

Dirección: Oier López de Lacalle / Mikel Artetxe

Día: 29 de julio de 2026
hora: 9:30h
Lugar: sala Ada Lovelace (Facultad de Informática)

Abstract:

"Hizkuntzaren prozesamendua (HP) goitik behera aldatu da hizkuntza-eredu handien (ingelesez, LLM) agerpenarekin. Eredu horiek gaitasun ikusgarriak erakutsi dituzte testu-sorkuntzan, arrazoiketan eta ulermenean. Hala ere, aurrerapen horiek nagusiki anglozentrikoak dira, baliabide handiko hizkuntzak nagusi diren corpus masiboetan entrenatuak baitira. Euskara bezalako baliabide gutxiko hizkuntzen kasuan, halako ereduak entrenatzeko behar diren datu-multzoen eskasiak nabarmen mugatzen du haien errendimendua. Helburu komertzialeko eredu eleaniztunen mendekotasunak sarritan emaitza eskasak ematen ditu, eta, aldi berean, eredu erraldoiak hutsetik entrenatzea zaila edo ezinezkoa da komunitatearentzat, bai ikuspegi tekniko eta bai ekonomikotik.

Tesi honen helburua baliabide gutxiko hizkuntzen, eta bereziki euskararen, eten digitala gainditzeko metodoak ikertzea eta garatzea da. Horretarako, ingelesean zentratutako eredu aurreratuen hizkuntza-arteko gaitasunak ustiatzen dira, aurreentrenamendu jarraituaren (continued pretraining) bidez euskarara egokituz, eta kulturari egokitutako ebaluazio-esparru zorrotzak ezarriz. Laburbilduz, tesiak hiru atal nagusi ditu: hizkuntza-arteko inferentzia estrategien azterketa, oinarrizko eredu eta ebaluazio natiboen garapena, eta tokiko kultura-ezagutza eskuratzea eta ebaluatzea.

Zehatzago esanda, lehendabizi aztertu dugu nola aprobetxa daitezkeen lehendik dauden eredu eleaniztunak ahalik eta gehien, entrenamendu gehigarririk egin gabe. Baliabide gutxiko hizkuntzetan errendimenduaren beherakadari aurre egiteko ohiko tekniketako bat translate-test metodoa da. Hurbilketa horrek kanpoko itzulpen automatikoko (MT) sistema bat erabiltzen du prompt-ak ingelesera itzultzeko. Tesi honetan self-translate hurbilketa proposatzen dugu. Eredua bera erabiltzen dugu sarrera ingelesera itzultzeko, eta horrela prompt-aren hizkuntzaren eragina isolatzen da. Erakutsi dugu eredu eleaniztunek eraginkorrago atzitzen dituztela beren gaitasunak ingelesez, self-translate-ek sistematikoki gainditzen baitu ingelesa ez den hizkuntzan egindako inferentzia zuzena, kanpoko MT sistemen menpekotasunik gabe.

Hizkuntza-arteko prompting-a eraginkorra izan daitekeen arren, benetako jariakortasuna lortzeko egiturazko egokitzapena behar da. Horretarako, oinarrizko eredu eleaniztunak utzi eta nagusiki ingelesez entrenatutako Llama 2 euskarara egokitzeko aurreentrenamendu jarraitua aplikatu dugu. Horren emaitza Latxa izan da: 7 eta 70 mila milioi parametro arteko oinarrizko eredu irekien familia bat. Egokitzapen horren arrakasta zehaztasunez neurtzeko, ingelesetik itzulitako proba-bankuen arazoei aurre egin behar izan diegu, datu-kutsadura eta itzulpen-arrastoak. Horren ondorioz, proba-banku natiboen sorta bat garatu dugu, azterketa ofizial eta publikoetan oinarritua.

Azkenik, tesi honetan sarritan albo batera uzten den beste dimentsio bat ere landu dugu: alborapen kulturala. Gaur egungo proba-banku gehienek gai globalak edo mendebaldeko erreferentziak ebaluatzen dituzte. Horren ondorioz, baliabide gutxiko hizkuntza batean eredu batek duen gaitasuna maiz neurtzen da hizkuntza horri lotutako kulturari buruz zenbat dakien aztertu gabe. Horri erantzuteko, BertaQA aurkeztu dugu: euskarazko eta ingelesezko bertsio paraleloak dituen aukera anitzeko tribial datu-multzoa, gai globaletan eta lokaletan banatua. Gure analisiek erakutsi du puntako LLMek hutsune handiak dituztela tokiko kultura-ezagutzan. Aldi berean, ikusi dugu euskarazko corpus baten gaineko aurreentrenamendu jarraituak nabarmen hobetu dezakeela ereduaren euskal kulturari buruzko ezagutza. Gainera, eskuratutako ezagutza horren zati bat ingelesez galdetuta ere atzitu daiteke. Horrek erakusten du ezagutza-transferentzia ere gertatzen dela baliabide gutxiko hizkuntza batetik baliabide handiko hizkuntza batera."