Datu masiboen prozesamendurako azpiegiturak (DMPA)

Datuen analisirako dauden tresna eta plataformen artean, “big data”-ri dagozkionak topa ditzakegu, hau da, datu masiboen prozesamenduari buruzkoak. “Masiboa” hitza funtsezkoa da, ez baitira plataforma konbentzionaletan, hau da, mahai gaineko ordenagailu batean edo zerbitzari batean prozesa daitezkeen datu-bolumenak. Batzuetan, “makrodatu” terminoa erabiltzen da esanahi horrekin.

Datuen Prozesamendu Masiborako azpiegiturak konplexuak dira egitura aldetik, elkarren artean konektatutako hainbat zerbitzu baitira. Zerbitzu horiek prozesatze-gaitasuna, biltegiratzeko gaitasuna eta akatsekiko tolerantzia dakarte, besteak beste. Egitura ulertuta, plataforma egokietan zabaldu behar dira, eta plataforma horiek askotarikoak izan daitezke: hardware erreala (klusterrak), makina birtualak, edukiontziak, etab., bai norberaren datuak prozesatzeko zentro batean, bai hodeian.



Irakasgaiaren testuingurua

DMPAko ikasleek derrigorrezko irakasgai hauek eginak izango dituela aurreikusten da: Lehen mailako “Konputagailu Sareen eta Sistema Eragileen Oinarriak” (SEen, biltegiratzearen eta sareen oinarrizko gaiak ezagutu ditu) eta Bigarren mailako “Sistema paralelo eta banatuak” (prestazio handiko konputazioa, paralelismoa, sistema banatuak); “Datu-baseak” (biltegiratze egituratua) eta “Softwarearen ingeniaritza” (software-proiektuak garatu eta ezartzea). Gainera, irakasgai honekin batera, ikasleak “Big Data aplikazioen garapena” ikasten arituko dira aldi berean.

Aurreko irakasgaiek DMPArako behar den oinarria ematen dute, eta DMPAn deskribatzen diren azpiegiturak “Big Data aplikazioen garapena” ikasgaian ustiatzen ikasiko dira.

1. Datuak masiboki prozesatzeko sistemen beharrak ezagutzea

2. Datuak masiboki prozesatzeko plataformak ezagutzea

3. Plataforma horiek ezartzeko eta hedatzeko aukerak ezagutzea

4. Zerbitzuak hedatzeko plataformak erabiltzeko trebetasunak

5. Cloud, edge sistemak erabiltzeko trebetasunak

Oharra: gaien ordena eta egituraketak aldaketak izan ditzake



1. Zerbitzuak hedatzeko plataformak:

1.1 Azpiegitura fisikoak

1.2 Azpiegitura birtualak

1.3 Hodeiko hedapenak

2. Datu masiboak prozesatzeko aplikazioen beharren azterketa. Streaming vs. batch.

3. Makrodatuak biltegiratzeko eta aztertzeko zerbitzuak

3.1 Makrodatuak prozesatzeko inguruneen deskribapena

3.2 Ingurune horiek DPZetan eta hodeian hedatzea

4. Edge, fog computing: baliabide zentralizatuen eta baliabide periferikoen arteko prozesamendu kooperatiboa

Ikasgaiak ikuspegi guztiz praktikoa du. Zerbitzu-plataformen eta horiek hedatzeko inguruneen deskribapenarekin batera, behar diren oinarri teorikoak emango dira, honako alderdi hauek ulertzeko: biltegiratze aukerak, konektibitate aukerak, segurtasuna, akatsekiko tolerantzia, errendimendua, etab. Premisa horren arabera, honela antolatuko dira eskolak:

4 kreditu eskola magistraletarako, horietan, hedapenerako plataformak eta inguruneak deskribatuko dira, beharrezkoak diren alderdi teorikoekin batera. PowerPoint motako aurkezpenetan eta “hands-on” demotan oinarrituko dira eskola horiek.

Laborategiko bi kreditu, ordenagailuarekin, eskola magistraletan azaldutako ezagutzak praktikan jartzeko.

Gainera, ikasleek banakako lan praktikoak egingo dituzte, saio magistraletan eta laborategiko saioetan ikasitakoaren osagarri gisa.

• Ebaluazio Jarraituaren Sistema
• Azken Ebaluazioaren Sistema
• Kalifikazioko tresnak eta ehunekoak:
  • Garatu beharreko proba idatzia (%): 25
  • Praktikak egitea (ariketak, kasuak edo buruketak) (%): 75

Ebaluatzeko modu lehenetsia ebaluazio jarraitua da eta ohiko deialdirako bakarrik balio du. Hala ere, ez dago alde handirik jarraituaren eta globalaren artean. Bi kasuetan, beharrezkoa da zenbait lan praktiko eta azken azterketa egitea.

Ikasturtean zehar 2 eta 4 lan indibidual artean egin beharko dira, irakasgaiaren % 75eko pisu metatuarekin. Azterketak % 25eko pisua du notan, eta ikastetxeak adierazitako egunean egingo da.

Ikasgaia gainditzeko, batez beste, azkeneko nota 5ekoa (10en gainean) izateaz gain, ebaluazioko zati guztietan gutxienez zatiaren nota maximoaren % 35a atera behar da.

Esan bezala, ebaluazio jarraituan lanak ikasturtean zehar egin eta entregatu beharko dira. Ebaluazio orokorrean, berriz, azterketa eguna baino astebete lehenago entregatu beharko dira.

UPV/EHUko araudiak adierazten duen bezala, nahi duten ikasleek idatziz aurkeztu beharko diote irakasleari ebaluazio jarraituari uko egiten diotela (ebaluazio orokorrera pasatuz), eta horretarako 9 asteko epea izango dute ikasturtea hasten denetik.

Ikasle batek ohiko deialdiari uko egitea erabakitzen badu, horretarako, (1) ebaluazio globalera pasa beharko da eta (2) aldaketa horren ondoren, ez du praktikarik aurkeztu beharko ez eta azterketara aurkeztu.

Ohiko deialdiaren ebaluazio globala bezala ebaluatuko da: lan guztiak azterketa eguna baino astebete lehenago entregatuko dira, eta azterketa bat egingo da ikastetxeak adierazitako egunean.

Ohiko deialdian probaren bat gainditu bada, dela praktika bat, dela azterketa (hau da, zati horretako gehieneko notaren %50 gutxienez lortu izana), ezohiko deialdian ez da beharrezkoa izango berriro lana entregatzea edo azterketa egitea.

Ikasle batek ez-ohiko deialdiari uko egiten diola ulertuko da lanik entregatzen ez duenean eta azterketara aurkezten ez denean.

Ez dago nahitaez erabili beharreko materiala, baina oso gomendagarria da ikasleek beren ekipo informatikoa izatea, praktikak egin ahal izateko. Ekipoek birtualizazio-inguruneak exekutatzeko adina memoria eta prozesu-gaitasuna izan beharko ditu.

Oinarrizko bibliografia

Ez dago.

Gehiago sakontzeko bibliografia

Sourav Mazumder, Robin Singh Bhadoria, Ganesh Chandra Deka (editors). Distributed Computing in Big Data Analytics. Concepts, Technologies and Applications

Bahaaldine Azarmi. "Scalable Big Data Architecture: A practitioners guide to choosing relevant Big Data architecture".

Anupam Chattopadhyay, Chip Hong Chang, Hao Yu (editores). "Emerging Technology and Architecture for Big-data Analytics"

Mark Grover, Ted Malaska, Jonathan Seidman, Gwen Shapira. Hadoop Application Architectures: Designing Real-World Big Data Applications 1st Edition.

Aldizkariak

Journal of big data (Springer)
Big data research (Elsevier)
IEEE Transactions on Knowledge and Data Engineering

Web helbideak

Dinamismoa dela eta, urtero eGelan argitaratuko dira.