Ikastaro hau nahitaezkoa da Adimen Artifizialeko graduan, eta hautazkoa Informatikako Ingeniaritzako graduan. AA graduko hirugarren ikasturtean ikasten da, eta laugarren urtean IIn. Ikastaroa ikaskuntza automatikoaren eta datuen zientziaren esparruetan kokatzen da, eta bere helburua da ikaslea modu autonomoan ikasteko gai diren ereduak eta algoritmoak ulertzea, garatzea eta inplementatzea. "Deep learning" ikaskuntza sakoneko ikuspegien paradigma nagusiak zein diren ikusiko da, eta baita ere beren aplikazio-eremu nagusiak. Bereziki, ikastaroa neurona-saretan oinarrituko da, mota garrantzitsuenak ezagutuz, eta oinarri teorikoak zein aplikazio-eremuak azalduz. Arreta berezia jarriko zaie neurona-sare sakonei, azken belaunaldiko ikaskuntza automatikoko teknika gisa diren heinean. Ikasleari erakutsiko zaio neurona-sareak zein arazo motetan nola aplikatu daitezkeen, eta baita ere sare hauen mota desberdinak ezagutzea, inplementatzea eta aplikazi eremuak identifikatzea. Ikastaroak beharrezko ezagutza teorikoa estaliko badu ere, denboraren zati handi bat klase praktikoei eskainiko die, Python lengoaia erabiliz, mundu errealeko ikaskuntza automatikoko arazoak konpontzeko neurona-sareak inplementatzeko.

- Ikaskuntza sakoneko problema nagusiak identifikatzea, eta baita ere hauei aurre egiteko metodo ohikoenak.

- Neurona-sareen paradigma nagusiak eta ezaugarri nagusiak zein diren ikastea.

- Ikaskuntza sakoneko ikuspegiak formulatzea eta inplementatzea mundu errealeko arazoetan, Python kode irekiko tresnak erabiliz.

- Problema mota desberdinetarako egokienak diren neurona-sare sakonen ereduak ezagutzea.

- Aplikazio-eremu arrakastatsuenen, gai gorienen eta ikaskuntza sakonean irekitako arazoen oinarrizko ulermena lortzea.

Ikastaroaren eskema (behin-behinekoa)



1. Ikaskuntza sakonerako sarrera (DL)

1. Ikaskuntza automatikoko teknikak mundu errealean

2. Deep Learning: oinarri biologikoak eta matematikoak

3. DLrako oinarri matematikoak

4. Ikaskuntza-paradigmak: ikaskuntza gainbegiratua, gainbegiratu gabeko ikaskuntza, transferentzia bidezko ikaskuntza

5. Erregresio lineala eta logistikoa



2. Geruza anitzeko pertzeptroia (MLP)

1. Motibazioa eta aplikazioak

2. MLPen egitura

3. Pisuak eta alborapenak

4. Ez-linealtasunak

5. Aurreranzko hedapena

6. Atzeranzko hedatzea

7. Gradientearen jaitsiera



3. MLP sareak entrenatzen

1. Gainegokitzapena eta azpiegokitzapena

2. Erregularizazioak

3. Eredu-hautaketa

4. Optimizazioa

5. Plangintza



4. Neurona-sare konboluzionalak (CNN)

1. Motibazioa eta aplikazioak

2. Definizioa eta ezaugarriak

3. Konboluzio-eragilea

4. Bateratze-lana

5. CNNak praktikan



5. Sare neuronal errekurrenteak (RNN)

1. Motibazioa eta aplikazioak

2. Definizioa eta ezaugarriak

3. Atzeranzko propogazioa denboran zehar

4. LSTM eta GRU

5. RNN praktikan



6. Transformerren arkitektura

1. Motibazioa eta aplikazioak

2. Arreta-mekanismoa

3. Transformers praktikan



7. Metodo sortzaileak

1. Motibazioa eta aplikazioak

2. Autokodifikatzaileak

3. Autokodifikatzaile bariazionalak

4. Etsai-sare sortzaileak (GAN)



8. Sare neuronalak grafoetan (GCN)

1. Motibazioa eta aplikazioak

2. GNN praktikan



9. Gai aurreratuak neurona-sareen azterketetan

1. Neurobilakaera edo bilakaera artifizialaren bidez sare neuronalen arkitekturak automatikoki sortzea

2. "Spiking" sareak eta kate polikronikoak

3. Sare aurkariak

4. Beste gai aurreratu batzuk

Gutxi gora behera, klase magistralen eta praktikoen kopurua berdina izango da, eta azken horietan ariketak ebatziko dira, eta baita laborategiak, Python erabiliz. Laborategietan ikasleek taldean eta banaka lan egingo dute, sakoneko ikaskuntza-metodoak erabiliz arazo praktikoetarako irtenbide egokiak aurkitzeko. Etengabeko ebaluazioen barruan, ikasleek arazo praktikoetarako irtenbideak inplementatuko dituzte, eskuragarri dagoen Python softwarea erabiliz (adibidez, scikit-learn, pytorch, etab.), eta proiektu gisa aurkeztuko dituzte.



Ikastaroak gune birtual bat izango du eGelan, eta bertan hainbat esteka egongo da eskuragarri (softwarea, bibliografia, arazoen biltegak, etab). Ikastaroko apunteak ere eGelako ipiniko dira, irakasleak horrela baderitzo. Ikasleek eGelako berrien foroak izango dituzte haien arazoak eztabaidatzeko. Halaber, github kontuak sortzea gomendatzen da.

• Ebaluazio Jarraituaren Sistema
• Azken Ebaluazioaren Sistema
• Kalifikazioko tresnak eta ehunekoak:
  • Ikusi beheko atalak (%): 100

Irakasgaia bi modutan gainditu ahal izango da: etengabeko ebaluazio bidez edo amaierako ebaluazio bidez. Etengabeko ebaluazioa irakasgaiaren hasieran aukeratu ahal izango da, eta behin betiko berretsi beharko da adieraziko diren epeetan (irakasgaiaren % 60-80 igarotzean), ikasleak hala eskatuta eta irakasgaiaren irakasleak haren errendimendua egiaztatuta.



Etengabeko ebaluazio-metodoak ez du soilik azterketa zein praktiken errendimendua jasotzen. Horretaz gain, ikasleak ikasgelan duen parte-hartze aktiboa neurtuko da, laborategiko zereginak, idatzizko txostenaren argitasuna, eta ahozko azalpenean erakutsitako komunikazio-gaitasuna.





ETENGABEKO EBALUAZIOA:

A: Lan idatziak -> 6/10

B: Proiektuak - 4/10



OHARRA: Bi lanak derrigorrezkoak dira, eta nota minimoa eskatuko da bietan (4.5).



AMAIERAKO EBALUAZIOA:

A: Lan idatziak -> 7/10

B: Proiektuak - 3/10



OHARRA: Bi lanak derrigorrezkoak dira, eta nota minimoa eskatuko da bietan (5).

A: Lan idatzia -> 10/10



OHARRA: Lana derrigorrezkoak da, eta nota minimoa eskatuko da (5).

Oinarrizko bibliografia

Oinarrizko bibliografia:



- Deep Learning. Ian Goodfellow and Yoshua Bengio and Aaron Courville. 2016. https://www.deeplearningbook.org/

- Dive into Deep Learning. Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola. 2020. http://d2l.ai/

- Neural networks for pattern recognition. Christopher M. Bishop.

Gehiago sakontzeko bibliografia

Gehiago sakontzeko bibliografia:

- Machine learning. A probabilistic perspective. Kevin P. Murphy
- Pattern recognition and machine learning. Christopher M. Bishop.
- Bayesian Netwoks and Decision Graphs. Finn V. Jensen. Springer-Verlag. 2001.
- The synaptic organization of the brain. Gordon M. Shepherd. Firth Edition
- Introduction to the theory of neural computation. Hertz, J., Krogh, A., Palmer, R. G. Addison-Wesley, 1991
- 30 years of adaptive neural networks: Perceptron, Madaline, and backpropagation., Widrow, B., Lehr, M.A., Proceedings of IEEE, 78(9), 1415-1442, 1990.
- Learning with Kernels, Scholkopf and Smola, 2002
- The Elements of Statistical Learning,, Hastie, Friedman, and Tibshirani, 2001
- The nature of statistical learning theory, Vapnik, V

Aldizkariak

Proceedings of NeurIPS: https://nips.cc/
Proceedings of ICLR: https://iclr.cc/
IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)
IEEE Transactions on Neural Networks

Web helbideak

NYU Deep Learning: https://nyudatascience.medium.com/yann-lecuns-deep-learning-course-at-cds-is-now-fully-online-accessible-to-all-787ddc8bf0af
Berkeley Deep Learning: https://t.co/0PaBOJElo9
Stanford Convolutional Neural Networks for Visual Recognition: http://cs231n.stanford.edu/
Stanford Natural Language Processing with Deep Learning: http://web.stanford.edu/class/cs224n/
Machine learning with graphs (graph convolutional layers): https://www.youtube.com/watch?v=aBHC6xzx9YI&list=PLoROMvodv4rPLKxIpqhjhPgdQy7imNkDn&index=2

NN software
Pytorch: https://pytorch.org/
scikit-learn: https://scikit-learn.org/stable/
scikit-neuralnetwork: https://github.com/rsantana-isg/scikit-neuralnetwork