Descripción y contextualización de la asignatura

En este curso se abordarán los fundamentos teóricos de las redes neuronales profundas, así como las aplicaciones de las mismas. En una primera fase, se abordarán los conceptos más importantes (funciones de pérdida, descenso de gradiente, backpropagation) usando perceptrones multicapa. En una segunda fase, se introducirán arquitecturas más modernas como las redes convolucionales y las redes recurrentes.

Resultados del aprendizaje de la asignatura

Identificar los problemas típicos de deep learning y las formas de resolverlos.

Aprender los principales paradigmas de redes neuronales y sus características principales.

Formular e implementar soluciones de deep learning para problemas reales usando herramientas de código abierto basados en Python.

Reconocer los modelos de redes neuronales apropiados para diferentes problemas.

Temario

Tema 1 ¿ Fundamentos teóricos del deep learning.

Tema 2 ¿ Perceptron multi-capa y el proceso de aprendizaje

Tema 3 ¿ Entrenando las redes neuronales

Tema 4 - Introducción a las arquitecturas modernas de redes neuronales profundas

En el aspecto práctico se hará uso de librerías modernas de deep learning como Pytorch o Tensorflow para la creación de aplicaciones.

Bibliografía

Materiales de uso obligatorio

Deep Learning. Ian Goodfellow and Yoshua Bengio and Aaron Courville. 2016. https://www.deeplearningbook.org/

Dive into Deep Learning. Aston Zhang and Zachary C. Lipton and Mu Li and Alexander J. Smola. 2020. http://d2l.ai/

Neural networks for pattern recognition. Christopher M. Bishop.

Bibliografía de profundización

Machine learning. A probabilistic perspective. Kevin P. Murphy

Pattern recognition and machine learning. Christopher M. Bishop.

Bayesian Netwoks and Decision Graphs. Finn V. Jensen. Springer-Verlag. 2001.

The synaptic organization of the brain. Gordon M. Shepherd. Firth Edition

Introduction to the theory of neural computation. Hertz, J., Krogh, A., Palmer, R. G. Addison-Wesley, 1991

30 years of adaptive neural networks: Perceptron, Madaline, and backpropagation., Widrow, B., Lehr, M.A., Proceedings of IEEE, 78(9), 1415-1442, 1990.

Learning with Kernels, Scholkopf and Smola, 2002

The Elements of Statistical Learning,, Hastie, Friedman, and Tibshirani, 2001

The nature of statistical learning theory, Vapnik, V

Revistas

Proceedings of NeurIPS: https://nips.cc/

Proceedings of ICLR: https://iclr.cc/

IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

IEEE Transactions on Neural Networks

Enlaces

NYU Deep Learning: https://nyudatascience.medium.com/yann-lecuns-deep-learning-course-at-cds-is-now-fully-online-accessible-to-all-787ddc8bf0af

Berkeley Deep Learning: https://t.co/0PaBOJElo9

Stanford Convolutional Neural Networks for Visual Recognition: http://cs231n.stanford.edu/

Stanford Natural Language Processing with Deep Learning: http://web.stanford.edu/class/cs224n/

NN software

Pytorch: https://pytorch.org/

Tensorflow: https://www.tensorflow.org/

scikit-learn: https://scikit-learn.org/stable/