Materia

Contenido de XSL

Aprendizaje Profundo

Datos generales de la materia

Modalidad
Presencial
Idioma
Inglés

Descripción y contextualización de la asignatura

Los modelos de redes neuronales de Aprendizaje Profundo (Deep Learning) se han aplicado con éxito al procesamiento del lenguaje natural, y están cambiando radicalmente la forma en que interactuamos con las máquinas (Siri, Amazon Alexa, Google Home, el traductor de Skype, Google Translate o el motor de búsqueda de Google). Estos modelos infieran una representación continua tanto para palabras como para oraciones, en lugar de utilizar los rasgos diseñadas a mano de otros enfoques de aprendizaje automático. El curso presentará los principales modelos de aprendizaje profundo utilizados en el procesamiento del lenguaje natural, lo que permitirá a los asistentes comprender e implementar estos modelos en Tensorflow.

Profesorado

NombreInstituciónCategoríaDoctor/aPerfil docenteÁreaEmail
AGIRRE BENGOA, ENEKOUniversidad del País Vasco/Euskal Herriko UnibertsitateaProfesorado PlenoDoctorBilingüeLenguajes y Sistemas Informáticose.agirre@ehu.eus
AZCUNE GALPARSORO, GORKAUniversidad del País Vasco/Euskal Herriko UnibertsitateaProfesorado Adjunto (Ayudante Doctor/A)DoctorBilingüeCiencia de la Computación e Inteligencia Artificialgorka.azcune@ehu.eus
BARRENA MADINABEITIA, ANDERUniversidad del País Vasco/Euskal Herriko UnibertsitateaProfesorado Adjunto (Ayudante Doctor/A)DoctorBilingüeLenguajes y Sistemas Informáticosander.barrena@ehu.eus
LOPEZ DE LACALLE LECUONA, OIERUniversidad del País Vasco/Euskal Herriko UnibertsitateaProfesorado Adjunto (Ayudante Doctor/A)DoctorBilingüeLenguajes y Sistemas Informáticosoier.lopezdelacalle@ehu.eus

Competencias

DenominaciónPeso
Habilidad para manejar las estrategias y herramientas basadas en conocimiento para el procesamiento del lenguaje humano.20.0 %
Habilidad para manejar las estrategias y herramientas de aprendizaje automático para el procesamiento del lenguaje humano.20.0 %
Habilidad para el manejo, adaptación y mejora de los métodos empíricos más relevantes para la investigación en las tecnologías de la lengua.20.0 %
Capacidad para gestionar representaciones multimodales.20.0 %
Capacidad para mejorar la comprensión del lenguaje con la ayuda de la información visual.20.0 %

Tipos de docencia

TipoHoras presencialesHoras no presencialesHoras totales
Magistral203050
P. Ordenador4060100

Actividades formativas

DenominaciónHorasPorcentaje de presencialidad
Clases magistrales50.040 %
Prácticas con ordenador, laboratorio, salidas de campo, visitas externas100.040 %

Sistemas de evaluación

DenominaciónPonderación mínimaPonderación máxima
Ensayo, trabajo individual y/o en grupo50.0 % 50.0 %
Trabajos y proyectos50.0 % 50.0 %

Resultados del aprendizaje de la asignatura

* RA1 Manejar herramientas de aprendizaje profundo.

* RA2 Demostrar comprensión sobre los sistemas de aprendizaje profundo, así como las arquitecturas principales usadas en el PLN.

* RA3 Desarrollar unos sistemas básicos de aprendizaje profundo aplicado a problemas de PLN.

* RA4 Demostrar conocimiento sobre los últimos avances del aprendizaje profundo en PLN.

Convocatoria ordinaria: orientaciones y renuncia

Sistema de Evaluación Continua

Herramientas y porcentajes de calificación:

Prueba escrita a desarrollar (%):

Realización de prácticas (ejercicios, casos o problemas) (%): 50

Trabajos individuales (%): 50



Sistema de Evaluación Final

Herramientas y porcentajes de calificación:

Prueba escrita a desarrollar (%): 50

Trabajos individuales (%): 50

Convocatoria extraordinaria: orientaciones y renuncia

Sistema de Evaluación Final

Herramientas y porcentajes de calificación:

Prueba escrita a desarrollar (%): 50

Trabajos individuales (%): 50

Temario

1. Introduction to machine learning and NLP with Tensorflow

2. Multilayer Perceptron

3. Word embeddings and recurrent neural networks

4. Seq2seq, neural machine translation and better RNNs

5. Attention, Transformers and Natural Language Inference

6. Pre-trained transformers, BERTology

7. Bridging the gap between natural languages and the visual world

Bibliografía

Bibliografía básica

Yoav Goldberg's Primer. http://u.cs.biu.ac.il/~yogo/nnlp.pdf

Kyunghyun Cho's course notes. http://arxiv.org/pdf/1511.07916.pdf

The online version of the Goodfellow, Bengio, and Courville Deep Learning textbook. http://www.deeplearningbook.org/