nireEHU 
Materia
Aprendizaje Profundo
Datos generales de la materia
- Modalidad
- Presencial
- Idioma
- Inglés
Descripción y contextualización de la asignatura
Los modelos de redes neuronales de Aprendizaje Profundo (Deep Learning) se han aplicado con éxito al procesamiento del lenguaje natural, y están cambiando radicalmente la forma en que interactuamos con las máquinas (Siri, Amazon Alexa, Google Home, el traductor de Skype, Google Translate o el motor de búsqueda de Google). Estos modelos infieran una representación continua tanto para palabras como para oraciones, en lugar de utilizar los rasgos diseñadas a mano de otros enfoques de aprendizaje automático. El curso presentará los principales modelos de aprendizaje profundo utilizados en el procesamiento del lenguaje natural, lo que permitirá a los asistentes comprender e implementar estos modelos en Tensorflow.Profesorado
| Nombre | Institución | Categoría | Doctor/a | Perfil docente | Área | |
|---|---|---|---|---|---|---|
| AGIRRE BENGOA, ENEKO | Universidad del País Vasco/Euskal Herriko Unibertsitatea | Profesorado Pleno | Doctor | Bilingüe | Lenguajes y Sistemas Informáticos | e.agirre@ehu.eus |
| AZCUNE GALPARSORO, GORKA | Universidad del País Vasco/Euskal Herriko Unibertsitatea | Profesorado Agregado | Doctor | Bilingüe | Ciencia de la Computación e Inteligencia Artificial | gorka.azcune@ehu.eus |
| BARRENA MADINABEITIA, ANDER | Universidad del País Vasco/Euskal Herriko Unibertsitatea | Profesorado Adjunto (Ayudante Doctor/A) | Doctor | Bilingüe | Lenguajes y Sistemas Informáticos | ander.barrena@ehu.eus |
| LOPEZ DE LACALLE LECUONA, OIER | Universidad del País Vasco/Euskal Herriko Unibertsitatea | Profesorado Adjunto (Ayudante Doctor/A) | Doctor | Bilingüe | Lenguajes y Sistemas Informáticos | oier.lopezdelacalle@ehu.eus |
Competencias
| Denominación | Peso |
|---|---|
| Habilidad para manejar las estrategias y herramientas basadas en conocimiento para el procesamiento del lenguaje humano. | 20.0 % |
| Habilidad para manejar las estrategias y herramientas de aprendizaje automático para el procesamiento del lenguaje humano. | 20.0 % |
| Habilidad para el manejo, adaptación y mejora de los métodos empíricos más relevantes para la investigación en las tecnologías de la lengua. | 20.0 % |
| Capacidad para gestionar representaciones multimodales. | 20.0 % |
| Capacidad para mejorar la comprensión del lenguaje con la ayuda de la información visual. | 20.0 % |
Tipos de docencia
| Tipo | Horas presenciales | Horas no presenciales | Horas totales |
|---|---|---|---|
| Magistral | 20 | 30 | 50 |
| P. Ordenador | 40 | 60 | 100 |
Actividades formativas
| Denominación | Horas | Porcentaje de presencialidad |
|---|---|---|
| Clases magistrales | 50.0 | 40 % |
| Prácticas con ordenador, laboratorio, salidas de campo, visitas externas | 100.0 | 40 % |
Sistemas de evaluación
| Denominación | Ponderación mínima | Ponderación máxima |
|---|---|---|
| Ensayo, trabajo individual y/o en grupo | 50.0 % | 50.0 % |
| Trabajos y proyectos | 50.0 % | 50.0 % |
Resultados del aprendizaje de la asignatura
* RA1 Manejar herramientas de aprendizaje profundo.* RA2 Demostrar comprensión sobre los sistemas de aprendizaje profundo, así como las arquitecturas principales usadas en el PLN.
* RA3 Desarrollar unos sistemas básicos de aprendizaje profundo aplicado a problemas de PLN.
* RA4 Demostrar conocimiento sobre los últimos avances del aprendizaje profundo en PLN.
Convocatoria ordinaria: orientaciones y renuncia
Sistema de Evaluación ContinuaHerramientas y porcentajes de calificación:
Prueba escrita a desarrollar (%):
Realización de prácticas (ejercicios, casos o problemas) (%): 50
Trabajos individuales (%): 50
Sistema de Evaluación Final
Herramientas y porcentajes de calificación:
Prueba escrita a desarrollar (%): 50
Trabajos individuales (%): 50
Convocatoria extraordinaria: orientaciones y renuncia
Sistema de Evaluación FinalHerramientas y porcentajes de calificación:
Prueba escrita a desarrollar (%): 50
Trabajos individuales (%): 50
Temario
1. Introduction to machine learning and NLP with Tensorflow2. Multilayer Perceptron
3. Word embeddings and recurrent neural networks
4. Seq2seq, neural machine translation and better RNNs
5. Attention, Transformers and Natural Language Inference
6. Pre-trained transformers, BERTology
7. Bridging the gap between natural languages and the visual world
Bibliografía
Bibliografía básica
Yoav Goldberg's Primer. http://u.cs.biu.ac.il/~yogo/nnlp.pdfKyunghyun Cho's course notes. http://arxiv.org/pdf/1511.07916.pdf
The online version of the Goodfellow, Bengio, and Courville Deep Learning textbook. http://www.deeplearningbook.org/