En esta asignatura se estudiarán diferentes tecnologías que permitan desarrollar aplicaciones que requieran un uso intensivo de datos. En primer lugar, se analizarán distintos tipos de técnicas relacionadas con el pre-procesamiento de los datos, y el almacenamiento de los mismos en sistemas NoSQL. Posteriormente, se analizarán distintas plataformas y arquitecturas adecuadas para el desarrollo de las aplicaciones.

Los conceptos estudiados se reforzarán a través de desarrollos prácticos en laboratorios y en un proyecto final.

- Analizar un problema e identificar las opciones correctas para utilizar técnicas y herramientas de procesamiento de datos masivos.



- Realizar las diferentes etapas del pre-procesado de datos



- Seleccionar el sistema más adecuado de almacenamiento de datos masivos que podrán ser usados posteriormente en procesos de analítica avanzada.



- Elegir la arquitectura y plataforma más adecuada para realizar la implementación y el despliegue de aplicaciones Big Data.



- Diferenciar el uso e implementación de técnicas de procesado en batch y streaming.



- Además, a través del desarrollo de un proyecto práctico en la asignatura se reforzará el aprendizaje en las siguientes destrezas transversales: trabajo en equipo, comunicación oral y escrita clara y precisa, pro-actividad para proponer soluciones innovadoras y creativas y estudio de forma autónoma.

1.- Gestión de datos

1.1.- Introducción a la gestión masiva de datos.

1.2.- Almacenamiento de datos en sistemas NoSQL

1.3.- Preprocesamiento de datos



2.- Implementación y despliegue de aplicaciones Big Data

2.1 Procesamiento Batch (Hadoop/MapReduce, Pig/Hive, Spark)

2.2 Procesamiento Streaming (Kafka eta Spark (structured streaming)) RDD,



3.- Arquitecturas software para sistemas Big Data

3.1.- Arquitectura Lambda

3.2.- Arquitectura Kappa

En la modalidad magistral el profesorado dará unas explicaciones sobre el tema a tratar, tras lo que la mayoría del tiempo presencial se dedicará a realizar prácticas en el ordenador para reforzar los conceptos vistos en teoría. La mayoría de las prácticas serán individuales y algunas se realizarán en grupo. El alumnado deberá reforzar el aprendizaje de los conceptos de manera autónoma trabajando fuera de las horas de clase (horas no presenciales), consultando bibliografía especializada y desarrollando los laboratorios.



En las horas de clase y de laboratorio y sistemáticamente se impulsarán momentos de discusión y se harán ejercicios y presentaciones, motivando la participación en el aula y con la intención de trabajar las competencias transversales.



Habitualmente se entregarán evidencias y resultados de las actividades realizadas las cuáles se evaluarán en modo de entregable para mejorar la retroalimentación y la mejora del aprendizaje.

• Continuous Assessment System
• Final Assessment System
• Tools and qualification percentages:
  • Multiple-Choice Test (%): 40
  • Realization of Practical Work (exercises, cases or problems) (%): 10
  • Team projects (problem solving, project design)) (%): 50

La asignatura tiene dos modos de evaluación: mediante el sistema de evaluación continua y mediante el sistema de evaluación final.



De forma preferente los y las estudiantes seguirán el sistema de evaluación continua. En caso contrario, los y las estudiantes deberán notificar por escrito la renuncia a la evaluación continua en las fechas que se establezcan (entre el 60% y el 80% del curso) y previa verificación del rendimiento parcial por parte del profesorado.



En esta asignatura se aplica el Protocolo en vigor en la UPV/EHU sobre ética académica y prevención de las prácticas deshonestas o fraudulentas en las pruebas de evaluación y en los trabajos académicos en la UPV/EHU.



Si el equipo docente no indica lo contrario, en cualquier prueba de evaluación quedará prohibida la utilización de libros, notas o apuntes, así como de aparatos o dispositivos telefónicos, electrónicos, informáticos, o de otro tipo, por parte del alumnado.



EVALUACIÓN CONTINUA:



- Entrega de laboratorios y resultados de los tests de evaluación: 50%

- Proyecto individual: 50%



Para poder ser evaluados con el sistema de evaluación continua, todas las tareas recién comentadas son obligatorias. Estas son las condiciones para superar la asignatura en evaluación continua:



- Como media conseguir en los laboratorios evaluados y en los tests de evaluación un 30% de la nota.

- Conseguir al menos el 40% de la nota en la práctica.

- Con todo ésto y tras aplicar la ponderación mencionada, la nota obtenida al final debe de ser de al menos un 5.



Si la/el alumna/o no expresa en plazo su renuncia a la evaluación continua y no cumple alguna de las condiciones para superar la evaluación continua, suspenderá la asignatura en la convocatoria ordinaria y optará a la evaluación final. Si no se presenta, tendrá un “no presentado”.



EVALUACIÓN FINAL:



Tanto en la convocatoria ordinaria como en la extraordinaria, se realizará un examen escrito.



- Examen escrito: 50% . Se hará en la fecha de examen según el calendario oficial.

- Proyecto individual: 50%



Para poder presentarse a la prueba escrita, previamente deberá de entregarse el proyecto individual. Para poder ser evaluado en la evaluación final, todas las tareas comentadas son obligatorias. Estas son las condiciones para superar la asignatura en evaluación final:



- Conseguir al menos el 40% de la puntuación en la prueba escrita.

- Conseguir el 40% de la nota de la práctica.

- Con todo ésto y tras aplicar la ponderación mencionada, la nota obtenida al final debe de ser de al menos un 5.



Si la/el alumna/o no realiza la prueba escrita en la evaluación final, se entenderá que ha renunciado a la evaluación final y podrá optar a presentarse a la convocatoria extraordinaria. Si no presenta la práctica, tendrá un “no presentado”.

La evaluación en la convocatoria extraordinaria es igual a la evaluación final de la convocatoria ordinaria.

Tanto en la convocatoria ordinaria como en la extraordinaria, se realizará un examen escrito.



- Examen escrito: 50% . Se hará en la fecha de examen según el calendario oficial.

- Proyecto individual: 50%



Para poder presentarse a la prueba escrita, previamente deberá de entregarse el proyecto individual. Para poder ser evaluado en la evaluación final, todas las tareas comentadas son obligatorias. Estas son las condiciones para superar la asignatura en evaluación final:



- Conseguir al menos el 40% de la puntuación en la prueba escrita.

- Conseguir el 40% de la nota de la práctica.

- Con todo ésto y tras aplicar la ponderación mencionada, la nota obtenida al final debe de ser de al menos un 5.



Si la/el alumna/o no realiza la prueba escrita en la evaluación final, se entenderá que ha renunciado a la evaluación final y podrá optar a presentarse a la convocatoria extraordinaria. Si no presenta la práctica, tendrá un “no presentado”.



La evaluación en la convocatoria extraordinaria es igual a la evaluación final de la convocatoria ordinaria.

Basic bibliography

- Nathan Marz, James Warren. Big Data: Principles and best practices of

scalable real-time data systems. 2015. Manning Publications Co.



- Martin Kleppman. Designing data-intensive applications. 2017. O’Reilly Media Inc.



- Bill Chambers and Matei Zaharia. Spark: the definitive guide. 2018. O’Reilly Media Inc.



- Pramod J. Sadalage, Martin Fowler. NoSQL Distilled : A Brief Guide to the Emerging World of Polyglot Persistence. Addison-Wesley.