- Analizar un problema e identificar las opciones correctas para utilizar técnicas y herramientas de procesamiento de datos masivos.



- Realizar las diferentes etapas del pre-procesado de datos



- Seleccionar el sistema más adecuado de almacenamiento de datos masivos que podrán ser usados posteriormente en procesos de analítica avanzada.



- Elegir la arquitectura y plataforma más adecuada para realizar la implementación y el despliegue de aplicaciones Big Data.



- Diferenciar el uso e implementación de técnicas de procesado en batch y streaming.



- Además, a través del desarrollo de un proyecto práctico en la asignatura se reforzará el aprendizaje en las siguientes destrezas transversales: trabajo en equipo, comunicación oral y escrita clara y precisa, pro-actividad para proponer soluciones innovadoras y creativas y estudio de forma autónoma.

1.- Introducción

1.1.- Introducción

1.2.- Las características de Big Data (5Vs)

1.3.- Computación escalable



2.- Procesamiento Big Data

2.1 Procesamiento Batch

2.1.1 Ecosistema Hadoop

2.1.2 Sistema de ficheros distribuido HDFS

2.1.3 Paradigma de programación Map Reduce

2.1.4 Gestión de recursos YARN

2.2 Procesamiento Streaming

2.2.1 Ecosistema Spark

2.2.2 Procesamiento Batch con Spark

2.2.3 Spark Streaming



3. - Gestión del dato en Big Data

3.1.- Captura/Ingesta del dato

3.2.- Almacenamiento del dato (bases de datos NoSQL)



4.- Arquitecturas software para sistemas Big Data

4.1.- Arquitectura Lambda

4.2.- Arquitectura Kappa

En la modalidad magistral el profesorado dará unas explicaciones sobre el tema a tratar, tras lo que la mayoría del tiempo presencial se dedicará a realizar prácticas en el ordenador para reforzar los conceptos vistos en teoría. La mayoría de las prácticas serán individuales y algunas se realizarán en grupo. El alumnado deberá reforzar el aprendizaje de los conceptos de manera autónoma trabajando fuera de las horas de clase (horas no presenciales), consultando bibliografía especializada y desarrollando los laboratorios.



En las horas de clase y de laboratorio sistemáticamente se impulsarán momentos de discusión y se harán ejercicios y presentaciones, motivando la participación en el aula y con la intención de trabajar las competencias transversales.



Habitualmente se entregarán evidencias y resultados de las actividades realizadas las cuáles se evaluarán en modo de entregable para mejorar la retroalimentación y la mejora del aprendizaje.

La asignatura tiene dos modos de evaluación: mediante el sistema de evaluación continua y mediante el sistema de evaluación final.

Si un alumno o alumna que reúna los requisitos de la evaluación continua quisiera optar por la evaluación final, deberá comunicarlo a los profesores o profesoras responsables de la asignatura de la siguiente manera y en los siguientes plazos: a través del eGela, en el plazo de la semana 12.



El método de evaluación continua no sólo contempla el rendimiento de exámenes y prácticas. Además, se medirá la participación activa del alumno en el aula, las tareas de laboratorio, la claridad del informe escrito y la capacidad comunicativa mostrada en la exposición oral.





En esta asignatura se aplica el Protocolo en vigor en la UPV/EHU sobre ética académica y prevención de las prácticas deshonestas o fraudulentas en las pruebas de evaluación y en los trabajos académicos en la UPV/EHU.



Si el equipo docente no indica lo contrario, en cualquier prueba de evaluación quedará prohibida la utilización de libros, notas o apuntes, así como de aparatos o dispositivos telefónicos, electrónicos, informáticos, o de otro tipo, por parte del alumnado.



EVALUACIÓN CONTINUA:



- Entrega de laboratorios y resultados de los tests de evaluación: 50%

- Proyecto individual: 50%



Para poder ser evaluados con el sistema de evaluación continua, todas las tareas recién comentadas son obligatorias. Estas son las condiciones para superar la asignatura en evaluación continua:



- Como media conseguir en los laboratorios evaluados y en los tests de evaluación un 40% de la nota.

- Conseguir al menos el 40% de la nota en la práctica.

- Con todo ésto y tras aplicar la ponderación mencionada, la nota obtenida al final debe de ser de al menos un 5.



Si la/el alumna/o no expresa en plazo su renuncia a la evaluación continua y no cumple alguna de las condiciones para superar la evaluación continua, suspenderá la asignatura en la convocatoria ordinaria y optará a la evaluación final. Si no se presenta, tendrá un “no presentado”.



EVALUACIÓN FINAL:



Tanto en la convocatoria ordinaria como en la extraordinaria, se realizará un examen escrito.



- Examen escrito: 50% . Se hará en la fecha de examen según el calendario oficial.

- Proyecto individual: 50%



Para poder presentarse a la prueba escrita, previamente deberá de entregarse el proyecto individual. Para poder ser evaluado en la evaluación final, todas las tareas comentadas son obligatorias. Estas son las condiciones para superar la asignatura en evaluación final:



- Conseguir al menos el 40% de la puntuación en la prueba escrita.

- Conseguir el 40% de la nota de la práctica.

- Con todo ésto y tras aplicar la ponderación mencionada, la nota obtenida al final debe de ser de al menos un 5.



Si la/el alumna/o no realiza la prueba escrita en la evaluación final, se entenderá que ha renunciado a la evaluación final y podrá optar a presentarse a la convocatoria extraordinaria. Si no presenta la práctica, tendrá un “no presentado”.

La evaluación en la convocatoria extraordinaria es igual a la evaluación final de la convocatoria ordinaria.

Bibliografía básica

- Nathan Marz, James Warren. Big Data: Principles and best practices of

scalable real-time data systems. 2015. Manning Publications Co.



- Martin Kleppman. Designing data-intensive applications. 2017. O’Reilly Media Inc.



- Bill Chambers and Matei Zaharia. Spark: the definitive guide. 2018. O’Reilly Media Inc.



- Pramod J. Sadalage, Martin Fowler. NoSQL Distilled : A Brief Guide to the Emerging World of Polyglot Persistence. Addison-Wesley.



- Ramez Elmasri, Shamkant B. Navathe. Fundamentals of Database Systems. Global Edition. Pearson. (última edición incluye temas de MongoDB y Neo4J)