Infraestructuras para el Procesamiento Masivo de Datos (IPMD)

=============================================================



Dentro de las herramientas y plataformas de análisis de datos podemos encontrar aquellas dedicadas al “big data”, es decir, al procesamiento masivo de datos. La palabra “masivo” es clave, puesto que indica que no se trata de volúmenes de datos que puedan ser procesados en plataformas convencionales, es decir, en un computador de sobremesa o en un servidor. En ocasiones se usa el término “macrodatos” con este significado.



Las Infraestructuras para el Procesamiento Masivo de Datos son complejas en estructura, puesto que consisten en múltiples servicios interconectados. Dichos servicios aportan capacidad de procesamiento, capacidad de almacenamiento y tolerancia a fallos, entre otros. Entendida su estructura, es necesario desplegarlas en plataformas adecuadas, que pueden ser muy variadas: hardware real (clústeres de ordenadores), máquinas virtuales, contenedores, etc., tanto en un centro de procesamiento de datos propio, como en la nube.



Contexto de la asignatura

=========================



El alumnado de IPMD habrá cursado las siguientes asignaturas obligatorias. Primer curso: “Introducción a las Redes de Computadores y Sistemas Operativos” (aporta conocimientos sobre aspectos básicos de SO, almacenamiento y redes). Segundo curso: “Sistemas Paralelos y Distribuidos” (computación de altas prestaciones, paralelismo, sistemas distribuidos); “Bases de Datos” (almacenamiento estructurado); “Ingeniería del Software” (desarrollo e implantación de proyectos de software). Además, conjuntamente con esta asignatura, el alumnado estará cursando “Desarrollo de Aplicaciones Big Data”.



Las asignaturas previas aportan el soporte necesario para IPMD, que se complementa con otra asignatura dedicada a la explotación de las infraestructuras que en ella se describen.

1. Conocimiento de las necesidades de los sistemas de procesamiento masivo de datos

2. Conocimiento de las plataformas de procesamiento masivo de datos

3. Conocimiento de las alternativas de implementación y despliegue de dichas plataformas

4. Habilidades en el uso de diferentes plataformas de despliegue de servicios

5. Habilidades en el uso de sistemas cloud, edge

1. Plataformas de procesamiento

2. Orquestación de servicios

3. Arquitecturas de procesamiento para macrodatos

4. Procesamiento de macrodatos por lotes

5. Procesamiento de macrodatos por flujos

6. IoT

La asignatura tiene un enfoque eminentemente práctico. La descripción de plataformas de servicios y de entornos para el despliegue de los mismos irá acompañada de fundamentos teóricos necesarios para entender aspectos como alternativas de almacenamiento, alternativas de conectividad, seguridad, tolerancia a fallos, rendimiento, etc. Bajo esta premisa, las clases se organizarán en:



* 4 créditos de clase magistral para la descripción de plataformas y entornos de despliegue, junto con los aspectos teóricos necesarios. Dichas clases estarán apoyadas en presentaciones tipo PowerPoint y en demostraciones “hands-on”.

* 2 créditos de laboratorio, con ordenador, para poner en práctica los conocimientos explicados en las clases magistrales



Además, los alumnos y alumnas realizarán trabajos individuales de corte práctico, como complemento de lo aprendido en las sesiones magistrales y de laboratorio.

• Sistema de Evaluación Continua
• Sistema de Evaluación Final
• Herramientas y porcentajes de calificación:
  • Prueba escrita a desarrollar (%): 25
  • Realización de prácticas (ejercicios, casos o problemas) (%): 75

La modalidad de evaluación por omisión, en primera convocatoria, es continua, aunque no hay gran diferencia entre continua y global. En ambos casos es necesario entregar varios trabajos prácticos y realizar un examen final.



La evaluación tiene dos partes: TRABAJOS y EXAMEN. A lo largo del curso será necesario entregar entre 2 y 4 trabajos prácticos, con un peso acumulado del 75% de la nota global. El examen tiene un peso total en la nota del 25% y se realizará en la fecha indicada por el centro.



Para superar la asignatura será necesario obtener como media de las dos partes, ponderada con los pesos indicados, al menos 5 puntos sobre 10. Es imprescindible, además, haber obtenido en cada una de las dos partes un 35% de la nota máxima para esa parte. Nótese que este porcentaje mínimo se aplica a los trabajos prácticos en su conjunto, no a cada trabajo individualmente.



Como se ha dicho, en evaluación continua deberán realizarse y entregarse los trabajos a lo largo del curso, pudiendo ser realizados en parejas o de forma individual. En evaluación global, se entregarán una semana antes del día del examen, debiendo ser realizados y entregados de forma individual.



Tal como indica la normativa de la UPV/EHU, el alumnado que lo desee deberá presentar al profesor la renuncia a la evaluación continua (pasando a evaluación global), para lo que dispondrán de un plazo mínimo de 9 semanas desde el inicio del curso. La solicitud de cambio se realizará vía eGela.



Si un alumno o alumna decide renunciar a la convocatoria ordinaria, deberá para ello (1) cambiar a evaluación global y (2) tras dicho cambio, no entregar ninguna práctica ni presentarse al examen.

Se evaluará de la misma forma que en convocatoria ordinaria en modo global: entregando todos los trabajos una semana antes de la fecha del examen, y haciendo un examen en la fecha indicada por el centro. El cálculo de la nota global tendrá los mismos pesos y restricciones indicados para la convocatoria ordinaria (mínimo de 3,5/10 en EXAMEN, mínimo de 3,5/10 en TRABAJOS y media ponderada superior a 5/10).



Si en convocatoria ordinaria se hubiese superado alguna prueba, bien sea un trabajo práctico o el examen (lo que supone haber obtenido al menos un 5 sobre 10 en dicha prueba), no será necesario volver a entregarla o a hacerla en convocatoria extraordinaria.



Se entenderá que un alumno o alumna renuncia a la convocatoria extraordinaria cuando no entregue ningún trabajo ni se presente al examen.

Ninguno.

Bibliografía básica

Ninguna

Bibliografía de profundización

Sourav Mazumder, Robin Singh Bhadoria, Ganesh Chandra Deka (editors). Distributed Computing in Big Data Analytics. Concepts, Technologies and Applications

Bahaaldine Azarmi. "Scalable Big Data Architecture: A practitioners guide to choosing relevant Big Data architecture".

Anupam Chattopadhyay, Chip Hong Chang, Hao Yu (editores). "Emerging Technology and Architecture for Big-data Analytics"

Mark Grover, Ted Malaska, Jonathan Seidman, Gwen Shapira. Hadoop Application Architectures: Designing Real-World Big Data Applications 1st Edition.

Revistas

Journal of big data (Springer)
Big data research (Elsevier)
IEEE Transactions on Knowledge and Data Engineering

Direcciones web

Dado su dinamismo, serán publicadas anualmente en eGela.