Infraestructuras para el Procesamiento Masivo de Datos (IPMD)

Dentro de las herramientas y plataformas de análisis de datos podemos encontrar aquellas dedicadas al “big data”, es decir, al procesamiento masivo de datos. La palabra “masivo” es clave, puesto que indica que no se trata de volúmenes de datos que puedan ser procesados en plataformas convencionales, es decir, en un computador de sobremesa o en un servidor. En ocasiones se usa el término “macrodatos” con este significado.

Las Infraestructuras para el Procesamiento Masivo de Datos son complejas en estructura, puesto que consisten en múltiples servicios interconectados. Dichos servicios aportan capacidad de procesamiento, capacidad de almacenamiento y tolerancia a fallos, entre otros. Entendida su estructura, es necesario desplegarlas en plataformas adecuadas, que pueden ser muy variadas: hardware real (clústeres de ordenadores), máquinas virtuales, contenedores, etc., tanto en un centro de procesamiento de datos propio, como en la nube.

Contexto de la asignatura

El alumnado de IPMD habrá cursado las siguientes asignaturas obligatorias. Primer curso: “Introducción a las Redes de Computadores y Sistemas Operativos” (aporta conocimientos sobre aspectos básicos de SO, almacenamiento y redes). Segundo curso: “Sistemas Paralelos y Distribuidos” (computación de altas prestaciones, paralelismo, sistemas distribuidos); “Bases de Datos” (almacenamiento estructurado); “Ingeniería del Software” (desarrollo e implantación de proyectos de software). Además, conjuntamente con esta asignatura, el alumnado estará cursando “Desarrollo de Aplicaciones Big Data”.

Las asignaturas previas aportan el soporte necesario para IPMD, que se complementa con otra asignatura dedicada a la explotación de las infraestructuras que en ella se describen.

1. Conocimiento de las necesidades de los sistemas de procesamiento masivo de datos

2. Conocimiento de las plataformas de procesamiento masivo de datos

3. Conocimiento de las alternativas de implementación y despliegue de dichas plataformas

4. Habilidades en el uso de diferentes plataformas de despliegue de servicios

5. Habilidades en el uso de sistemas cloud, edge

Nota: el orden y estructuración de los temas puede sufrir alteraciones



1. Plataformas para el despliegue de servicios:

a. Infraestructuras físicas

b. Infraestructuras virtuales

c. Despliegues en la nube

2. Análisis de las necesidades de las aplicaciones de procesamiento de datos masivos. Streaming vs. batch.

3. Servicios para el almacenamiento y análisis de macrodatos

a. Descripción de entornos de procesamiento de macrodatos

b. Despliegue de dichos entornos en CPDs y en la nube

4. Edge, fog computing: procesamiento cooperativo entre recursos centralizados y recursos periféricos

La asignatura tiene un enfoque eminentemente práctico. La descripción de plataformas de servicios y de entornos para el despliegue de los mismos irá acompañada de fundamentos teóricos necesarios para entender aspectos como alternativas de almacenamiento, alternativas de conectividad, seguridad, tolerancia a fallos, rendimiento, etc. Bajo esta premisa, las clases se organizarán en

4 créditos de clase magistral para la descripción de plataformas y entornos de despliegue, junto con los aspectos teóricos necesarios. Dichas clases estarán apoyadas en presentaciones tipo PowerPoint y en demostraciones “hands-on”.

2 créditos de laboratorio, con ordenador, para poner en práctica los conocimientos explicados en las clases magistrales

Además, los alumnos y alumnas realizarán trabajos individuales de corte práctico, como complemento de lo aprendido en las sesiones magistrales y de laboratorio.

• Continuous Assessment System
• Final Assessment System
• Tools and qualification percentages:
  • Written test to be taken (%): 25
  • Realization of Practical Work (exercises, cases or problems) (%): 75

La modalidad de evaluación por omisión, en primera convocatoria, es continua, aunque no hay gran diferencia entre continua y global. En ambos casos es necesario entregar varios trabajos prácticos y realizar un examen final.

A lo largo del curso será necesario entre 2 y 4 trabajos individuales, con un peso acumulado del 75% de la asignatura. El examen tiene un peso total en la nota del 25% y se realizará en la fecha indicada por el centro.

Para superar la asignatura será necesario obtener como media, ponderada con los pesos anteriores, 5 puntos sobre 10 y, además, haber obtenido en cada una de las dos partes un 35% de la nota máxima para esa parte.

Como se ha dicho, en evaluación continua deberán realizarse y entregarse los trabajos a lo largo del curso. En evaluación global, se entregarán una semana antes del día del examen.

Tal como indica la normativa de la UPV/EHU, el alumnado que lo desee deberá presentar por escrito al profesor la renuncia a la evaluación continua (pasando a evaluación global), para lo que dispondrán de un plazo de 9 semanas desde el inicio del curso.

Si un alumno o alumna decide renunciar a la convocatoria ordinaria, deberá para ello (1) cambiar a evaluación global y (2) tras dicho cambio, no entregar ninguna práctica ni presentarse al examen.

Se evaluará de la misma forma que en la convocatoria ordinaria en modo global: entregando todos los trabajos una semana antes de la fecha del examen, y haciendo un examen en la fecha indicada por el centro.

Si en convocatoria ordinaria se hubiese superado alguna prueba, bien sea una práctica o el examen (lo que supone haber obtenido al menos un 50% de la nota máxima de esa parte), no será necesario volver a entregarla o a hacerla en convocatoria extraordinaria.

Se entenderá que un alumno o alumna renuncia a la convocatoria extraordinaria cuando no entregue ningún trabajo ni se presente al examen.

No los hay, pero es altamente recomendable que el alumnado cuente con un equipo informático propio de prestaciones adecuadas para poder realizar en el mismo las prácticas. Eso incluye memoria y capacidad de proceso suficientes como para ejecutar entornos de virtualización.

Basic bibliography

Ninguna

In-depth bibliography

Sourav Mazumder, Robin Singh Bhadoria, Ganesh Chandra Deka (editors). Distributed Computing in Big Data Analytics. Concepts, Technologies and Applications

Bahaaldine Azarmi. "Scalable Big Data Architecture: A practitioners guide to choosing relevant Big Data architecture".

Anupam Chattopadhyay, Chip Hong Chang, Hao Yu (editores). "Emerging Technology and Architecture for Big-data Analytics"

Mark Grover, Ted Malaska, Jonathan Seidman, Gwen Shapira. Hadoop Application Architectures: Designing Real-World Big Data Applications 1st Edition.

Journals

Journal of big data (Springer)
Big data research (Elsevier)
IEEE Transactions on Knowledge and Data Engineering

Web addresses

Dado su dinamismo, serán publicadas anualmente en eGela.