ID) . '">' . __('  [Continue Reading]') . ''; } add_filter('excerpt_more', 'new_excerpt_more'); ?> Cluster Arina – Informática Aplicada a la Investigación
IZO-SGI

Cluster Arina

 1. Información general

      1.1. Resumen de recursos de cálculo

      1.2. Otros recursos

 2. Características de los nodos Xeon

      2.1. Nodos con GPGPUs

 3. Características de los nodos Itanium

 4. Características de los nodos Opteron

 5. Sistemas de archivo de alto rendimiento

1. Información general

1.1. Resumen de recursos de cálculo

Arina consta de un total de  3.728 cores repartidos en 3.664 cores xeon y 64 cores Itanium2  con memoria RAM entre 16 y 512 GB por nodo. 4 de los servidores xeon tienen 2 tarjetas Nvidia Tesla cada uno, un  nodo con 2 Nvidia Kepler 20 y otro con 2 Nvidia Kepler 20. Existen tres sistemas de disco de alto rendimiento para scratch de cálculos basados en Lustre, uno en los itanium2 y opteron de 4.2 TB y dos en los Xeon de 22 y 40 TB. Todos los nodos de cálculo están conectados a través de una red Infiniband de alto ancho de banda y baja latencia.

 

1.2. Otros recursos

Arina consta de tres servidores, arina (Itanium2), Katramila y guiness (Xeon) donde se pueden conectar los usuarios desde el exterior. Estos servidores están accesibles a los usuarios como servidores de conexión, visualización, compilación y test. Todos los servidores montan el mismo directorio /home a través de NFS sobre ethernet. Todas las noches se realiza una copia de seguridad del directorio /home. Cuando un nodo escribe en /home la información ha de ser enviada al servidor a través de la red NFS (lenta). Por ello, no es recomendable hacer uso de este directorio durante el cálculo, sino lanzar los cálculos a los discos locales de cada nodo en el directorio /scratch o al almacenamiento compartido de alto rendimiento /gscratch.

2. Características de los nodos Xeon

  • Cluster BullX con sistema operativo Red Hat Linux AS 5 y AS6, y AS7.
  • 464 cores Xeon 5420 a 2.3 GHz, 648 cores Xeon 5645 a 2.4 GHz, 630 cores Xeon 2680v2 a 2.8 GHz y 32 cores Xeon 4620v2 a 2.6 GHz en el nodo de memoria compartida (512 GB), y 1.876 cores Xeon 2680v4 a 2.8 GHz.
  • Memoria entre 24 y 512 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband QDR a 40 Gb/s y FDR a 56 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilar Guinness y Katramila.

2.1. Nodos con GPGPUs

Los nodos con GPUs son similares a los anteriores:

  • Dos nodos con dos tarjetas Tesla 20 C2050, procesador Xeon 5420 a 2.3 GHz, 24 GB de RAM y doble tarjeta infiniband QDR.
  • Dos nodos con dos tarjetas Tesla 20 C2070, procesador Xeon 5420 a 2.3 GHz y 24 GB de RAM y doble tarjeta infiniband QDR.
  • Un nodos con dos tarjetas Kepler K20, procesador Xeon 2680v2 a 2.8 GHz y 128 GB de RAM y tarjeta infiniband FDR.
  • Un nodos con dos tarjetas Kepler K40, procesador Xeon 2680v4 a 2.8 GHz y 128 GB de RAM y tarjeta infiniband FDR.

Características específicas de los nodos:

Cantidad Nombre Tipo S.O Proc Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Guinness Servidor RH6 2 8 2.3 GHz 12
1 Katramila Servidor RH7 2 8 2.6 GHz 128
1 cn3 Nodo RH6 2 8 2.3 GHz 96 250 xeon,xeon8,xeonbull
17 cn4-20 Nodo RH6 2 8 2.3 GHz 24 250 xeon,xeon8,xeonbull
36 cn21-56 Nodo RH6 2 8 2.3 GHz 48 250 xeon,xeon8,xeonbull
4 cn57-60 Nodo GPU RH6 2 8 2.3 GHz 24 450 xeon,xeon12,gpu,xeonbull
18 cn61-78 Nodo RH6 2 12 2.4 GHz 48 250 xeon,xeon12,xeonbull
1 cn79 Nodo RH6 2 12 2.4 GHz 96 250 xeon,xeon12,xeonbull
35 cn80-cn114 Nodo RH6 2 12 2.4 GHz 24 250 xeon,xeon12,xeonbull
30 nb1-nb30 Nodo RH7 2 20 2.8 GHz 128 128 xeon,xeon20rh7,xeonbull
1 nb31 Nodo RH7 2 32 2.6 GHz 512 1000 xeon,xeon32,rh7,xeonbull
1 nb32 Nodo GPU RH7 2 20 2.8 GHz 128 128 xeon,xeon20,gpu,rh7,xeonbull
67 nd1-nd14, nd16-nd67 Nodo RH7 2 28 2.8 GHz 128 400 xeon,xeon28,rh7
1 nd15 GPU Node 2 28 2.4 GHz 128 128 xeon,xeon28,rh7,gpu

Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

3. Características de los nodos Itanium

  • Cluster HP Integrity Server con sistema operativo Red Hat Linux AS 4.
  • 128 cores Itanium2 a 1.3 y 1.6 GHz.
  • Memoria entre 4 y 128 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband SDR y DDR a 20 y 10 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilación Arina.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Arina Servidor 2 4 1.6 GHz 8
1 Arinaz Servidor 2 2 1.3 GHz 2
4 cndXX Nodo 4 8 1.6 GHz 16 550 itaniumb
10 cndXX Nodo 4 8 1.6 GHz 32 550 itaniumb
1 cnd42 Nodo 4 8 1.6 GHz 128 550 itaniumb
1 cnd43 Nodo 4 8 1.6 GHz 64 550 itaniumb

Todos los nodos de cálculo tienen además la etiqueta itanium. Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

4. Características de los nodos Opteron

  • Cluster DL585 Server con sistema operativo Red Hat Linux AS 4 (update 4).
  • 40 microprocesadores Opteron a 2.4 GHz.
  • Memoria entre 16 y 64 GB por nodo para adaptarse mejor a los trabajos.
  • Conexión infiniband SDR  a 10 Gb/s de ancho de banda y baja latencia.
  • Servidor principal para compilación Maiz.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Maiz Servidor 2 4 1.8 GHz 4
2 cno02-03 Nodo 4 8 2.4 GHz 16 72 opteron
1 cno05 Nodo 4 8 2.4 GHz 32 72 opteron

Conexión de red para cálculo infiniband con 10 GB/s de ancho de banda y baja latencia. Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular.

5. Sistemas de archivo de alto rendimiento

A parte de los discos locales de cada nodo (/scratch) se tienen tres sistemas de archivos global para cálculo.

  • HP-SFS de 4.7 TB de capacidad neta, de escritura y lectura paralela en discos y basado en tecnología Lustre. Alcanza los 400MB/s de ancho de banda en escritura y los 600MB/s en lectura (un disco normal anda en 30-40 MB/s).
  • Lustre de 22 TB de capacidad neta en los nodos Xeon (xeon8 y xeon12).
  • Lustre de 40 TB de capacidad neta, 6.9 GB/s de velocidad en escritura y 5.1 GB/s en lectura en los nodos Xeon (xeon20)

3 Comments

  1. […] pasado 18 de Abril terminó en Arina, el clúster del Servicio de Informática Aplicada a la Investigación (Cálculo Científico) de la […]

  2. […] pasado 18 de Abril terminó en Arina, el clúster del Servicio de Informática Aplicada a la Investigación (Cálculo Científico) de […]

  3. […] 17.000 años, y si lo comparamos con infraestructuras más modestas como la nuestra, el cluster Arina, en este caso se necesitarían 3 años para realizar el número de operaciones que puede hacer […]