Informática Aplicada a la Investigación Rotating Header Image

Arina @eu

Arina klusterra

Informazio orokorra

Kalkuluarko baliabideen laburpena

Arinak 3.728 kalkulu kore ditu 3.664 Xeon eta 64 Itanium2 koretan banatuta, nodo bakoitzak 16 eta 512 GB bitarteko  memoria duelarik. 4 Xeon nodoek bina Nvidia Tesla txartel dituzte, beste nodo batek bi Nvidia Kepler 20, eta badago beste bi Nvidia Kepler 40 txartel dituen bat ere. Hiru eraginkortasun handiko fitxategi sistema daude Lustren oinarrituta 4.2 TBetakoa, 22 TBetakoa eta 40 TBetakoa. Kalkulu nodo guztiak Infiniband latentzia txikiko eta banda zabaleko sarearen bitartzen konektatuta daude.

Arina UPV/EHU-ko HPC konputagailua

 

Beste baliabideak

Arina klusterrera konektatzeko 3 zerbitzari erabili daitezke: arina (intanium2), katramila eta guinness (xeon), Zerbitzariak ethernet sarea bati medio dago nodoei konektatua. Sare horren bitartez esportatzen da  /home katalogoa nodo guztietara, NFS protokoloa erabiliz. Gauero katalogo honen segurtasun-kopia egiten da (/home). Nodoren batek/home-an idazten badu, informazioa zerbitzarira bidali behar da NFS protokoloaren (motela) bitartez. Horregatik, ez da komeni kalkuluak egiterakoan direktorio hori erabiltzea, hobe da kalkuluak nodo bakoitzeko tokiko diskoetan egitea. Horretarako, nodoek 36 … 500 Gb bitarteko  diskoak dituzte, /scratch direktorioan. Ikusi ataleko ilaren sistema medio lanak nodora nola bidali ikusi ilara-sistema..

3 GB-eko diska kuota dago /home-ean erabiltzaile bakoitzeko. Hortik aurrera edukiera fakturatu egingo da. Ikus hemen.

Nodoak ahalmen eta abiadura handiko Infiniband sarea medio daude konektatuta, kalkulua egiterakoan komunikatzeko.

Xeon nodoen ezaugarriak

  • Cluster BullX sistema operatiboa, Red Hat Linux AS 5, AS6 eta AS7.
  • 464 Xeon 5420 prozesadoreak 2.3 GHz-etara, 648 Xeon 5645 prozesadoreak 2.4 GHz-etara, 630 Xeon 2680v2 prozesadoreak 2.8 GHz-etara eta 32 Xeon 4620v2 prozesadorea 2.6 GHz-etara memoria handiko nodoan (512 GB) eta 2.8 GHz-etako baidaurako 1.876  Xeon 2680v4 core.
  • 24 eta 512 GB bitarteko  RAM memoria nodo bakoitzeko .
  • Infiniband QDR 40 Gb/s eta FDR 56 GB/s-etara banda zabalera handiko eta latenzia txikiko sarea.
  • Konpilatzeko zerbitzari nagusia Guinness eta Katramila.

GPGPUs nodoak

GPGPU nodoak aurrekoa bezalakoak dira:

  • Bi nodo bi Tesla 20 C2050 txartelekin, Xeon 5420 prozesadoreak 2.3 GHz-etara, 24 GB RAM eta bi Infiband QDR txartelak.
  • Bi nodo bi Tesla 20 C2070 txartelekin, Xeon 5420 prozesadoreak 2.3 GHz-etara, 24 GB RAM eta bi Infiband QDR txartelak.
  • Nodo bat bi Tesla 20  txartelekin, Xeon 2680v2 prozesadoreak 2.8 GHz-etara, 24 GB RAM eta Infiband FDR txartelak.
  • Nodo bat bi Tesla 40  txartelekin, Xeon 2680v4  prozesadoreak 2.8 GHz-etara, 128 GB RAM eta Infiband FDR txartelak.

Nodoen ezaugarri berariazkoak:

Kopurua Izena Mota S.E. Proc. Cores Abiadura RAM (GB) Diskoa (GB) Etiketa
1 Guinness Zerbitzaria RH6 2 8 2.3 GHz 12
1 Katramila Zerbitzaria RH7 2 8 2.6 GHz 128
1 cn3 Nodoa RH6 2 8 2.3 GHz 96 250 xeon,xeon8,xeonbull
17 cn4-cn20 Nodoa RH6 2 8 2.3 GHz 24 250 xeon,xeon8,xeonbull
36 cn21-56, Nodoa RH6 2 8 2.3 GHz 48 250 xeon,xeon8,xeonbull
4 cn57-60 gpu nodo RH6 2 8 2.3 GHz 24 450 xeon,xeon8,gpu,xeonbull
18 cn61-78 Nodoa RH6 2 12 2.4 GHz 48 250 xeon,xeon12,xeonbull
1 cn79 Nodoa RH6 2 12 2.4 GHz 96 250 xeon,xeon12,xeonbull
35 cn80-cn114 Nodoa RH6 2 12 2.4 GHz 24 250 xeon,xeon12,xeonbull
30 n1-n30 Nodo RH7 2 20 2.8 GHz 128 128 xeon,xeon20,,xeonbull,rh7
1 n31 Nodo RH7 2 32 2.6 GHz 128 1000 xeon,xeon20,,xeonbull,rh7
1 n32 Nodo GPU RH7 2 20 2.8 GHz 128 128 xeon,xeon20,gpu,,xeonbull,rh7
66 n1-nd14,nd16-nd67 Nodo RH7 2 28 2.8GHz 128 128 xeon,xeon28,rh7
1 nd15 Nodo GPU RH7 2 28 2.8GHz 128 128 xeon,xeon28,rh7,gpu

Nodo guzti hauek xeon etiketa dute. Kalkuluak egiterako garaian, nodo jakinak aukeratzeko erabili daitezke etiketak.

Itanium nodoen ezaugarriak

  • Cluster HP Integrity Server Red Hat Linux AS 4 sistema eraginkorrarekin.
  • 128 Itanium2 koreak 1.3 y 1.6 GHz-etara.
  • 4 eta 128 GB  bitarteko RAM memoria nodo bakoitzeko.
  • SDR eta DDR a 20 eta 10 Gb/s eta latenzia txikiko Infiniband sarea.
  • Konpilatzeko zerbitzaria: arina.

Ezaugarri berariazkoak:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Arina Servidor 2 4 1.6 GHz 8
4 cndXX Nodo 4 8 1.6 GHz 16 550 itaniumb
10 cndXX Nodo 4 8 1.6 GHz 32 550 itaniumb
1 cnd43 Nodo 4 8 1.6 GHz 64 550 itaniumb

Nodo guztiak itanium etiketa dute. Kalkuluak egiterako garaian, nodo jakinak aukeratzeko erabili daitezke etiketak. Ikusi ilara-sistema..

Diska sitemaren ezaugarriak

Nodo bakoitzak dituen disko lokalez aparte (/scratch), Itanium eta Opteron nodoek HP-SFS diska sistema globala dute 4.7 TB-etako tamainarekin (Lustre teknologian oinarrituta dago) eta Xeon prozesagailuek 22 TB-etako Lustre diska sistema bat. Lustre biltegi sistema oso eraginkorra da paraleloan idazten baitu disko askotan.

  • Bere erabilera kalkuluetan erabiltzen diren aldi baterako fitxeroentzako da.
  • /gscratch bezala montatuta dago.
  • Bakarrik kalkulu nodoetatik idatzi/irakurri egin daiteke.
  • Fitxategi sistema bakarra da, hots, nodo guztiak direktorio bera ikusten dute.
  • Ez dira segurtasun kopiak egiten.
  • Oso egonkorra da eta erredundantea.

Bere erabilera gomendatzen dugu kasu hauetan

  • Programak asko idazten edo irakurtzen du.
  • Fitxeroak oso handiak dira disko localak erabili ahal izateko, gutxi gorabehera 8 GB erabilitako cpu bakoitzagatik.
  • Kalkulu bateko nodoak fitxero bera erabili behar badute, adibidez MPI lanak zenbait nodoetan.

Arina klusterra

Informazio orokorra

Kalkuluarko baliabideen laburpena

Arinak 1400 kalkulu kores ditu 1112 Xeon koretan , 248 Itanium2 koretan eta 40 opteron koretan banatuta eta 16 y 128 GB nodo bakoitzeko bitarteko memoriarekin. 4 Xeon zerbitzariak 2 Nvidia Tesla txartelak dituzte bakoitzak. Bi errendimendu altuko fitxero sistema daude Lustren oinarritatuta 4.2 TBetatkoa eta 22 TBetakoa. Kalkulu nodo guztiak Infiniband latenzia txikiko eta banda zabaleko sarearen bitartzen konektatuta daude.

Beste baliabideak

Arinaren zerbitzariei, arina (intanium2) eta maiz (opteron), erabiltzaileak kanpotik konektatzen dira. Zerbitzaria ethernet sarea medio dago nodoei konektatua. Sare horren bitartez esportatzen da direktorioa /home nodo guztietara, NFS bidez. Gauero direktorioaren segurtasun-kopia egiten da /home. Nodoren batek/homen idazten badu, informazioa zerbitzarira bidali behar da NFS sarea (motela) medio. Horregatik, ez da komeni kalkuluak egiterakoan direktorio hori erabiltzea, hobe da kalkuluak nodo bakoitzeko tokiko diskoetatik bidaltzea. Horretarako, nodoek 36 edo 72 Gb-ko tokiko diskoa dute, /scratch direktorioarekin (kalkulu berezietarako 130 Gb-ko nodo bat dago). Ikusi ataleko ilaren sistema medio lanak nodora nola bidali ikusi ilara-sistema..

3 GB-eko diska kuota dago /homeean usuario bakoitzeko. Hortik aurrera edukiera fakturatu egingo da. Ikus hemen.

Nodoak ahalmen eta abiadura handiko Infiniband sarea medio daude konektatuta, kalkulua egiterakoan komunikatzeko.

Arinak 1112 Xeon kore ditu, 260 Itanium2 eta beste 40 Opteron. Lau zerbitzari erabili daitezke konektatzeko eta konpilatzeko: Arina eta Arinaz Itanium2 procesadoreekin eta prozesadore hauentzako programak konpilatzeko,Guinness Xeon procesadoreekin eta prozesadore hauentzako programak konpilatzeko eta Maiz opteron prozesadoreekin opteron nodoentzako programak konpilatzeko. Guztira 740 prozesadore (Kore) eta 4.7 eta 7.1 TB diska (gehi disko lokalak) daude.

Ezaugarriak (Xeon)

  • Cluster BullX sistema operatiboa, Red Hat Linux AS 5.
  • 464 Xeon 5420 korak 2.3 GHz-etara eta 648 Xeon 5645 koreak 2.4 GHz-etara.
  • 24 eta 96 GB RAM nodo bakoitzeko bitartean.
  • Infiniband QDR a 40 Gb/s eta latenzia txikiko sarea.
  • Konpilatzeko zerbitzari nagusia Guinness.

GPGPUs nodoak

GPGPU nodoak aurrekoa bezalakoak dira baina infiniband QDR konexio bikoitza dute eta Nvidia Tesla 20 kalkulura zuzendutako tartelak

  • Bi Tesla 20 C2050 txartelekin bi nodo
  • Bi Tesla 20 C2070 txartelekin bi nodo

Nodoen ezaugarri berariazkoak:

Kopurua Izena Mota Proc. Cores Abiadura RAM (GB) Diskoa (GB) Etiketa
1 Guinness Zerbitzaria 2 8 2.3 GHz 12
1 cn3 Nodoa 2 8 2.3 GHz 96 250 xeon8
17 cn4-cn20 Nodoa 2 8 2.3 GHz 24 250 xeon8
36 cn21-56, Nodoa 2 8 2.3 GHz 48 250 xeon8
4 cn57-60 gpu nodo 2 8 2.3 GHz 24 450 gpu
18 cn61-78 Nodoa 2 12 2.4 GHz 48 250 xeon12
1 cn79 Nodoa 2 12 2.4 GHz 96 250 xeon12
35 cn80-cn114 Nodoa 2 12 2.4 GHz 24 250 xeon12

Todos los nodos de cálculo tienen además la etiqueta xeon. Las etiquetas se usan para seleccionar nodos específicos si fuese necesario a la hora de calcular. Los procesadores Xeon tienen la misma arquitectura que los Opteron por lo que los programas compilados en Guinness con compatibles en los nodos Opteron.

Itanium nodoen ezaugarriak

  • Cluster HP Integrity Server Red Hat Linux AS 4 sistema operatiboarekin.
  • 248 Itanium2 koreak 1.3 y 1.6 GHz-etara.
  • 4 y 128 GB nodo bakoitzeko RAM memoria bitartean.
  • SDR y DDR a 20 y 10 Gb/s eta latenzia txikiko Infiniband sarea.
  • Konpilatzeko zerbitzaria: Maiz.

Ezaugarri berariazkoak:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Arina Servidor 2 4 1.6 GHz 8
1 Arinaz Servidor 2 2 1.3 GHz 2
5 cn01-10 Nodo 4 4 1.3 GHz 4 36 itanium4
3 cn11-14 Nodo 4 4 1.3 GHz 16 36 itanium4
3 cn15-18 Nodo 4 8 1.6 GHz 16 72 itanium8
8 cnd20-27 Nodo 4 8 1.6 GHz 16 550 itaniumb
14 cnd28-41 Nodo 4 8 1.6 GHz 32 550 itaniumb
1 cnd42 Nodo 4 8 1.6 GHz 128 550 itaniumb
1 cnd43 Nodo 4 8 1.6 GHz 64 550 itaniumb

Kalkulurako nodoen arteko infiniband QDR 40 GB/s-ko konexioa da.

Kalkulo nodo guztiek taulan agertzen den etiketaz gainera xeon etiketa dute. Etiketak nodo horiek aukeratzeko kalkulua egiterako oruan erabiltzen da, ikusi ilara-sistema.

Xeon eta Opteron prozesadoreak arkitektura berdina dute, beraz, Guinnessen konpilatutako programak Opteron nodoekin konpatibleak dira.

Xeonetan Instalatutako softwarea honakoa da:

Area Programas
Química Gaussian 09 Qsite Jaguar NWchem CPMD
Física Ab-Init BigDFT Siesta Espresso
Ingeniería StarCCM+
Bioquímica Gromacs Macromodel
Compiladores gnu Intel PGI
Librerias MKL FFTW GSL hdf5 netcdf

Ezaugarriak (itanium2)

Arina Clusterrak 280 Itanium2 prozesagailu (Kore) ditu, RedFat AS 4(4) sistema eragilearekin lanean. Guztia, Infiniband sare beten bitartez lotua dagoelarik.

Kopurua Izena Mota Proc. Cores Abiadura RAM (GB) Diskoa (GB) Etiketa
1 Arina Serbitzaria 2 4 1.6 GHz 8
1 Arinaz Serbizaria 2 2 1.3 GHz 2
10 cn01-10 Nodoa 4 4 1.3 GHz 4 36 itanium4
4 cn11-14 Nodoa 4 4 1.3 GHz 16 36 itanium4
4 cn15-18 Nodoa 4 8 1.6 GHz 16 72 itanium8
8 cnd20-27 Nodoa 4 8 1.6 GHz 16 550 itaniumb
14 cnd28-41 Nodoa 4 8 1.6 GHz 32 550 itaniumb
1 cnd42 Nodoa 4 8 1.6 GHz 128 550 itaniumb
1 cnd43 Nodoa 4 8 1.6 GHz 64 550 itaniumb

Kalkulurako nodoen arteko infiniband konexioa.

Kalkulo nodo guztiek taulan agertzen den etiketaz gainera itanium etiketa dute. Etiketak nodo horiek aukeratzeko kalkulua egiterako oruan erabiltzen da, ikusi ilara-sistema..

Itaniumetan Instalatutako softwarea honakoa da:

Ezaugarriak (opteron)

HP DL585 Server klustera 40 Opteron mikroporzesadoreekin eta Red Hat Linux AS 4 (update 4) sistema eragilearekin.

Lukuaren ezaugarri teknikoak:

Kopurua Izena Mota Proc. Cores Abiadura RAM (GB) Diskoa (GB) Etiketa
1 Maiz Serbitzaria 2 4 1.8 GHz 4
4 cno01-04 Nodoa 4 8 2.4 GHz 16 72 opteron
1 cno05 Nodoa 4 8 2.4 GHz 32 72 opteron

Kalkulurako nodoen arteko infiniband konexioa.

Etiketak nodo horiek aukeratzeko kalkulua egiterako oruan erabiltzen da, ikusi ilara-sistema..

Opteronetan Instalatutako softwarea honakoa da:

Diska sitemaren ezaugarriak

Noo bakoitzak dituen disko lokalez aparte (/scratch), Itanium eta Opteron nodoek HP-SFS diska sistema globala dute 4.7 TB-etako tamainarekin (Lustre teknologian oinarrituta dago) eta Xeon procesadoreak 7.1 TB-etako Lustre diska sistema bat. Lustre biltegi sistema oso eraginkorra da paralelon idazten baitu diska askotan.

  • Bere erabilira kalkuluetan erabiltzen diren aldi baterako fitxeroentzako da.
  • /gscratch bezala montatuta dago.
  • Bakarrik kalkulu nodoetatik idatzi/irakurri egin daiteke.
  • Fitzategi sistema bakarra da, hots, nodo guztiak direktorio bera ikuste dute.
  • Ez dira segurtasun kopiak egiten.
  • Oso egonkorra da eta erredundantea.

Bere erabilera gomendatzen dugu kasu hauetan

  • Programak asko idazten edo irakurtzen du.
  • Fitxeroak oso handiak dira disko localak erabili ahal izateko, gutxi gorabehera 8 GB erabilitako cpu bakoitzagatik.
  • Kalkulu bateko nodoak fitxero bera erabili behar badute, adibidez MPI lanak zenbait nodoetan.

Arina Clusterra

Configuración

La configuración física de Arina y Maiz se detalla en .

Arina consta de dos servidores, arina (itanium2) y maiz (opteron), a donde se conectan los usuarios desde el exterior. El servidor esta conectado a los nodos a traves de un red ethernet. Es a traves de esta red que se exporta el directorio /home a todos los nodos a traves de NFS. Todas las noches se realiza una copia de seguridad del directorio /home. Cuando un nodo escribe en /home la información ha de ser enviada al servidor a traves de la red NFS (lenta). Por ello no es recomendable hacer uso de este directorio durante el cálculo, sino lanzar los cálculos desde los discos locales de cada nodo. Para ello los nodos poseen un disco local de 36 o 72 GB con el directorio/scratch (existe un nodo para cálculos especiales de 130 GB). También se dispone de un sistema de almacenamiento de altas prestaciones para cálculo con 4.7 TB de espacio.

Arina consta de 280 núcleos o cores Itanium2 y 40 núcleos opteron. Existen 4 servidores de conexión y compilación: Arina y Arinaz con procesadores Itanium2 para compilar programas para procesadores Itanium2, Maiz, con procesadores opteron para compilar programas para procesadores opteron y Guinness con
procesadores Xeon. En total hay 720 núcleos y 4.7 TB en un sistema de disco especial de scratch para cálculo.

Caracteristicas de los Nodos Xeon

Cluster BullX con 440 microprocesadores Xeon 5420 y sistema operativo Red Hat Linux AS 5.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Guinness Servidor 2 8 2.3 GHz 12
19 cn3-20,57 Nodo 2 8 2.3 GHz 24 250 xeon
36 cn21-56, Nodo 2 8 2.3 GHz 48 250 xeon

Conexión de red para cálculo infiniband QDR con 40 GB/s de ancho de banda y baja latencia.

Todos los nodos de cálculo tienen además la etiqueta xeon. Las etiquetas se usan para seleccionar esos nodos a la hora de calcular. Ver el sistema de colas.

Los procesadores Xeon tienen la misma arquitectura que los Opteron por lo que los programas compilados en Guinness con compatibles en los nodos Opteron.

Software disponible en los Nodos Xeon

Area Programas
Química Gaussian 09 Qsite Jaguar NWchem CPMD
Física Ab-Init BigDFT Siesta Espresso
Ingeniería StarCCM+
Bioquímica Gromacs Macromodel
Compiladores gnu Intel PGI
Librerias MKL FFTW GSL hdf5 netcdf

Caracteristicas de los Nodos Itanium

Cluster HP Integrity Server con 280 microprocesadores Itanium2 y sistema operativo Red Hat Linux AS 4.

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Arina Servidor 2 4 1.6 GHz 8
1 Arinaz Servidor 2 2 1.3 GHz 2
10 cn01-10 Nodo 4 4 1.3 GHz 4 36 itanium4
4 cn11-14 Nodo 4 4 1.3 GHz 16 36 itanium4
4 cn15-18 Nodo 4 8 1.6 GHz 16 72 itanium8
8 cnd20-27 Nodo 4 8 1.6 GHz 16 550 itaniumb
14 cnd28-41 Nodo 4 8 1.6 GHz 32 550 itaniumb
1 cnd42 Nodo 4 8 1.6 GHz 128 550 itaniumb
1 cnd43 Nodo 4 8 1.6 GHz 64 550 itaniumb

Conexión de red para cálculo infiniband con 10 GB/s de ancho de banda y baja latencia.

Todos los nodos de cálculo tienen además la etiqueta itanium. Las etiquetas se usan para seleccionar esos nodos a la hora de calcular.

Software disponible en los Nodos Itanium

Caracteristicas de los Nodos Opteron

Cluster DL585 Server con 40 microprocesadores Opteron y sistema operativo Red Hat Linux AS 4 (update 4).

Características Técnicas del cluster:

Cantidad Nombre Tipo Proc. Cores Velocidad RAM (GB) Disco (GB) Etiqueta
1 Maiz Servidor 2 4 1.8 GHz 4
4 cno01-04 Nodo 4 8 2.4 GHz 16 72 opteron
1 cno05 Nodo 4 8 2.4 GHz 32 72 opteron

Conexión de red para cálculo infiniband con 10 GB/s de ancho de banda y baja latencia.

Las etiquetas se usan para seleccionar esos nodos a la hora de calcular. Ver el sistema de colas.

Software disponible en los Nodos Opteron

Sistema de Archivos Paralelos

A parte de los discos locales de cada nodo (scratch) se tiene un sistema de archivos global para cálculo HP-SFS de 4.7 TB de capacidad, de escritura y lectura paralela en discos y basado en tecnología Lustre. Alcanza los 400MB/s de ancho de banda en escritura y los 600MB/s en lectura (un disco normal anda en 30-40 GB/s).

Recomendamos su uso si se da alguna de estas cirscunstancias.