Archive

Archive for February, 2013

Jornada Supercomputación Científica en Euskadi 2013

February 28th, 2013

El próximo 8 de Marzo el BSC-CNS, como coordinador de la RES (Red Española de Supercomputación), celebrará una jornada de supercomputación para informar sobre los actuales recursos disponibles y los métodos de solicitud de acceso a éstos en la RES y en PRACE (Partnership for Advanced Computing in Europe) durante 2013.

El Servico de Cálculo Científico (IZO-SGI) de la UPV/EHU realizará una pequeña presentación.

El evento se celebrará en el salón de actos del Edificio Korta de la UPV/EHU en San Sebastián y se podrá seguir por videoconferencia en:

  • Alava. Aulario Las Nieves, Calle Nieves Cano 33, 01006 Vitoria-Gasteiz.
  • Bizkaia, ET Superior de Ingenieros, Alameda Urquijo s/n. 48013 – Bilbao
  • Bizkaia,  Campus de Leioa, Facultad de Ciencia y Tecnología, Barrio Sarriena s/n 48940 Leioa

Para más información y registrarse en la jornada la siguiente web:

http://www.bsc.es/marenostrum-support-services/hpc-events-trainings/res-users-trainings/supercomputacion-euskadi-2013

 

Mare Nostrum supercomputer

Mare Nostrum supercomputer

 

 

 

Anuncios, HPC

Debuging example I

February 18th, 2013

 

Introduction

The debuging of a program allow us to find the errors written in the source code. The tool that we are going to illustrate is the GNU gdb debuger.

Example

A user is trying to to Bader analysis of a Wavefunction with the aimpac tool extreme using a wavefunction obtained with Gaussian 09. When running the extreme program he obtains the following error:

extreme wave
forrtl: severe (64): input conversion error, unit 10, file

so extreme is not working. In order to figure out what is going on we will debug de conde. To do so we must compile it with the –g option, as follows:

gfortran -g EXT94b.f -o extreme

Then we start debuging.

gdb ./extreme

Once it is running, we have to pass the argument (the wavefunction stored in the wave file) to  the program using:

set arg wave

and then run the programa:

run

Here is the whole sequence of the execution.

[cn0 7] ~ > gdb ./extreme
GNU gdb Fedora (6.8-27.el5)
Copyright (C) 2008 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law. Type “show copying”
and “show warranty” for details.
This GDB was configured as “x86_64-redhat-linux-gnu”…
(no debugging symbols found

(gdb) set arg wave
(gdb) run

Starting program: /home/pobmelat/extreme wave
At line 3689 of file EXT94b.f
Fortran runtime error: Bad value during floating point read
Program exited with code 02.
(gdb)

In the 3689 line of the EXT94b.f I read

C READ IN
C
READ (IWFN,109) TOTE,GAMMA

The READ statement is using 109 format, which is defined in line 3703:

109   FORMAT(17X,F20.12,18X,F13.8)

And, the TOTAL SCF ENERGY AND -V/T is writen as follows in the gaussian 09 generated WFN:

” TOTAL ENERGY =  -1263.592058754168 THE VIRIAL(-V/T)=   2.00956965"

The format of writing this line has changed in gaussian 09 to:

109   FORMAT(15X,F20.12,18X,F13.8)

I modified it, compiled it and extreme is working again.

 

 

Comandos Avanzados, Linux , , , , ,

Estadísticas del 2011 del Servicio de Cálculo Científico

February 7th, 2013

Memoria 2011

El Servicio de Informática Aplicada a la Investigación (Cálculo Científico) IZO-SGI SGIKer   ha publicado la memoria del 2011. Atención, no es la de 2012 sino la de 2011, sentimos el retraso. La memoria completa puede encontrarse en el siguiente enlace:

IZO-SGI year report (pdf)

 

El IZO-SGI de un vistazo

2009 2010 2011
Cores de cálculo 440 872 1.520
Millones de horas de cálculo consumidas 2,11 2,26 5,76
Investigadores activos 101 98 90
Grupos activos 53 40 42
Cuentas nuevas 49 33 33
Satisfacción de los usuarios¹ 8.9 8.8 8.8
Artículos científicos² 44 58 57
Visitas web 4.925 5.957 8.022
Páginas vistas 58.731 40.987 30.042
Posts en el blog HPC 29 34
Visitas del blog HPC 1.431 3.818
Arina
Cores de cálculo 320 752 1.360
Millones de horas de cálculo consumidas 2,07 2,11 5,20
Promedio de ocupación 75% 47%³ 74%
Trabajos enviados 38.497 65.179 68.991
Trabajos de más de 2 minutos⁴ 28.377 50.624 51.735
Tiempo promedio por trabajo⁵ 76 horas 44 horas 101 horas
Tiempo medio de espera⁶ 5,7 horas 3,8 horas 3,8 horas
Péndulo
Cores de cálculo 120 120 120
Millones de horas de cálculo consumidas 0,02 0,15 0,09
Ikerbasque
Cores de cálculo 208
Millones de horas de cálculo consumidas 0,47

 

¹ Encuesta de satisfacción de los usuarios del Servicio realizada por SGIker.
² En los que se agradece al IZO-SGI.
³ El uso de 2010 es aparentemente bajo debido a que se instaló una ampliación de Arina que pasó de 300 cores a 752 y se hizo disponible a finales de Julio. Esto provocó que en Agosto y Septiembre Arina estuviese muy vacía y, debido a la magnitud de la ampliación, estos meses han tenido mucho peso en la media anual. En el mes de Noviembre ya se alcanzó un 76\% de ocupación.
Los trabajos de menos de 2 minutos se deben normalmente a trabajos fallidos que terminan inmediatamente en error. En cualquier caso, aun de no ser así, dada su corta duración no repercuten en el cluster.
No se han tenido en cuenta los trabajos de menos de dos minutos. Tal vez sea relevante tener en centa que con la ampliación se han adquirido procesadores más rápidos.
Los trabajos se ejecutan a través de un sistema de colas que asigna a cada trabajo los recursos que se le han solicitado y ordena su ejecución para optimizar el uso del cluster. El tiempo en cola es el tiempo que están esperando los trabajos hasta que se liberan los recursos que necesitan.

year-use-2011

Uso de Arina de Diciembre de 2010 a Noviembre de 2011.

 

 

IZO-SGI

Blue Waters, el superordenador rebelde

February 6th, 2013

La última lista (Noviembre de 2012) de los ordenadores más potenetes del mundo, top500.org, coronó a Titan como el supercomputador más potente. Al mismo tiempo la publicación de esta lista ha sido una de las más polémicas de los últimos tiempos dado que los responsables del superordenador Blue Waters, instalado por el National Center for Supercomputing Applications (NCSA) de la University of Illinois at Urbana-Champaign, decidieron no enviar los resultados de la potencia de Blue Waters para ser incluido en la lista.

CA-HIV

Modelo atómico elaborado en Blue Waters de la proteína CA ancontrada en cápsides del VIH.

Blue Waters ha sido uno de los superordenadores más esperados por la comunidad de la supercomputación desde que se anunció su financiación por parte de la National Science Foundation (Agosto de 2007) y su posterior adjudicación para su construcción a Cray por 188 millones de dolares. A pesar de lo mareante de la cifra el costo de este tipo de ordenadores ronda este orden.

La polémica ha surgido, evidentemente, por que Blue Waters ha sido el primer superordenador en años que no envía los resultados del benchmark de potencia de cálculo a la lista top500.org, donde hubiese copado una de las primeras posiciones.

¿Porqué no enviaron los benchmarks?

La lista top500.org usa un único benchmark para medir la potencia de un ordenador: la ejecución del benchmark de linpack que resuelve un sistema denso de equaciones lineales. La característica más notable de este benchamark es que es muy intensivo desde el punto de vista de ejecución de operaciones en coma flotante, es decir, operaciones matemáticas con número reales. En este sentido se obtienen mejores resultados cuantos más cores de cálculo existan. Que estén bien comunicados también es necesario, pero otro tipo de requerimientos técnicos como sistemas de archivos y memoria RAM o más intangibles com usabilidad son secundarios.

La lista Top500 fue creada en 1993 con este benchmark y se considera por la comunidad como muy simplista, ya no es significativo de todas o una mayoría de las aplicaciones reales que hoy en día se ejecutan. No obstante, parece necesario enviar el resultado del benchmark a la lista “por que todos lo hacen”. Es más, parece que en muchas ocasiones la presión de logar un buen posicionamiento en la lista induce a que se configuren los sistemas para obtener el mejor rendimiento posible en el Linpack en decrimento de otras características, lo que podría penalizar las aplicaciones de la ciencia real que posteriormente se van a ejecutar en el superordenador.

Desde el NCSA hacen las siguientes objeciones al benchmark Linpack:

  • El benchmark Linpack sólo mide sistemas de ecuaciones lineales densas.

Esto deja de lado muchos métodos y algoritmos usados hoy en día y sus necesidades computacionales. La ausencia de significado de este benchmark en ancho de banda a memoria, disco o interconexión se agravará en la evolución hacia la computación a exaescala. Se propone el uso de otros benchmark más realistas como NERSC SSP, DOD o el test NSF-Blue Waters SPP que ellos mismos desarrollan con 15 aplicaciones que van a correr en Blue Waters.

  • No hay relación entre el posicionamiento en el top500 y la usabilidad del sistema

Muchos sistemas son incluidos en la lista sin estar todavía en producción incluso en fase de montaje. Esto produce hasta meses de diferencia entre la medida y cuando está realmente en uso por investigadores. Esto perturba el valor historico de la lista. Se propone la inclusión de sólo superordenadores y resultados de sistemas en producción.

  • El Top500 fuerza a las instituciones a pobres configuraciones

La presión por conseguir un buen posicionamiento en la lista fuerza a las instituciones a sacrificar ancho de banda, memoria y almacenamiento en aras de incrementar los procesadores desequilibrando el supercomputador y reduciendo su eficiencia. Realizando estos sacrificios Blue Waters podría haber sido 3 o 4 veces más “potente”, pero habría limitado las aplicaciones que se podrían usar y dificultaría su programación haciéndolo menos usable. Se propone recoger más datos técnicos de los sistemas relacionados con anchos de banda, IO, etc para favorecer la configuración de sistemas equilibrados.

  • El Top500 no reconoce el valor de un sistema.

Uno de los factores que afectan el posicionamiento en la lista, tanto como por ejemplo el diseño, las habilidades en programación o incluso la propia evolución de la tecnología, es el costo del superordenador. El top500 en cierto sentido releja la capacidad de financiación y enmascara otros valores añadidos como los mencionados (diseño, software, etc) inhibiendo posibles comparaciones entre sistemas. Se propone que se incluya el costo como dato, bien por que se proporciona directamente al ser un dato público o calculado por fuentes independientes. Esto permitirá comparaciones más perspicaces.

  • Conclusión

Aplicar estas nuevas correciones y otras nos ayudarán a tener nuevas métricas y listas mejor relacionadas con el rendimiento real de las aplicaciones. En el sentido en que evolucionamos a sistemas más complejos y exóticos, tener métricas adecuadas nos ayudará a tomar decisiones en la dirección correcta.

 Referencias

Blue Waters Project Newsletter, diciembre de 2012.

 

HPC

Now you can follow the Computing Service in Twitter or Facebook

February 4th, 2013

The Computing Service of the UPV/EHU has opened Facebook  and Twitter profiles to post there information about new posts in this blog, public announcements about the Service, etc. You can find our profiles in the following links

Facebook

Twitter

 

 

Anuncios

wc

February 1st, 2013

wc

Regla mnemotécnica

wcWord Count

El comando wc nos permite contar el número de palabras que contiene un fichero. Lo mejor es ilustrarlo con ejemplos:

 $ cat lista
100
101
102
103
104
105
106
107
108
109
$ wc lista
10  10  40 lista

la primera columna es el número de palabras, la segunda el número de columnas y el tercero el número de bytes.

Una opción muy práctica es

$ wc -l lista
10 lista

nos da directamente el número de líneas que hay en el fichero.

 

Comandos básicos, Linux