Archivo de la categoría: Software de Cálculo

PSI4

Software de Cálculo

Informazio orokorra

PSI4 is an open-source suite of ab initio quantum chemistry programs designed for efficient, high-accuracy simulations of a variety of molecular properties. It is very easy to use and has an optional Python interface.

 

Nola erabili

send_psi4

  • PSI4 ilarara bidaltzeko send_lmp tresna sortu dugu. Komando sintaxia, honakoa da:
  • send_psi4 OBNAME NODES PROCS_PER_NODE TIME [ MEM ] [``Other queue options'' ]
JOBNAME: Is the name of the input with extension.
NODES: Number of nodes.
PROCS: Number of processors.
TIME: Time requested to the queue system, format hh:mm:ss.
MEM: Optional. Memory in Gb ( It will used 1GB/core if not set).
[``Other Torque Options'' ] Optional. There is the possibility to pass more variables to the queuing system.
See examples below. More information about this options

Adibideak

  • Job1 lana nodo batera eta 4 prozesagailuetara bidali dugu, 4 ordutarako:
send_psi4 job1.in 1 4 04:00:00
  • Lana 2 nodo eta 8 prozesagailutara eskatutako denbora 192 ordutakoa izanik. Memoria ere adierazi dugu, 8 GB, eta lana ez da 1234. lana amaitu aurretik martxan jarriko.
send_psi4 job2.inp 2 8 192:00:00 8 ``-W depend=afterany:1234'
  • Lana 4 nodo eta 4 prozesagailuetara bidali dugu. 200 ordu eta 2 GB-etako RAM-a askatu dugu. Gainera, kalkulua hasi eta amaitzean email bat bidaliko digu adierazitako emailera .
send_psi4 job.inp 4 4 200:00:00 2 ``-m be -M mi.email@ehu.es''

 

Informazio gehiago

PSI4 web page.

R, RCommander and RStudio

Genética, Maths, Software de Cálculo

General information

R 3.3.3 is a freely available language and environment for statistical computing and graphics which provides a wide variety of statistical and graphical techniques: linear and nonlinear modelling, statistical tests, time series analysis, classification, clustering, etc. Please consult the R project homepage for further information.

RStudio an RCommander are a graphical front ends for R.

Installed packages

abind, ape, biomformat, cummeRbund, DCGL, DESeq2, DEXSeq, e1071, edgeR, FactoMineR, GEOquery, lavaan, metagenomeSeq, mnormt, optparse, psych, randomForest, Rcmdr, RColorBrewer, ReactomePA, RUVSeq, vegan, WGCNA, xlsx.

Please, ask if you need any more.

How to use it

To use R in the queue scripts execute:

/software/bin/R CMD BATCH  R-input-file.R

to execute RStudio you must connect to Txinparta or Katramila with X2Go and execute

rstudio

to execute RCommander you must connect to Txinparta or Katramila with X2Go and execute R. Then inside R load

library(Rcmdr)

More information

R web page.

rstudio web page.

R, RCommader y RStudio

Genética, Software, Software de Cálculo

Información general

R 3.3.3 is a freely available language and environment for statistical computing and graphics which provides a wide variety of statistical and graphical techniques: linear and nonlinear modelling, statistical tests, time series analysis, classification, clustering, etc. Please consult the R project homepage for further information.

RStudio and RCommander are graphical front ends for R.

Paquetes Instalados

abind, ape, biomformat, cummeRbund, DCGL, DESeq2, DEXSeq, e1071, edgeR, FactoMineR, GEOquery, lavaan, metagenomeSeq, mnormt, optparse, psych, randomForest, Rcmdr, RColorBrewer, ReactomePA, RUVSeq, vegan, WGCNA, xlsx.

Si se requiere alguno más, por favor, haxlo saber a los técnicos.

Cómo usar

Para usar R en el sistema de colas ejecutar:

/software/bin/R  CMD  BATCH  R-input-file.R

Para ejecutar RStudio se ha de conectarse a Txinparta o Katramila con X2Go y ejecutar

rstudio

Para ejecutar RCommander se ha de conectarse a Txinparta o Katramila con X2Go y ejecutar R. Dentro de R cargar:

library(Rcmdr)

Más información

Página web de R.

Página web de RStudio.

Qbox

MM/MD, Software, Software de Cálculo

Información general

Versión: 1.62.3

Qbox is a C++/MPI scalable parallel implementation of first-principles molecular dynamics (FPMD) based on the plane-wave, pseudopotential formalism. Qbox is designed for operation on large parallel computers.

2. Cómo usar

Para enviar trabajos a la cola se puede usar el comando

send_qbox  JOBNAME NODES PROCS_PER_NODE[property] TIME

Al ejecutar send_box [Enter] aparecen más las opciones de uso

Más información

Página web de  Qbox.

IDBA-UD

Genética, Software de Cálculo

Información general

IDBA-UD 1.1.1 is a iterative De Bruijn Graph De Novo Assembler for Short Reads Sequencing data with Highly Uneven Sequencing Depth. It is an extension of IDBA algorithm. IDBA-UD also iterates from small k to a large k. In each iteration, short and low-depth contigs are removed iteratively with cutoff threshold from low to high to reduce the errors in low-depth and high-depth regions. Paired-end reads are aligned to contigs and assembled locally to generate some missing k-mers in low-depth regions. With these technologies, IDBA-UD can iterate k value of de Bruijn graph to a very large value with less gaps and less branches to form long contigs in both low-depth and high-depth regions.

Cómo usar

Para enviar trabajos a la cola se puede usar el comando

send_idba-ud

que realiza unas preguntas para configurar el cálculo.

Rendimiento

IDBA-UD se ejecuta en paralelo con un buen rendimiento medido hasta por lo menos 8 cores. Por encima no se han medido mejoras apreciables. El benchmark se ha realizado con --mimk 40 --step 20.  Por algún motivo este cálculo tiene un salto cualitativo apreciable de 1 a dos cores. Si se pone un step de 10 el rendimiento a varios cores empeora como se observa en la segunda tabla.

1 core como base 2 cores como base
Cores Tiempo (s) Aceleración Rendimiento (%) Aceleración Rendimiento (%)
1  480 1 100
2 296  1.6  81 1.0 100
4 188 2.6 64 1.6 79
8  84 5.7 71 3.5 88
12 92 5.2 43 3.2 54

El segundo benchmark se ha realizado con un fichero mayor, con 10 millones de bases y las opciones --mink 20 --step 10 --min_support 2. Observamos un comportamiento más regular que en el benchmark anterior y como la paralelización es buena hasta los 4 cores.

Cores Tiempo (s) Aceleración Rendimiento (%)
1 13050 1 100
2 6675 2.0 98
4 3849 3.4 85
8 3113 4.2 52
16 2337 5.6 35
20 2409 5.4 27

Más información

Página web de IDBA-UD.

SPAdes

Genética, Software de Cálculo

Información general

SPAdes 3.6.0 – St. Petersburg genome assembler – is intended for both standard isolates and single-cell MDA bacteria assemblies. It works with Illumina or IonTorrent reads and is capable of providing hybrid assemblies using PacBio, Oxford Nanopore and Sanger reads. You can also provide additional contigs that will be used as long reads. Supports paired-end reads, mate-pairs and unpaired reads. SPAdes can take as input several paired-end and mate-pair libraries simultaneously. Note, that SPAdes was initially designed for small genomes. It was tested on single-cell and standard bacterial and fungal data sets.

Cómo usar

Para enviar trabajos a la cola se puede usar el comando

send_spades

que realiza unas preguntas para configurar el cálculo.

Rendimiento

No se ha medido ninguna mejora ni reducción del tiempo de cálculo configurando más de un core en un tipo de cálculo:

spades.py -pe1-1 file1 -pe1-2 file2 -o outdir

Recomendamos usar 1 core a menos que se sepa que se va a obtener un mejor rendimiento con más cores.

Más información

Página web de SPAdes.

MetAMOS

Genética, Software de Cálculo

Información general

MetAMOS represents a focused effort to create automated, reproducible, traceable assembly & analysis infused with current best practices and state-of-the-art methods. MetAMOS for input can start with next-generation sequencing reads or assemblies, and as output, produces: assembly reports, genomic scaffolds, open-reading frames, variant motifs, taxonomic or functional annotations, Krona charts and HTML report. 1.5rc3 version.

Cómo usar

Para enviar trabajos a la cola se puede usar el comando

send_metamos

que realiza unas preguntas para configurar el cálculo. Hay que tener en cuenta que MetAMOS usa mucha memoria RAM, entorno a 1 GB por millón de reads.

Más información

Página web de MetAMOS.

QIIME

Genética, Software de Cálculo

Información general

QIIME (Quantitative Insights Into Microbial Ecology) is an open-source bioinformatics pipeline for performing microbiome analysis from raw DNA sequencing data. QIIME is designed to take users from raw sequencing data generated on the Illumina or other platforms through publication quality graphics and statistics. This includes demultiplexing and quality filtering, OTU picking, taxonomic assignment, and phylogenetic reconstruction, and diversity analyses and visualizations. QIIME has been applied to studies based on billions of sequences from tens of thousands of samples.

Cómo ejecutar

Para enviar trabajos de QIIME ejecutar el comando

send_qiime

y responder a las preguntas que nos realice.

USEARCH

QIIME puede usar el paquete [intlink id=»7700″ type=»post»]USEARCH[/intlink].

Más información

QIIME home page.

[intlink id=»7700″ type=»post»]USEARCH[/intlink].

 

 

USEARCH

Genética, Software de Cálculo

Información general

USEARCH is a unique sequence analysis tool  that offers search and clustering algorithms that are often orders of magnitude faster than BLAST. Tenemos la versión de 32 bits que es gratuita, pero no distribuible a terceros y tiene la limitación de 4 GB de RAM como máximo.

Cómo usar

Para ejecutar USEARCH ejecutar en los scripts el comando

/software/bin/usearch

por ejemplo

/software/bin/usearch -cluster_otus data.fa -otus otus.fa -uparseout out.up -relabel OTU_ -sizein -sizeout

Por el momento USEARCH solo está disponible en los nodos con etiqueta xeon20.

QIIME

USEARCH puede ser empleado bajo [intlink id=»7686″ type=»post»]QIIME[/intlink].

Más información

USEARCH home page.

[intlink id=»7686″ type=»post»]QIIME[/intlink].

Cufflinks

Genética, Software de Cálculo

Información general

Cufflinks is a reference-guided assembler for RNA-Seq experiments. It
simultaneously assembles transcripts from reads and estimates their relative
abundances, without using a reference annotation. The software expects as
input RNA-Seq read alignments in SAM format (http://samtools.sourceforge.net).

Versión instalada

2.2.0

Cómo usar

#!/bin/bash
#PBS -l nodes=1:ppn=4:rh7
#PBS -l mem=8gb
#PBS -l walltime=24:00:00

cd $PBS_O_WORKDIR

export PATH=/software/anaconda2/bin:$PATH
export LD_LIBRARY_PATH=/software/anaconda2/lib:$LD_LIBRARY_PATH

NPROCS=$( cat $PBS_NODEFILE | wc -l )

cufflinks -p $NPROCS -o C1_R2_clout C1_R2_thout/accepted_hits.bam

Más información

http://cole-trapnell-lab.github.io/cufflinks/

 

TopHat

Genética, Software, Software de Cálculo

Información general

TopHat is a fast splice junction mapper for RNA-Seq reads. It aligns RNA-Seq reads to mammalian-sized genomes using the ultra high-throughput short read aligner Bowtie, and then analyzes the mapping results to identify splice junctions between exons.

Versión instalada

2.1.1

Cómo usar

Un ejemplo sería para el script de torque sería:

#!/bin/bash
#PBS -l nodes=1:ppn=8:rh7
#PBS -l mem=8gb
#PBS -l walltime=24:00:00

cd $PBS_O_WORKDIR

export PATH=/software/anaconda2/bin:$PATH
export LD_LIBRARY_PATH=/software/anaconda2/lib:$LD_LIBRARY_PATH
NPROCS=$(wc -l $PBS_NODEFILE)

tophat --bowtie1 -p $NPROCS -G genes.gtf -o C1_R1_thout genome GSM794483_C1_R1_1.fq.gz GSM794483_C1_R1_2.fq.gz

Más información

Página web de TopHat.

Trinity

Genética, Software de Cálculo

Información general

2.1.1 release. Trinity, represents a novel method for the efficient and robust de novo reconstruction of transcriptomes from RNA-seq data. Trinity combines three independent software modules: Inchworm, Chrysalis, and Butterfly, applied sequentially to process large volumes of RNA-seq reads. Trinity partitions the sequence data into many individual de Bruijn graphs, each representing the transcriptional complexity at at a given gene or locus, and then processes each graph independently to extract full-length splicing isoforms and to tease apart transcripts derived from paralogous genes. Briefly, the process works like so:

  • Inchworm assembles the RNA-seq data into the unique sequences of transcripts, often generating full-length transcripts for a dominant isoform, but then reports just the unique portions of alternatively spliced transcripts.
  • Chrysalis clusters the Inchworm contigs into clusters and constructs complete de Bruijn graphs for each cluster. Each cluster represents the full transcriptonal complexity for a given gene (or sets of genes that share sequences in common). Chrysalis then partitions the full read set among these disjoint graphs.
  • Butterfly then processes the individual graphs in parallel, tracing the paths that reads and pairs of reads take within the graph, ultimately reporting full-length transcripts for alternatively spliced isoforms, and teasing apart transcripts that corresponds to paralogous genes.

Cómo usar

Se puede usar el comando:

send_trinity

para enviar trabajos al sistema de colas. Tras responder unas preguntas creará el script que se enviará al sistema de colas. Para usuarios avanzados se puede utilizar para generar un script de ejemplo.

Rendimiento

A pesar de que Trinity puede ejecutarse en paralelo no lo hace de forma eficiente por encima 4 cores, siendo la reducción del tiempo de computo muy pequeña al aumentar el número de cores de cálculo como se observa en la tabla. Trinity es un programa que consume grandes cantidades de RAM.

Rendimiento de Trinity
Cores  1 4 8 12
Tiempo 5189 2116 1754 1852
Aceleración 1 2.45 2.96 2.80
Eficiencia (%)  100 61 37 23

 

Más información

Página web de Trinity.

ABySS

Genética, Software de Cálculo

Información general

Versión 1.3.2 ABySS (Assembly By Short Sequences). ABySS is a de novo, parallel, paired-end sequence assembler that is designed for short reads. ABySS puede ejecutarse en paralelo.

Leer también sobre [intlink id=»6055″ type=»post»]velvet[/intlink] y el artículo que hemos publicado comparando ambos.

Cómo usar

Los ejecutables se pueden encontrar en /software/abyss/bin. Así, para ejecutar añadir en el scritp para el sistema de colas por ejemplo:

/software/abyss/bin/abyss-pe [opciones de abyss-pe]

Rendimiento

Leer también sobre [intlink id=»6055″ type=»post»]velvet[/intlink] y el artículo que hemos publicado comparando ambos.

Paralelización

Se han realizado unos benchmark sobre Abyss. Los benchmark se han realizado con ficheros obtenidos por un NGS Illumina HiSeq2000 con 100 bp por lectura. En la tabla 1 podemos ver un ejemplo de como escala ABySS con el número de cores. Como vemos ABySS escala bien hasta los 8 cores. El resultado parece ser independiente del número de secuencias procesadas una vez estas son muchas (>10e6).

Tabla 1. Tiempo de ejecución en segundos de abyss-pe en función del número de cores
cores 2 4 8 12 24
Tiempo (s) 47798 27852 16874 14591 18633
Aceleración 1 1.7 2.8 3.3 2.6
Rendimiento (%) 100 86 71 55 21

Tiempo de ejecución

También hemos analizado el tiempo de ejecución en función del tamaño de los datos de entrada. Observamos en la tabla 2 como el pasar de 1 millón a 10 millones de secuencias el tiempo se multiplica también por 10. De 10 millones  a 100 el tiempo aumenta entre 10 y 20. Por lo tanto, el comportamiento no es totalmente lineal, pero se aproxima.

Tabla 2. Tiempo de ejecución en segundos de abyss-pe ejecutado en 2, 4 y 8 cores en función del número secuencias procesadas
secuencias 10e6 10e7 10e8
Tiempo en 2 cores (s) 247 2620 47798
Tiempo en 4 cores (s) 134 1437 27852
Tiempo en 8 cores (s) 103 923 16874

Memoria RAM

En estos programas más importante que el tiempo de ejecución, que se mantiene en unos límites relativamente bajos, es el uso de la memoria RAM, que puede ser limitante e impedir la realización del cálculo. En la tabla  3 observamos como crece la memoria RAM al aumentar el número de secuencias. También mostramos en la tabla los logaritmos de los valores medidos que se han usado para realizar un ajuste lineal. Los cálculos se han realizado usando 12 cores.

Tabla 3. Memoria RAM usada por abyss-pe en función del número secuencias procesadas. También se muestran los logaritmos de los valores medidos
secuencias 10e6 5*10e6 10e7 5*10e7 10e8
RAM (GB) 4.0 7.6 11 29 44
log(secuencias) 6 6.7 7 7.7 8
log(RAM) 0.60 0.88 1.03 1.46 1.65

De los valores de la tabla obtenemos un buen ajuste de la evolución de la memoria RAM a la siguiente ecuación  que nos da la memoria RAM en GB en función del número de secuencias (s)

log(RAM)=0.53*log(s)-2.65

o lo que es lo mismo

RAM=(s^0.53)/447

Conclusión

El uso de la memoria RAM es menor que con otros ensambladores como [intlink id=»6055″ type=»post»]Velvet[/intlink], ver también el informe Velvet performance in the machines of the Computing Service of the UPV/EHU y el artículo que hemos publicado. Además, la paralelización con MPI permite agregar la memoria de varios nodos para poder realizar cálculos mayores.

Más información

Página web de ABySS.
Ensamblador [intlink id=»6055″ type=»post»]Velvet[/intlink].
Informe Velvet performance in the machines of the Computing Service of the UPV/EHU.
Entrada en el blog hpc: Velvet performance in the machines of the Computing Service of the UPV/EHU.

clean_reads

Genética, Software de Cálculo

Información general

Version 0.2.2. clean_reads limpia reads de NGS (Next Generation Sequencing) – Sanger, 454, Illumina y solid. Puede eliminar

  • Regiones de mala calidad.
  • Adaptadores
  • Vectores
  • Expresiones regulares

También filtra reads que no llegan a un mínimo de calidad basándose en la longitud y cualidad media. Se puede ejecutar en paralelo.

Cómo usar

Para enviar trabajos de clean_reads al sistema de colas recomendamos usar el comando

send_clean_reads

que nos hará las preguntas necesarias para preparar y enviar el cálculo.

Rendimiento

clean_reads se puede ejecutar en paralelo y escala bien hasta los 8 cores. A 12 cores el rendimiento cae en picado. En la tabla 1 se pueden ver los resultados del benchmark, Éste se ha ejecutado en un nodo con 12 cores y procesadores Xeon E5645.

Tiempo de ejecución en segundos de clean_reads en función del número de cores
cores 1 4 8 12
Tiempo (s) 1600 422 246 238
Aceleración 1 3.8 6.5 6.7
Rendimiento (%) 100 95 81 56

Se ha ejecutado el comando

clean_reads -i in.fastq -o out.fastq -p illumina -f fastq -g fastq -a a.fna -d UniVec -n 20 --qual_threshold=20 --only_3_end False -m 60 -t 12

Más información

Página web de clean_reads.

Velvet

Genética, Software de Cálculo

Información general

Versión 1.2.03. Velvet is a set of algorithms manipulating de Bruijn graphs for genomic and de novo transcriptomic Sequence assembly. It was designed for short read sequencing technologies, such as Solexa or 454 Sequencing and was developed by Daniel Zerbino and Ewan Birney at the European Bioinformatics Institute. The tool takes in short read sequences, removes errors then produces high quality unique contigs. It then uses paired-end read and long read information, when available, to retrieve the repeated areas between contigs.

Leer también sobre [intlink id=»6111″ type=»post»]ABySS[/intlink] y el artículo que hemos publicado comparando ambos.

Cómo usar

Para ejecutar velveth o velvetg en el sistema de colas Torque añadir en los scripts:

/software/bin/velvet/velveth [opciones de velvet]
/software/bin/velvet/velvetg [opciones de velvet]

Rendimiento

Velvet ha sido compilado con soporte paralelo a través de OpenMP. Hemos medido el rendimiento y los resultados están disponibles en la memoria Velvet performance in the machines of the Computing Service of the UPV/EHU. Velvet usa una enorme cantidad de memoria RAM para grandes cálculos y también la hemos medido. Hemos obtenido unas simples fórmulas para predecir el uso de memoria RAM en función de los ficheros de entrada de modo que el investigador pueda planificar su investigación.

Leer también sobre [intlink id=»6111″ type=»post»]ABySS[/intlink] y el artículo que hemos publicado comparando ambos.

Más información

Página web de Velvet.
Memoria sobre el rendimiento Velvet performance in the machines of the Computing Service of the UPV/EHU.
Entrada en el blog hpc: Velvet performance in the machines of the Computing Service of the UPV/EHU.

, post in the hpc blog

BLAST

Genética, Software de Cálculo

Información general

Versión 2.2.24 de BLAST de NCBI. El BLAST (Basic Local Alignment Search Tool) es un algoritmo y un programa informático de alineamiento de secuencias de tipo local, ya sea de ADN o de proteínas, empleado en bioinformática. El programa es capaz de comparar una secuencia problema contra una gran cantidad de secuencias que se encuentren en una base de datos y encontrar las que tienen mayor parecido así como la significación de cada resultado.

Por razones de rendimiento no se ha instalado en los Itanium.

Bases de datos

El Servicio tiene instaladas varias bases de datos para uso compartido, consulta con los técnicos para más información. Si quieres actualizar o instalar más bases de datos contacta con los técnicos para evitar copias múltiples innecesarias.

Cómo ejecutar

Para enviar trabajos al sistema de colas recomendamos el uso del comando

send_blast

que nos hará las preguntas necesarias para lanzar el trabajo.

Rendimiento y gpuBLAST

Hemos comparado el BLAST normal de NCBI  con mpiBLAST gpuBLAST. Se pueden encontrar los resultados en el blog del Servicio. [intlink id=»1495″ type=»post» target=»_blank»]mpiBLAST[/intlink] está instalado en el Servicio. También gpuBLAST pero no está activo dado que son pocos los nodos con GPGPUs y no se obtiene un rendimiento tan grande.

Más información

Para más información página web de BLAST.

También está instaldado [intlink id=»1493″ type=»post»]Blast2GO[/intlink] y [intlink id=»1495″ type=»post» target=»_blank»]mpiBLAST[/intlink].

Genepop

Genética, Software de Cálculo

Información general

Versión 4.1.

Genepop is a population genetics software package, which has options for the following analysis: Hardy Weinberg equilibrium, Linkage Disequilibrium, Population Differentiation, Effective number of migrants, Fst or other correlations.

Cómo ejecutar

Para ejecutarlo en el sistema de colas debéis de incluir en el script para el sistema de colas la línea:

/software/bin/Genepop < input_file

donde input_file tiene los parametros de Genepop, i.e, las respuestas a las preguntas que realiza en interactivo. Os recomendamos usar [intlink id=»233″ type=»post»]qsub en interactivo[/intlink].

 

Más información

Página web de Genepop.

CLUMPP

Genética, Software de Cálculo

Información general

Versión 1.1.2. CLUMPP is a program that deals with label switching and multimodality problems in population-genetic cluster analyses. CLUMPP permutes the clusters output by independent runs of clustering programs such as [intlink id=»5855″ type=»post»]structure[/intlink], so that they match up as closely as possible. The user has the option of choosing one of three algorithms for aligning replicates, with a tradeoff of speed and similarity to the optimal alignment.

Cómo ejecutar

Para ejecutarlo en el sistema de colas debéis de incluir en el script para el sistema de colas la línea:

/software/bin/CLUMMP

con las opciones necesarias para CLUMPP. Os recomendamos usar [intlink id=»233″ type=»post»]qsub en interactivo[/intlink].

 

Más información

Página web de CLUMPP.

Structure

Genética, Software de Cálculo

Información general

Versión 2.33.

The program structure is a free software package for using multi-locus genotype data to investigate population structure. Its uses include inferring the presence of distinct populations, assigning individuals to populations, studying hybrid zones, identifying migrants and admixed individuals, and estimating population allele frequencies in situations where many individuals are migrants or admixed. It can be applied to most of the commonly-used genetic markers, including SNPS, microsatellites, RFLPs and AFLPs.

Cómo ejecutar

Para ejecutar la interfaz gráfica de usuario ejecutar en Péndulo, Maiz o Guinness

structure

Para poder ejecutar aplicaciones gráficas leer [intlink id=»48″ type=»post»]cómo acceder a Arina[/intlink].

Para ejecutarlo en el sistema de colas debéis de incluir en el script para el sistema de colas la línea:

/software/bin/structure

con las opciones necesarias para structure. Os recomendamos usar [intlink id=»233″ type=»post»]qsub en interactivo[/intlink].

 

Más información

Página web de structure.

MCCCS Towhee 7.0.2

Bioquímica, Software de Cálculo

Towhee es un código de Monte Carlo (libre) de simulación molecular diseñado originalmente para la predicción de equilibrio en fluidos utilizando campos de fuerza basados en átomos.

Información General

Towhee puede utilizar varios tipos de conjuntos estadistícos  l (NVT, NpT, uVT, NVT and NpT) varios pasos Montecarlo  y también diferentes campos de fuerza. (Más información).

Cómo Usar

send_towhee

  • Para enviar Towhee  en el sistema de colas se ha creado la utilidad send_towhee. Cuando se ejecuta,
    se muestra la sintaxis del comando, que se resume a continuación:
  • send_towhee JOBNAME NODES PROCS_PER_NODE TIME [ MEM ] [``Other queue options'' ]
JOBNAME: Nombre del Output.
NODES: número de nodos.
PROCS: Número de  procesadores.
TIME: Tiempo solicitado al sistema de colas: formato hh:mm:ss.
MEM: Opcional. Memoria en Gb ( It will used 1GB/core if not set).
[``Other Torque Options'' ] Opcional. Otras opciones que se quieran pasar al sistema de colas.   More information about this options

Ejemplos

Enviamos la entrada Towhee   a un nodo, cuatro procesadores en ese nodo, con un tiempo de 4 horas solicitado. El output generado estara en el fichero OUT

send_gulp OUT 1 4 04:00:00

Enviamos un trabajo a 2 nodos compuation, 8 procesadores en cada nodo, con un tiempo solicitado de 192 horas, 8 GB de memoria RAM y para empezar a correr después del trabajo 1234.arina haya terminado:

send_gulp OUT 2 8 192:00:00 8 ``-W depend=afterany:1234'

Enviamos el  Trabajo a 4 nodos y 4 procesadores en cada nodo, con el tiempo de 200 horas, 2 GB de RAM y solicitamos se nos envíe un correo electrónico al principio y al final del cálculo de la dirección especificada .

send_gulp OUT 4 4 200:00:00 2 ``-m be -M mi.email@ehu.es''

El comando send_gulp  copia el contenido del directorio desde donde se envió el trabajo al /scratch o   /gscratch, si utilizamos dos o más nodos, y ahí es donde se hace el cálculo.

Jobs Monitoring

Para facilitar el seguimiento y/o control de los cálculos Towhee, se puede utilizar remote_vi

remote_vi JOBID

Nos muestra el archivo  output indicado en send_towhee  (sólo si ha sido enviado con send_towhee).

Más información

http://towhee.sourceforge.net/

XCrySDen

Software de Cálculo, Visualización

Información general

XcrysSDen es un programa de visualización de estructuras cristalinas y moleculares. Dibuja isosuperficies y contornos que pueden ser superpuestas a las estructuras cristalinas y rotadas y manipuladas interactivamente.

Cómo ejecutar

Para usar XCrySDen ejecutar:

xcrysden

Es necesario poder abrir aplicaciones gráficas ([intlink id=»48″ type=»post»]ver acceso a los servidores[/intlink])

Más información

Página web de XCrySDen.

GRETL

Software de Cálculo

Información general

Gretl (Gnu Regression, Econometrics and Time-series Library) es un paquete de software para análisis econométrico. Está disponible la versión 1.9.6.

Caraterísticas

  • Incluye una gran variedad de estimadores: mínimos cuadrados, máxima verosimilitud, GMM; de una sola ecuación y de sistemas de ecuaciones
  • Métodos de series temporales: ARMA, GARCH, VARs y VECMs, contrastes de raíces unitarias y de cointegración, etc.
  • Variables dependientes limitadas: logit, probit, tobit, regresión por intervalos, modelos para datos de conteo y de duración, etc.
  • Los resultados de los modelos se pueden guardar como ficheros LaTeX, en formato tabular y/o de ecuación.
  • Incluye un lenguaje de programación vía ‘scripts’ (guiones de instrucciones): las órdenes se pueden introducir por medio de los menús o por medio de guiones.
  • Estructura de bucles de instrucciones para simulaciones de Monte Carlo y procedimientos de estimación iterativos.
  • Controlador gráfico mediante menús, para el ajuste fino de los gráficos Gnuplot.
  • Enlace a GNU R, GNU Octave y Ox para análisis más sofisticados de los datos.

Cómo usar

Para usar gretl ejecutar:

/software/bin/gretlcli

Más información

Página web de Gretl.

CPLEX

Maths, Software de Cálculo

Información general

CPLEX proporciona algoritmos matemáticos robustos, permite resolver problemas con millones de variables y restricciones. Versión 12.6.3.

Características

  • Automatic and dynamic algorithm parameter control
    IBM ILOG CPLEX Optimizer automatically determines «smart» settings for a wide range of algorithm parameters, usually resulting in optimal linear programming solution performance. However, for a more hands-on approach, dozens of parameters may be manually adjusted, including algorithmic strategy controls, output information controls, optimization duration limits, and numerical tolerances.
  • Fast, automatic restarts from an advanced basis
    Large problems can be modified, and then solved again in a fraction of the original solution time.
  • A variety of problem modification options, such as:
    – The ability to add and delete variables
    – The ability to add and delete constraints
    – The ability to modify objective, right-hand side, bound and matrix coefficients
    – The ability to change constraint types
  • A wide variety of input/output options, such as:
    – Problem files: read/write MPS files, IBM ILOG CPLEX Optimizer LP files, MPS basis and revise files, binary problem/basis files
    – Log files: session information and various solution reports
    – Solution files: ASCII and binary solution files
    – IBM ILOG CPLEX Optimizer messages: Each message type (such as RESULTS, WARNINGS or ERRORS) can be directed to specified files, or completely suppressed.
  • Post solution information and analysis, including:
    – Objective function value
    – Solution variable and slack values
    – Constraint dual values (shadow prices)
    – Variable reduced costs
    – Right-hand side, objective function, and bound sensitivity ranges
    – Basic variables and constraints
    – Solution infeasibilities (if any exist)
    – Iteration/node count, solution time, process data
    – Infeasibility (IIS) finder for diagnosing problem infeasibilities
    – Feasibility optimizer for automatic correction of infeasible models

Cómo usar

Para usar CPLEX ejecutar:

/software/bin/cplex/cplex

Benchmark

Hemos realizado un pequeño benchmark usando COIN-OR, ver la [intlink id=»1397″ type=»post»]página de COIN-OR[/intlink].

Más información

Página web de CPLEX.

Turbomole

Quantum Mechanics, Software, Software de Cálculo

Presently TURBOMOLE is one of the fastest and most stable codes available for standard quantum chemical applications. Unlike many other programs, the main focus in the development of TURBOMOLE has not been to implement all new methods and functionals, but to provide a fast and stable code which is able to treat molecules of industrial relevance at reasonable time and memory requirements.

Información general

Turbomole se utiliza tanto en el ámbito académico como en el industrial, en áreas tan diversas como la catálisis homogénea y heterogénea, química orgánica e inorgánica, diversos tipos de espectroscopia y bioquímica.

Las principales funcionalidades del programa son:

Teoría del Funcional de la Densidad (LDA, GGA, híbridos).
  • Teoría del Funcional de la Densidad (LDA, GGA, híbridos).
  • Funciones respuesta (HF, DFT).
  • Cálculos relativísticos con interacciones spin-orbita.
  • Cálculos Coupled-Cluster (CC2) para estados fundamentales y excitados.
  • Cálculos de momentos de transición (monoelectrónicos) entre estados excitados CC2.
  • Optimización de estructuras (mínimos y estados de transición).
  • Frecuencias vibracionales (analíticas para HF y DFT, numéricas para el resto de métodos).
  • NMR.
  • Energías Douglas-Kroll-Hess en C1.
  • Dinámica molecular ab initio.

Cómo usar

El programa se encuentra en guinness en /software/TURBOMOLE, y para un uso más sencillo se ha creado la herramienta send_turbo. Ver [intlink id=»4713″ type=»post»]Cómo enviar Turbomole[/intlink].

TmoleX permite importar o construir estructuras a calcular, y visualizar y analizar los resultados obtenidos. TmoleX se puede descargar gratuitamente para instalarlo localmente en los PCs o se puede ejecutar en guinness. Para ustar Tmolex ejecutar:

TmoleX

Para abortar limpiamente un cálculo tras la iteración en curso que se está ejecutando, con el identificador de trabajo 1234.arina por ejemplo, podéis usar el comando:

turbomole_stop 1234

Recordar que hay que borrar el fichero «stop» si se reenvía el cálculo.

Más información

Página web de Turbomole

Manual de Turbomole

Tutorial de Turbomole

Orca

Quantum Mechanics, Software de Cálculo

ORCA (3.0.3) is a flexible, efficient and easy-to-use general purpose tool for quantum chemistry with specific emphasis on spectroscopic properties of open-shell molecules. It features a wide variety of standard quantum chemical methods ranging from semiempirical methods to DFT to single- and multireference correlated ab initio methods. It can also treat environmental and relativistic effects.

Información general

ORCA es un programa, flexible, eficiente y fácil de utilizar, una herramienta de propósito general para la química cuántica, con especial hincapié en las propiedades espectroscópicas de moléculas con capa abierta. Cuenta con una amplia variedad de métodos estándar de química cuántica desde los métodos semiempíricos, DFT  …

Cómo usar

Los ejecutables de  se encuentran instalados en /software/orca, y para un uso más sencillo se ha creado la herramienta send_orca. Para usarla ver cómo enviar Orca.

Benchmark

Presentamos los datos de un benchmark  realizados con Orca (optimización b3lyp) en las máquinas del servicio, excluimos itanium porque el rendimientro es muy pobre.

Cores Xeon Tiempo Speed Up Eficiencia
1 3438 100%
8 498 6.9 86%
16 316 10.90 62%
32 218 15.77 50%

Terachem

Quantum Mechanics, Software de Cálculo

Información General

TeraChem 1.45 is general purpose quantum chemistry software designed to run on NVIDIA GPU architectures under a 64-bit Linux operating system. Some of TeraChem features include:

  • Full support for both NVIDIA Tesla and Fermi GPUs
  • Restricted Hartree-Fock and Kohn-Sham single point energy and gradient calculations
  • Various DFT functionals (BLYP, B3LYP, PBE, etc) and DFT grids (800-80,000 grid points per atom)
  • Empirical dispersion corrections (DFT-D)
  • Geometry optimization and transition state search (including constraints)
  • Ab initio molecular dynamics (NVE and NVT ensembles)
  • Support of multiple-GPU systems
  • Up to 1000 times faster than conventional CPU-based codes
  • Designed for large molecules – reads/writes PDB files directly
  • Optimization including geometric constraints
  • Improved mixed-precision for increased accuracy

Cómo mandar Terachem

Existe el comando [intlink id=»3851″ type=»post»]send_terachem[/intlink] para facilitar enviar trabajos al cluster

Más información

Página de Terachem.

Manual de usuario.

VMD

Software de Cálculo, Visualización

Información general

VMD is designed for modeling, visualization, and analysis of biological systems such as proteins, nucleic acids, lipid bilayer assemblies, etc. It may be used to view more general molecules, as VMD can read standard Protein Data Bank (PDB) files and display the contained structure. VMD provides a wide variety of methods for rendering and coloring a molecule: simple points and lines, CPK spheres and cylinders, licorice bonds, backbone tubes and ribbons, cartoon drawings, and others. VMD can be used to animate and analyze the trajectory of a molecular dynamics (MD) simulation. In particular, VMD can act as a graphical front end for an external MD program by displaying and animating a molecule undergoing simulation on a remote computer.

Como usar

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para usar VMD ejecutar en la terminal

vmd

Más información

VMD homepage.

Maestro

Software de Cálculo, Visualización

Información general

Maestro is the unified interface for all Schrödinger software. Impressive rendering capabilities, a powerful selection of analysis tools, and an easy-to-use design combine to make Maestro a versatile modeling environment for all researchers.

En los servidores Guinness y Péndulo está instalada la versión 9.0, en Maiz la versión 8.5. Recomandamos usar Maestro en el servidor Guinness, es el servidor más nuevo y el que soporta las últimas versiones de Maestro.

Como usar

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para ejecutar Maestro usar en la terminal

maestro

Más información

Página web de Maestro.

Página web de Schrödinger.

Software de Cálculo

Software de Cálculo

 

DL

Quantum Mechanics

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»573″ type=»post»]Abinit[/intlink] ok ok ok ok
[intlink id=»1591″ type=»post»]ADF[/intlink] 2017.110 2017.110 1017.110
[intlink id=»1673″ type=»post»]BigDFT[/intlink] ok ok
[intlink id=»1951″ type=»post»]Casino 2.4[/intlink] ok
[intlink id=»1543″ type=»post»]Dirac 08[/intlink] ok
[intlink id=»591″ type=»post»]Espresso[/intlink] ok ok
[intlink id=»1563″ type=»post»]Gamess Jan 2009 [/intlink] ok
[intlink id=»12″ type=»post»]Gaussian 03 & 09[/intlink] ok ok ok
[intlink id=»467″ type=»post»]Jaguar[/intlink] ok ok ok
[intlink id=»1889″ type=»post»]MIKA .81[/intlink] ok
[intlink id=»2077″ type=»post»]NBO 5[/intlink] ok
[intlink id=»100″ type=»post»]NWChem 6.3 [/intlink] ok ok
[intlink id=»4228″ type=»post»]Orca 3.0.3 [/intlink] ok ok
[intlink id=»8843″ type=»post»]PSI4[/intlink] ok ok
[intlink id=»8081″ type=»post»]Qbox[/intlink] ok ok
[intlink id=»106″ type=»post»]Qsite[/intlink] ok ok ok
[intlink id=»2404″ type=»post»]Siesta 2.0.1[/intlink] ok
[intlink id=»2404″ type=»post»]Siesta 3.0[/intlink] ok
[intlink id=»39″ type=»post»]TB-LMTO 4.6 [/intlink] ok
[intlink id=»3849″ type=»post»]Terachem [/intlink] ok
[intlink id=»4689″ type=»post»]Turbomole 6.6 [/intlink] ok ok
[intlink id=»98″ type=»post»]VASP[/intlink] ok ok ok
[intlink id=»1637″ type=»post»]Wien2K[/intlink] ok ok
[intlink id=»1655″ type=»post»]Yambo 3.2.2 [/intlink] ok ok

BioChemistry / Molecular Mechanics

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»1969″ type=»post»]Amber[/intlink] ok ok
[intlink id=»2031″ type=»post»]DL_POLY [/intlink] ok ok
[intlink id=»1989″ type=»post»]Gromacs[/intlink] ok ok
[intlink id=»5753″ type=»post»]GULP 4.0[/intlink] ok
[intlink id=»5707″ type=»post»]LAMMPS[/intlink] ok
[intlink id=»2065″ type=»post»]Macromodel[/intlink] ok ok ok
[intlink id=»2011″ type=»post»]NAMD 2.6 [/intlink] ok
[intlink id=»5803″ type=»post»] Towhee 7.0.2 [/intlink] ok

Matemática y Gráficos

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»1397″ type=»post»] Coin-or [/intlink] ok ok
[intlink id=»5232″ type=»post»] CPLEX [/intlink] ok ok
[intlink id=»1363″ type=»post»]Grace 5.1.19 [/intlink] ok ok ok
[intlink id=»598″ type=»post»]Mathematica[/intlink] ok ok ok
[intlink id=»600″ type=»post»]Matlab[/intlink] ok ok
[intlink id=»1371″ type=»post»]Matplotlib[/intlink] ok
[intlink id=»612″ type=»post»]Octave 3.2.3 [/intlink] ok
[intlink id=»612″ type=»post»]Octave 3.2.4 [/intlink] ok
[intlink id=»8631″ type=»post»]R, RCommander y RStudio[/intlink] 3.3.3 3.3.2 3.3.3
[intlink id=»606″ type=»post»]Scilab 5.1.1 [/intlink]
[intlink id=»606″ type=»post»]Scilab 5.2.2 [/intlink] ok

Genética

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»6111″ type=»post»]ABySS[/intlink] ok
[intlink id=»1477″ type=»post»]BEAST[/intlink] ok ok
[intlink id=»6005″ type=»post»]BLAST [/intlink] ok
[intlink id=»1493″ type=»post»]Blast2Go [/intlink] ok
[intlink id=»6101″ type=»post»]Clean_reads[/intlink] ok
[intlink id=»5889″ type=»post»]CLUMPP [/intlink] ok
[intlink id=»7668″ type=»post»] Cufflinks [/intlink] ok
[intlink id=»5915″ type=»post»]Genepop[/intlink] ok
[intlink id=»8051″ type=»post»]IDBA-UD[/intlink] ok ok
[intlink id=»7967″ type=»post»]MetAMOS[/intlink] ok
[intlink id=»1495″ type=»post»]mpiBLAST [/intlink] ok
[intlink id=»7686″ type=»post»]QIIME[/intlink] ok
[intlink id=»8019″ type=»post»]SPAdes[/intlink] ok ok
[intlink id=»5855″ type=»post»]structure [/intlink] ok
[intlink id=»7660″ type=»post»]TopHat [/intlink] ok
[intlink id=»7071″ type=»post»]Trinity[/intlink] ok
[intlink id=»7700″ type=»post»]USEARCH[/intlink] ok
[intlink id=»6055″ type=»post»]Velvet[/intlink] ok

Software de Visualización

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»5362″ type=»post»] Gaussview[/intlink] ok
[intlink id=»3528″ type=»post»] Maestro [/intlink] ok ok
[intlink id=»1275″ type=»post»] Molden[/intlink] ok ok
[intlink id=»1229″ type=»post»] NX client[/intlink] ok ok
[intlink id=»1353″ type=»post»] P4VASP [/intlink] ok ok
x2Go ok ok
[intlink id=»5514″ type=»post»] XCrysDen [/intlink] ok
[intlink id=»1261″ type=»post»] Xmakemol [/intlink] ok ok
[intlink id=»3550″ type=»post»] VMD [/intlink] ok ok

Otro Software

 Katramila
(xeon,rh7,xeon20)		 Guinness
(xeon,oxeon)		 Kalk2017
(xeon,rh7,xeon28)
[intlink id=»1389″ type=»post»] GAP 4.4 [/intlink] ok
[intlink id=»5471″ type=»post»] Gretl [/intlink] ok
[intlink id=»1379″ type=»post»] HTK 3.4.1 [/intlink]
[intlink id=»1871″ type=»post»] NCL-NCAR [/intlink] ok
[intlink id=»1581″ type=»post»] OOMMF [/intlink] ok ok
[intlink id=»6864″ type=»post»] PHENIX [/intlink] ok
[intlink id=»8516″ type=»post»] SCIPION[/intlink] ok
[intlink id=»576″ type=»post»] STAR-CCM+ [/intlink] ok ok ok
[intlink id=»1875″ type=»post»] WRF 3.1 [/intlink] ok

 

Siesta

Quantum Mechanics, Software de Cálculo

Información general

Spanish Initiative for Electronic Simulation with Thousands Atoms. Programa de cálculo ab-initio de DFT para sólidos y moléculas. Permite realizar relajaciones y simulaciones de dinámica molecular. Usa orbitales localizados y permite calcular con un gran número de átomos. Se distribuye gratuitamente, pero se requiere solicitar la licencia académica.  Las versiones instaladas son la 2.0.1 en Itanium y la 3.0rc1 en x86-64.

Cómo mandar Siesta

[intlink id=»1167″ type=»post»]Sigue este enlace[/intlink].

Más información

Siesta home page.

Manual en línea de Siesta.

DL_POLY

Bioquímica, Software de Cálculo

Información general

Versión 4.02 del completo programa de dinámica molecular para macromoléculas, polímeros, sistema iónicos, disoluciones y otros sistemas moleculares desarrollado en el Laboratorio Daresbury. Se ha instalado la versión 4.02 (2.2 en Pendulo). Existe también DL_POLY_CLASSIC que por el momento no se desarrolla.

 

El programa se ha compilado con soporte para GPGPUs.

Cómo mandar

El programa está instalado para todas las arquitecturas, en Arina y en Péndulo (dl_poly_2.2). Para ejecutar el programa incluir en los scripts:

/software/bin/DL_POLY/DL_POLY.Z

El programa se ejecutará en las GPGPUs si entra en dichos nodos. También se puede seleccionar este tipo de nodos con la etiqueta gpu del [intlink id=»244″ type=»post»] sistema de colas[/intlink].

También se ha instalado la interfaz gráfica. Para ejecutarla:

/software/bin/DL_POLY/gui

Se han instalado una serie de utilidades que vienen incluidas y cuyas fuentes están en el directorio /software/bin/DL_POLY/.

Benchmark

Presentamos los datos de tres pequeños benchmark realizados con dl_ploly_4.02 en los que se mide su paralelización así como su eficiencia sobre GPGPUs.

System 1 cores 4 cores 8 cores 16 cores 32 cores 64 cores
Itanium 1.6 GHz 1500 419 248 149 92 61
Opteron 1230 503 264 166 74
Xeon 2.27 GHz 807 227 126 67 37 25

Como ya observamos en este primer test el rendimiento en los nodos xeon es superior y para trabajos largos se recomienda su uso. Por otro lado también se observa que escala muy bien al aumentar el número de procesadores. En los siguientes benchmark además medimos el rendimiento de al correr sobre las GPGPUs.

System 1 cores 2 cores 4 cores 8 cores 16 cores 32 cores
Itanium 1.6 GHz 2137 303 165 93 47
Opteron 1592 482 177 134 55
Xeon 2.27 GHz 848 180 92 48 28
1 GPGPU 125 114 104 102
2 GPGPU 77 72 69
4 GPGPU 53 50
8 GPGPU 37
System 1 cores 2 cores 4 cores 8 cores 16 cores 32 cores 64 cores
Xeon 2.27 GHz 2918 774 411 223 122 71
1 GPGPU 362 333 338 337
2 GPGPU 240 222 220
4 GPGPU 145 142
8 GPGPU 97

 

Como se observa la GPGPU acelera el cálculo. El usar más cores apenas incrementa la velocidad cuando se usan GPGPUs. Doblar el número de GPGPUS sólo consigue que la velocidad se multiplique por 1.5 por lo que al final correr en paralelo en muchos cores resulta más eficiente. Tomemos como ejemplo el último benchmark. Cada nodo tiene 2 GPGPUs y 8 cores. Usando 8 cores se tarda 411 s. y usando las GPGPUs podemos bajar hasta los 220 s. Usando 2 nodos, 4 GPGPUs vs 16 cores aun son más rápidas las GPGPUs. Pero con 32 cores el cálculo tarda 71 s mientras que usando las 8 GPGPUs disponibles en los 4 nodos tardamos 97 s. Podemos concluir que para un PC o en nuestro cluster para un nodo la tarjeta gráfica puede acelerar significativamente el cálculo, pero para cálculos masivamente paralelos la paralelización sobre CPUs es más efectiva.

DL_POLY está diseñado para sistemas grandes e incluso el uso de miles de cores. Según la documentación de DL_POLY:

The DL_POLY_4 parallel performance and efficiency are considered very-good-to-excellent as long as (i) all CPU cores are loaded with no less than 500 particles each and (ii) the major linked cells algorithm has no dimension less than 4.

Más información

Página principal de DL_POLY.

Manual de DL_POLY (pdf).

Manual de la interfaz gráfica de DL_POLY (pdf).

NAMD

Bioquímica, MM/MD, Software de Cálculo

La versión instalada es la 2.8

Programa con potenciales empíricos que incluye dinámica molecular, minimización de energía y Monte Carlo, desarrollado en la Universidad de Illinois. Especialmente orientado a la simulación de sistemas biológicos.

El software se encuentra instalado tento en arina como en pendulo, el el directorio
/software/NAMD_2.6. Se ha creado también el script send_namd para enviar trabajos de NAMD.

Como mandar NAMD

Existen dos formas de ejecutar NAMD en Arina y Pendulo:

    • Usando send_namd.
    • Creando un script torque y enviar esté a la cola.
  1. send_namd
      • Para lanzar al sistema de colas NAMD existe la utilidad send_namd. Al ejecutarlo,
        muestra la sintaxis del comando, que se resume a continuación:
      • Modo de Uso:send_namd JOBNAME PROCS_PER_NODE[property] TIME MEM [«Other queue options» ]
        JOBNAME: Nombre del input de NAMD completo, con extensión
        NODES: Número de nodos
        PROCS: Número de procesadores.
        TIME: Tiempo solicitado a la cola, formato hh:mm:ss.
        MEM: memoria en Gb y sin especificar la unidad.
        [``Otras opciones de Torque'' ] Existe la posibilidad de pasar más variables al sistema de colas.
        Ver ejemplos más abajo. [intlink id=»244″ type=»post»]Más información sobre estas opciones[/intlink]

    Ejemplos:

    Mandamos NAMD con el input job1 a 16 procesadores  con un tiempo solicitado de 4 horas y 1 GB de RAM:

    send_namd job1.namd 2 8:xeon20 04:00:00 1

    Mandamos NAMD con el input job2 con 4 procesadores, y con un tiempo solicitado de 192 horas, 8 GB de RAM y que se ejecute despues del trabajo 1234.arinab:

    send_namd job2.conf 1 8 192:00:00 8 ``-W depend=afterany:1234''

Monitorización de los cálculos:

remote_vi Para facilitar el seguimiento y/o control de los cálculos, se puede utilizar remote_vi. Nos enseña con el editor gvim el *.out del cálculo de NAMD (sólo si ha sido enviado usando send_namd).

Ejemplos:

  • remote_vi 38143.arina

Más Información

NAMD home page.

 

 

 

 

AMBER

Bioquímica, MM/MD, Software de Cálculo

Información general

Versión 14 de AMBER (Assisted Model Building with Energy Refinement) junto con amber tools15. Programa con potenciales empíricos que incluye dinámica molecular, minimización de energía. Especialmente orientado a la simulación de sistemas biológicos.

Cómo usar

Están compilados las versiones en serie y paralelas de AMBER y se pueden encontrar en

/software/bin/amber

send_amber

Para mandar cálculos de AMBER se ha preparado el comando send_amber. Uso:

send_amber "Sander_options" Nodes Procs_Per_Node[property] Time [or Queue] [Mem] ["Other_queue_options"]

Sander_options: the options you want to use in the calculation, inside quotes
Nodes: is the number of nodes
Procs: is the number of processors (you may uinclude the node type) per node.
Time: or Queue the walltime (in hh:mm:ss format) or the queue name of the calculation
Mem: the PBS memory (in gb)
[Mem] and ["Other_queue_options"] are optional

Para «Other queue options» see examples below:

send_amber "sander.MPI -O -i in.md -c crd.md.23 -o file.out" job1 1 8 p_slow
send_amber "sander.MPI -O -i in.md -c crd.md.23 -o file.out" 2 8:xeon vfast 16 "-W depend=afterany:1234"
send_amber "sander.MPI -O -i in.md -c crd.md.23 -o file.out" 4 8 24:00:00 32 "-m be -M mi.email@ehu.es"

Más información

Amber home page.

Manual en línea.

Tutoriales.

 

MIKA

Quantum Mechanics, Software de Cálculo

Multigrid Instead of K-spAce. Versión .81 del paquete de programas de cálculo DFT en el espacio real, tanto para sistemas periódicos, como finitos, desarrollado por el CSC y la Universidad Tecnológica de Helsinki (HUT).

Información general

Incluye un paquete que resuelve las ecuaciones de Kohn-Sham en 3 dimensiones (rspace) y otro para problemas con simetría cilíndrica (cyl2). Para más información MIKA home page

Como usar

  • rspace

    • Programa para cálculos DFT en celdas ortorrómbicas, usando pseudopotenciales no locales (dispone de una pequeña librería en /software/MIKA/potentials). Puede realizar simulaciones en celdas con condiciones periódicas de contorno y en sistemas finitos con funciones de onda que se anulan en los bordes de celda. Se puede ejecutar en paralelo (muy eficientemente) con

    mpirun /software/bin/rspace_p

    y en serie con

    rspace_s
  • cyl2

    • Programa para cálculos DFT en sistemas con simetría cilíndrica, resuelve numéricamente las ecuaciones de Kohn-Sham en la dirección radial y longitudinal. Se puede ejecutar en paralelo con

    mpirun /software/bin/cyl2_p

    Nota: No usar más microprocesadores n que el número cuántico m , se recomienda n menor o igual m. La versión en serie se ejecuta con

    cyl2_s

Más información

MIKA home page

Quick reference quide.

NCL – NCAR

Software de Cálculo

Información General

The NCAR Command Language (NCL), a product of the Computational & Information Systems Laboratory at the National Center for Atmospheric Research (NCAR), is a free interpreted language designed specifically for scientific data analysis and visualization. NCL has robust file input and output. The graphics are world class and highly customizable.

Como Ejecutar

Se ejecutan por ejemplo:

/software/bin/ncdump

o en el servidor directamente:

ncdump

Por ahora sólo está compilado para la arquitectura itanium2. Se ha compilado con soporte para NETCDF-4, HDF4, HDF5, HDFEOS, GRIB2, vis5d+ y usando triangle.

Más Información

Página web de NCL.

ADF

Quantum Mechanics, Software de Cálculo

Información general

Amsterdam Density Functional (2016.01)

The ADF package is software for first-principles electronic structure calculations. ADF is used by academic and industrial researchers in such diverse fields as pharmacochemistry and materials science. It is particularly popular in the research areas of homogeneous and heterogeneous catalysis, inorganic chemistry, heavy element chemistry, various types of spectroscopy, and biochemistry. Key Benefits of ADF

  • Spectroscopic properties and environments for any type of molecule
  • Excels in transition and heavy metal compounds
  • Accurate, robust, and fast
  • Expert staff and active community
  • Uses Slater functions, beats Gaussians!

ADF puede calcular tanto sistemas finitos (moléculas) y sistemas periódicos (con ADFBAND). Incluye potentes interfaces gráficas y herramientas para el análisis de los resultados accesibles desde Katramila.

Se dispone de licencia para 4 cores.

Cómo usar

Para ejecutar las interfaces gráficas (generador de input, visualización de resultados,…) usar desde Katramila:

adfview

Para lanzar un ADF en arina usar un input creado con adfinput recomendamos usar el comando send_adf donde su sintaxis es:

<code>send_adf JOBNAME NODES PROCS[property] TIME MEM [``Otherqueue options'' ]
  • JOBNAME: Nombre del input de nwchem sin extensión.
  • NODES: Number of nodes.
  • PROCS: Número de procesadores.
  • TIME: Tiempo solicitado a la cola, formato hh:mm:ss.
  • MEM: memoria en GB y sin especificar la unidad.
  • [«Otras opciones de Torque»] Existe la posibilidad de pasar más variables al sistema de colas. Ver ejemplos más abajo. Más información sobre estas opciones

Ejemplo

Para mandar el input au_min2.run a 4 procesadores, con un walltime de 20 horas y 4 GB de RAM usar

send_adf au_min2.run 1 4 20:00:00 4

Más información

Página principal de ADF.

Documentación de ADF

OOMMF

Software de Cálculo

Información general

Versión 1.2 del programa para realizar simulaciones micromagnéticas. No está compilado con la versión paralela de tcl.

Cómo usar

Ejecutando

oommf.tcl

nos aparece la interfaz gráfica. Para poder preparar y analizar los cálculos. Para mandar cálculos a las colas de cálculo se puede usar el comando

send_oommf

que nos crea un script adecuado y lo envía a la cola, además de asegurar la coherencia entre los cores solicitados al sistema de colas y a OOMMF.

Benchmark

Se ha realizado un pequeño benchmark con la versión 1.2. En la versión paralela en xeon OOMMF tiene un rendimiento aceptable hasta los 4 cores con el input empleado, no hemos realizado el benchmark paralelo en otras arquitecturas dado que los nodos xeon son los más adecuados.

Node type xeon20 xeon12 xeon8
Time
776
 905 1224

 

Más información

Página web de OOMMF.

Manuales de OOMMF.

GAMESS-US 12 JAN 2009 (R1)

Quantum Mechanics, Software de Cálculo

Información general

Gamess es un paquete de química computacional con varios métodos para calcular propiedades de sistemas moleculares, usando descripciones mecánico-cuánticas estándar para las funciones de onda o la densidad electrónica. La versión 12 JAN 2009 (R1) se encuentra instalada en el cluster. En estos momentos, se puede ejecutar gamess en varios nodos, con 8 o más procesadores.

[intlink id=»1037″ type=»post»]Como mandar Gamess[/intlink]

En este enlace puedes ver cómo mandar cálculos de Gamess y como ir monitorizándolos.

Más información

Página de GAMESS-US

Dirac 08

Quantum Mechanics, Software de Cálculo



Información general

La versión que se encuentra instalada en el cluster es DIRAC08. Dirac es un paquete de química computacional con varios métodos para calcular propidedades de sistemas moleculares usando mecánica-cuántica relativista.

Como ejecutar

Para ejecutar dirac hay que crear un script para torque y utilizar la herramienta de pam de dirac. El SGI/IZO ha actualizado pam deshabilitando la opción -mpi, ya que el sistema de colas se encarga de gestionar los procesadores. Dirac (bases y pam incuidos) esta instalado en /software/Dirac08.

Un script de ejemplo se encuentra aquí.

Benchmarks

El tipo de cálculos que realiza dirac requiere de bastantes recursos computacionales, y realiza muchas operaciones I/O por ello, no paralaliza muy bien como se puede ver en la pruebas realizadas:

nproc Itanium Opteron Pendulo (1:ppn=nproc)
1 2176 4650 3603
2 2056 (1.04) 3370 (1.37) 3100 (1.16)
4 990 (2.19) 1847 (2.5) 1840 (1.97)
8 730(2.98) 1054 (4.4) NA
El speed-up se muestra en negrita.

Input y sistema utilizado para los benchmarks.

Más información

Página de DIRAC y documentación.

Blast2GO

Genética, Software de Cálculo

Información general

Blast2GO is an ALL in ONE tool for functional annotation of (novel) sequences and the analysis of annotation data. Está instalada la versión 2.5.

Cómo usar Blast2GO

Si se ejecuta en Maiz, Péndulo o Guinness

blast2go

se ejecuta la versión gráfica que se conecta por red a las bases de datos de Blas2GO. No obstante, sólo en los nodos opteron y xeon hemos instalado localmente las bases de datos y para poder realizar cálculos de forma muy eficiente.

Para calcular en en los nodos basta incluir en el script de Torque:

/software/bin/blast2go -v -a -in input_file.xml -out outfile -prop b2gPipe.properties

o con las opciones deseadas y haber configurado correctamente el fichero b2Pipe.properties. Una plantilla de b2gPipe.properties la podéis copiar desde

cp /software/b2g4pipe/b2gPipe.properties .

Para acceder a las bases de datos locales configurar en el fichero b2gPipe.properties a través de la interfaz gráfica de Blast2GO (tools -> DB configuration) o editándolo directamente con los siguientes datos.

// GO and B2G-Mapping Database
Dbacces.dbhost=localhost
Dbacces.dbname=b2g
Dbacces.dbuser=blast2go
Dbacces.dbpasswd=blast4it

Es necesario incluir la etiqueta opteron para dirigir el cálculo a estos nodos y es un programa que se ejecuta en serie, es decir:

#PBS -l nodes=1:ppn=1:opteron

Si se desea actualizar o incluir alguna base de datos localmente contactar con los técnicos.

Más información

También está instalada la versión paralela de BLAST [intlink id=»1495″ type=»post»]mpiBLAST[/intlink].

Tutorial de Blast2GO.

Más información en la página web de Blast2GO.

mpiBLAST

Genética, Software de Cálculo

Información general

mpiBlAST es una versión paralela de blast que permite su ejecución paralela en muchos nodos. Está instalada la versión 1.6.0. Compara secuencias de nucleótidos o proteínas con bases de datos y para estudiar relaciones funcionales y evolutivas así como identificar miembros de familas de genes.

Por razones de rendimiento no se ha instalado en los Itanium.

En nuestras pruebas falla si el fichero de secuencias tiene secuencias de más de aproxímadamente 3150 bp.

mpiBLAST está basado en la antigua versión de blast y usa la sintáxis antigua. Puedes verla en este link.

Bases de datos

El Servicio tiene instaladas varias bases de datos para uso compartido, consulta con los técnicos para más información. Si quieres actualizar o instalar más bases de datos contacta con los técnicos para evitar copias múltiples innecesarias.

Cómo ejecutar

Para enviar trabajos al sistema de colas recomendamos el uso del comando

send_blast

Este comando realiza una serie de preguntas y permite lanzar mpiBLAST o el BLAST normal, así como trocear el fichero de datos orginal para paralelizar sobre los datos o ajustar el tiempo de ejecución a Péndulo.

También puedes crear tú propio script de [intlink id=»19″ type=»post»]Torque[/intlink] incluyendo esta línea.

/software/bin/mpiblast -use-virtual-frags -use-parallel-write -output-search-stats

Por ejemplo, para usar blastx con la base de datos nr y obtener los resultados en formato XML y luego poder usarlos con [intlink id=»1493″ type=»post»]Blast2GO[/intlink]:

/software/bin/mpiblast -use-virtual-frags -use-parallel-write -output-search-stats -p blastx -d nr -m 7 -I T -i input_file.fas -o out_file.xml

Para tener un script de ejemplo puedes ejecutar un vez send_blast. También tenemos programas para facilitar el uso de BLAST, consulta con los técnicos.

Es recomendable usar el flag -use-virtual-frags para que no realice una copia local de la base de datos, esta se cargará íntegramente en memoria. Para Péndulo, que tiene poca memoria por nodo, es importante saber cuanta memoria va a necesitar nuestro cálculo para que entre perféctamente (ver informe sobre rendimiento).

Es necesario formatear la base de datos en fragmentos y asignar un fragmento a cada core (cpu). Recomendamos usar las bases de datos instaladas por los técnicos. Para fomatear las bases de datos nr en 6 trozos por ejemplo, está el comando:

/software/bin/mpiformatdb -N 6 -i nr -o T

El número de cores a solicitar para el cálculo con mpiBLAST a de ser igual al número de fragmentos de la base de datos más dos, en este caso solicitaríamos 8 cores.

mpiBLAST escala muy bien. Hemos realizado unos test y benchmark que nos puede servir para predecir el uso de memoria y cpu de los cálculos, que hemos plasmado en el  informe sobre el rendimiento de mpiBLAST.

 

Rendimiento

Para preparar los cálculos puede ser muy instructivo el informe sobre rendimiento de mpiBLAST. También hemos comparado mpiBLAST con el BLAST normal de NCBI y gpuBLAST. Se pueden encontrar los resultados en el blog del Servicio.

Más información

Para más información página web de mpiBLAST. Aquí se pueden encontrar manuales y tutoriales.

También está instaldado [intlink id=»1493″ type=»post»]Blast2GO[/intlink].

Informe sobre el rendimiento de mpiBLAST.

BEAST

Genética, Software de Cálculo

Información General

BEAST 1.8.2 is a cross-platform program for Bayesian MCMC analysis of molecular sequences. It is entirely orientated towards rooted, time-measured phylogenies inferred using strict or relaxed molecular clock models. It can be used as a method of reconstructing phylogenies but is also a framework for testing evolutionary hypotheses without conditioning on a single tree topology. BEAST uses MCMC to average over tree space, so that each tree is weighted proportional to its posterior probability.

Cómo usar Beast

Para ejecutar el fichero de entrada input.xml en BEAST usar:

/software/bin/beast input.xml > output.log

Otros programas de BEAST instalados

beast, beauti, loganalyser, logcombiner eta treeannotator.

Benchmark

Presentamos los resultados de un pequeño benchmark realizado en las máquinas del servicio para analizar el rendimiento de beast. Como vemos paraleliza muy bien hasta 8 cores. Para cálculos muy largos puede que usar 16 cores merezca la pena pues aun hay una reducción significativa pero la eficacia en el uso de los procesadores ya cae de forma importante.

Cores Tiempo (s)
 Eficiencia (%)
1 12692 100
4 3573 89
8 1889 84
16 1200 66
20 1149 55

Más información

Página web de BEAST con tutoriales y documentación.

Coin-or

Software de Cálculo

Información general

1.7.5 version. The Computational Infrastructure for Operations Research (COIN-OR**, or simply COIN) project is an initiative to spur the development of open-source software for the operations research community. Se ha compilado incluyendo [intlink id=»5232″ type=»post»]CPLEX[/intlink].

Cómo usar

Los ejecutables blis, cbc, clp, OSSolverService y symphony se encuentran instalados en /software/bin/CoinAll. Para usar, por ejemplo clp ejecutar en los scripts de torque:

/software/bin/CoinAll/clp

Más información

Coin-or home page.

GAP

Software de Cálculo

Versión 4.4 del lenguaje matemático para álgebra discreta con numerosas librerías de funciones y tablas.

GAP es unas 2.5 veces más lento en itanium que en opteron o core2duo. Os recomendamos Maiz o Péndulo para ejecutar GAP en interactivo.

Se puede ejecutar directamente gap en la línea de comandos. Por defecto se crea un espacio de trabajo (workspace) de 512 MB. En los scripts del sistema de colas si es necesario incrementar la memoria que usa GAP ejecutarlo con la opción -m, por ejemplo:

/software/bin/gap -m 900m < input-file > output-file

donde input-file es el fichero con las órdenes para GAP, en output-file se guarda la salida de pantalla y se está creando un workspace de 900 MB para GAP.

Más información y documentación en GAP home page.

HTK

Software de Cálculo

Versión 3.4.1 del conjunto de programas para trabajar modelos ocultos de Markov. Es principalmente usado en investigación sobre el reconocimiento del habla.

Sólamente está instalado en Péndulo y los nodos Opteron.

Para ejecutar alguna de sus programas emplear por ejemplo:

/software/bin/HDecode

Para más información Página web de HTK.

Matplotlib

Maths, Software de Cálculo

Información general

Librerías para cálculo matemático con Python. Se han instalado también las librerías numphy y el intérprete ipython.

Se ha requerido recompilar python, se deben usar ejecutando

/software/bin/python


/software/bin/ipython


Más información


Página web de Matplotlib.


Página web de Numpy.


Página web de ipython.

Grace

Maths, Software de Cálculo

Información general

Está instalada la versión 5.1.19. Grace es un herramienta WYSIWYG (What you see is what you get, es decir, Lo que Ves es lo que Consigues) para hacer gráficos en dos dimensiones de datos numéricos.

Para ejecutarlo hay que utilizar el comando:

xmgrace

Más información

Más información y documentación en la página web de Grace.

P4VASP

Software de Cálculo, Visualización

Información general

P4vasp es un paquete para visualizar estructuras y densidades electrónicas,…de cálculos de VASP.

Como usar

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para su ejecución, simplemente ejecutar

p4v

Más información

P4Vasp home page.

Molden

Software de Cálculo, Visualización

Información general

Molden es un paquete para visualizar estructuras y densidades electrónicas, que lee los formatos de los siguientes programas Ab-Initio: GAMESS-UK , GAMESS-US, GAUSSIAN,… desarrollado en la Radboud University Nijmegen. La versión disponible es la 4.4.

Como usar

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para usar Molden ejecutar en la terminal

molden

Más información

Molden Homepage y manual en línea.

XMakemol

Software de Cálculo, Visualización

Información general

Xmakemol es un paquete para visualizar estructuras atómicas. La versión disponible es la 5.14.

Como usar

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para su ejecución, simplemente usar

xmakemol

Más información

XMakemol Homepage.

Manual en línea.

NX – Server

Software de Cálculo, Visualización

Información general

NX es un servidor de terminal o conexión gráfica remota. Sirve para desde nuestro PC o PDA poder ver las aplicaciones gráficas ejecutadas en Maiz, Guinness, Péndulo,…. Tiene la ventaja de comprimir el tráfico, cachear información,…lo cual reduce las comunicaciones y lo hace muy adecuado para conectarse desde casa. Es válido para Windows, linux, Mac,….

Como se usa

Es necesario instalar el cliente en nuestro PC y ejecutarlo para conectarse a los servidores de cálculo. Este documento es una guía para instalar y configurar el cliente NX para conectarse a las máquinas del Servicio.

Más información

Página web para descargar el cliente  NX.

scilab

Maths, Software de Cálculo

Versión 5.1.1 en (Itanium, Opteron y Péndulo) y 5.2.2 en Xeon del programa matemático de cálculo numérico.

Características generales

Está instalado en los nodos opteron de Arina y en Péndulo. La interfaz gráfica sólo está disponible en Péndulo y Guinness.
Similar en funcionalidades a Matlab. Incluye herramientas para:

  • Visualización 2D y 3D.
  • Lenguaje de programación (scripts de scilab).
  • Resolución de equaciones diferenciales.
  • Modelizador y simulador de sistemas híbridos: tratamiento de señal, sistemas de control, sistema biológicos,…
  • Álgebra simbólica (Maple).
  • …

Como ejecutar Scilab

Usar el siguiente comando:

scilab

y abrirá en Péndulo la interfaz gráfica y en Maiz una terminal. En los scripts para lanzar a las colas usar la línea

/software/bin/scilab -f script_scilab > output_file

donde script_scilab es el archivo con las ordenes para Scilab.

Más información

Más información y documentación de Scilab en http://www.scilab.org/.

Benchmarks

Hemos realizado unos benchmarks comparando [intlink id=»606″ type=»post»]Scilab 5.2[/intlink],  [intlink id=»612″ type=»post»]Octave 3.2[/intlink] y [intlink id=»600″ type=»post»]Matlab 7.10[intlink] en las máquinas del servicio.   Los resultados los presentamos en 3 tablas, la primera es un resumen de los resultados, la segunda son los resultados del bencharmark grande e incluimos una tercera con los mismos benchmark pero parámetros más pequeños para poder comparar con Péndulo.

Tabla 3: Resumen de resultados de los benchmark grandes. El score es la media geométrica de los 3 scores del bechmark grande.
Octave Scilab Matlab
Itanium Opteron Xeon Opteron Xeon Opteron Xeon
Total score 47.6 31.4 14.5 31.6 15.6 22.0 9.5

En resumen, las últimas versiones de Matlab y Octave tienen un rendimiento similar en los nodos Xeon (salvo por la ejecución de loops en Octave, ver más abajo). Scilab es aproximadamente un 50% más lento que los anteriores. En cuanto a las máquinas los nuevos nodos Xeon son mucho más potentes que los Itanium o los Opteron doblándoles en rendimiento (Scilab y Octave han sido compilados y linkados con librerías optimizadas, las versiones instaladas son el doble de rápidas que las versiones binarias instalables).

En la primera tabla resumen vemos la puntuación obtenida por los tres programas en las diferentes máquinas del servicio. Nos centraremos en las máquinas xeon que son las más nuevas. En ellas aparentemente Matlab es el más rápido. No obstante, si miramos detalladamente a los tiempos de ejecución de la tabla 4 vemos que los tiempos de Octave y Matlab son totalmente comparables salvo el benchmark en el que se crea una matriz de Toeplitz (Programation 4) en el que se testea la ejecución de bucles. La tecnología de Matlab permite ejecutar los loops de forma muy rápida mientras que Octave todabía no puede. En este sentido se recomienda en Octave usar operaciones vectoriales o funciones optimizadas en vez de bucles de forma intensiva (Por ejemplo, crear la misma matriz del benchmark en Octave con la función toeplitz(c,r) es casi instantáneo).

Del benchmark pequeño en el que incluímos a Péndulo vemos que obtenemos un rendimiento para Péndulo próximo a los Itanium y Opteron. En Péndulo no se han compilado sino que se han instalado los binarios.

El número de licencias de Matlab es limitado, pero la gratuicidad de Scilab y Octave le confieren ventaja en caso necesitar calcular mucho ya que no hay límite de licencias ni procesos de ejecución..

Tabla 4: Resultados de los benchmark grandes medido en segundos. El score es la media geométrica eliminando el mejor y el peor resultado. Al final se incluye una descripción de los benchmark. ++ tiempos muy largos, no se usan en la media geométrica.
Octave Scilab Matlab
Itanium Opteron Xeon Opteron Xeon Opteron Xeon
Matrix calculation
Matrix calc 1 108.6 35.9 12.8 93.0 33.2 24.5 12.4
Matrix calc 2 49.5 3.8 7.5 9.8 9.3 18.1 13.4
Matrix calc 3 122.3 32.8 25.1 27.8 25.6 24.8 18.4
Matrix calc 4 72.2 137.0 41.5 172.1 80.2 132.8 40.8
Matrix calc 5 37.2 42.5 17.9 40.0 18.0 54.8 18.7
Score 72.9 36.8 17.9 46.9 24.8 32.1 16.6
Matrix functions
Matrix func 1 2.6 1.2 0.5 11.0 0.9 1.7 0.6
Matrix func 2 153.5 99.5 37.2 290.9 71.8 124.0 39.9
Matrix func 3 48.1 50.8 22.1 48.1 21.6 65.8 23.0
Matrix func 4 57.1 72.8 29.1 66.1 29.8 106.5 32.8
Matrix func 5 32.1 42.9 16.1 39.7 16.3 51.0 16.5
Score 44.5 54.1 21.8 50.2 21.9 71.0 23.2
Programation
Programation 1 4.7 2.2 1.4 2.8 1.7 4.7 3.1
Programation 2 48.1 22.2 5.3 18.4 5.7 13.7 6.4
Programation 3 3.9 1.5 0.4 3.7 1.3 1.6 0.6
Programation 4 161.2 76.2 66.1 35.5 35.6 0.1 0.0
Programation 5 ++ ++ ++ ++ ++ ++ ++
Score 33.2 15.5 7.8 13.4 7.0 4.7 2.2
Tabla 5: Resultados de los benchmark pequeños medido en segundos. El score es la media geométrica eliminando el mejor y el peor resultado. Al final se incluye una descripción de los benchmark.
Octave Scilab Matlab
Pendulo Itanium Opteron Xeon Pendulo Opteron Xeon Opteron Xeon
Matrix calculation
Matrix calc 1 2.2 3.1 2.4 1.0 4.3 5.6 2.8 2.1 1.1
Matrix calc 2 0.9 5.2 0.3 0.7 1.1 1.1 0.9 1.2 1.2
Matrix calc 3 1.5 1.8 1.4 1.3 1.9 1.8 1.3 1.0 0.9
Matrix calc 4 1.8 1.8 3.8 1.2 18.4 6.4 2.3 3.0 1.2
Matrix calc 5 1.0 2.5 1.4 0.6 3.5 1.7 0.6 1.6 0.6
Score 1.4 2.4 1.7 0.96 3.1 2.6 1.7 1.6 1.1
Matrix functions
Matrix func 1 0.4 0.63 0.4 0.2 0.9 2.6 0.5 0.8 0.3
Matrix func 2 3.0 3.3 4.3 1.9 7.5 9.4 2.3 4.3 2.0
Matrix func 3 1.1 1.0 1.6 0.7 4.3 1.6 0.6 1.6 0.7
Matrix func 4 1.3 1.3 2.0 0.9 5.2 2.7 0.9 2.3 0.9
Matrix func 5 0.9 0.7 1.2 0.5 3.2 1.6 0.5 1.2 0.5
Score 1.1 1.0 1.6 0.65 4.2 2.2 0.67 1.7 0.66
Programation
Programat. 1 0.5 0.6 0.6 0.4 0.6 0.8 0.5 1.1 0.9
Programat. 2 30.0 2.6 3.9 1.1 4.3 3.5 1.2 2.6 1.3
Programat. 3 0.6 0.3 0.4 0.1 1.0 1.2 0.4 0.3 0.2
Programat. 4 8.2 14.3 7.2 5.8 3.3 3.7 3.2 0.0 0.0
Programat. 5 24.0 27.8 36.0 14.8 67.8 57.4 33.2 38.9 17.5
Score 4.9 2.8 2.6 1.4 2.4 2.5 1.3 0.9 0.58



Descripción de los benchmark.

Matrix calculation
Matrix calc Creation, transp., deformation of a matrix.
Matrix calc Normal distributed random matrix ^1000.
Matrix calc Sorting of random values.
Matrix calc Cross-product matrix (b = a’ * a).
Matrix calc Linear regression over a matrix (c = a b’).
Matrix functions
Matrix func FFT over random values.
Matrix func Eigenvalues of a random matrix.
Matrix func Determinant of a random matrix.
Matrix func Cholesky decomposition of a matrix.
Matrix func Inverse of a random matrix.
Programation
Programation Fibonacci numbers calculation (vector calc).
Programation Creation of a Hilbert matrix (matrix calc).
Programation Grand common divisors of pairs (recursion).
Programation Creation of a Toeplitz matrix (loops).
Programation Escoufier’s method on a matrix (mixed).

Matlab

Maths, Software de Cálculo

Información general

Versión 7.9 (2009b) en los nodos Opteron y 7.12 (2010a) en los Xeon (por temas de compatibilidad)  del versátil programa matemático que incluye cálculo numérico, simbólico, visualización y lenguaje de programación (scripts de Matlab).

Cómo ejecutar Matlab

En modo interactivo (con interfaz gráfica):

Sólo está disponible para arquitectura Opteron y Xeon  por lo que tenéis que usarlo desde Guinness o Maiz, [intlink id=»48″ type=»post»] aquí como conectarse[/intlink].. El interfaz gráfico se puede ejecutar con

matlab

En el sistema de colas

En los scripts para lanzar a las colas usar la línea

/software/bin/matlab < input_file > output_file

donde input_file es el archivo con las ordenes para Matlab y output_file el fichero que recojerá la salida estándar.

Hemos tenido problemas con ficheros .m de más de 169 líneas. De suceder y para evitarlo llamar ha estos programas dentro de otro pequeño programa .m.

Para [intlink id=»19″ type=»post»]lanzar el cálculo[/intlink] a los nodos incluir la directiva opteron para que vaya a este tipo de nodos. Además, sólo existen dos licencias, por el momento, por lo que hemos creado una cola especial para evitar que los trabajos en los nodos mueran en las colas por falta de licencias. Vuestros scripts deben incluir entonces para dirigirlo a los Xeon:

#PBS -q matlab
#PBS -l nodes=1:ppn=1:xeon

o para los Opteron:

#PBS -q matlab
#PBS -l nodes=1:ppn=1:opteron

Benchmarks

Se han realizado unos [intlink id=»606″ type=»post»]benchmark[/intlink] comparando [intlink id=»612″ type=»post»]Octave[/intlink], [intlink id=»606″ type=»post»]Scilab[/intlink] y Matlab.

Toolboxes

Está instalado el toolbox libre Ezyfit.

Está instalado el toolbox de matlab Optimization.

Está instalado el toolbox de matlab Statistics.

Más información

Matlab home page.

Documentación en línea.

Mathematica

Maths, Software de Cálculo

Información general

Versátil programa matemático que incluye cálculo numérico, simbólico, visualización y lenguaje de programación (scripts de Mathematica). En Guinness y sus nodos oxeon está instalada la versión 10.0 y en Arina (en los nodos itanium) y la versión 6.0 dado que no están soportadas versiones posteriores. En el resto de nodos más nuevos la versión 11.2 de Mathematica,

Mathematica incluye paralelismo.

Cómo ejecutar Mathematica

En modo interactivo

El interfaz gráfico se puede ejecutar con

mathematica

la terminal de Mathematica con

math

Nota: Existen ciertos problemas con las fuentes en la interfaz gráfica. Está puede funcionar si se ignoran (cerrar la ventana de error con el botón de aspa), pero los símbolos puede que no se vean correctamente. Para resolverlo hay que instalar localmente en el ordenador personal las fuentes.

En el sistema de colas

En los scripts para lanzar a las colas usar la línea

/software/bin/math < input > output

donde input es el archivo con las ordenes para Mathematica y output el fichero donde se guardará la salida por pantalla.

Más información

Mathematica home page.

Documentación en línea.

Espresso

Quantum Mechanics, Software de Cálculo

Información general

opEn-SourceP ackage for Research in Electronic Structure, Simulation, and Optimization

Versión 6.1  del paquete de programas de cálculo ab-initio de DFT con pseudo-potenciales (ultrasoft y PAW-augmented wave method), desarrollado en DEMOCRITOS National Simulation Center of the Italian INFM.

Consta de un programa de estructura electrónica con base de ondas planas (PW), un programa de dinámica molecular basada en primeros principios (FPMD) y en Car-Parrileno (CP). Incluye también un programa para generar pseudopotenciales y una interfaz gráfica para PW. Existe la versión en serie y la paralela.

Cómo usar

[intlink id=»4493″ type=»post»]Ver apartado como enviar espresso.[/intlink]

Monitorización de los cálculos

Para facilitar el seguimiento y/o control de los cálculos, existen las suiguientes herramientas (sólo si ha sido enviado usando send_espresso):

  • remote_vi: Nos enseña con el editor gvim el *.out del cálculo de espresso.
  • myjobs: Durante la ejecución nos muestra el uso de cpu y memoria (SIZE) de nuestro trabajo, útil para conocer la memoria RAM a solicitar en trabajos posteriores similares.

Benchmark

Presentamos los datos de unos pequeños benchmark de pw.x y ph.x en las máquinas del servicio. Los mejores nodos son los Xeon y escala perfectamente a 32 cores. Parece que se nota que la red de comunicación de los xeon es mejor.

Tabla 1: Tiempos de ejecución de pw.x (versión 4.2.1).
System 8 cores 16 cores 32 cores
Xeon 1405 709 378
Itanium2 2614 1368 858
Opteron 2.4 4320 2020 1174
Core2duo 2.1 – – –
Tabla 2: Tiempos de ejecución de ph.x (versión 4.2.1)
System 8 cores 16 cores 32 cores
Xeon 2504 1348 809
Itanium2 2968 1934 1391
Opteron 2.4 6240 3501 2033
Core2duo 2.1 – – –

Más información

Página de ESPRESSO.

Documentación en línea.

Wiki de ESPRESSO.

STAR-CCM+

Software de Cálculo

Información general

StarCCM+ es un programa de Dinámica de Fluídos.  La versión actual es la 14.04.013. En la arquitectua Itanium la última versión soportada e instalada es la 6.04.

Si se ejecuta Starccm+ en cualquiera de los servidores se abre la aplicación gráfica, en los nodos de cálculo se ha de lanzar mediante [intlink id=»19″ type=»post»]el sistema de colas[/intlink] (sin interfaz gráfica) y realizará el cálculo sin interfaz gráfica.

También esta disponible la aplicación Starview.

Cómo ejecutar

En modo interactivo (interface gráfica)

Los usuarios deberán cerciorarse el poder ejecutar una aplicación gráfica de los servidores del Servicio en sus ordenadores personales. Esto se explica [intlink id=»48″ type=»post»]en la guía de acceso[/intlink] al servicio.

Para abrir la interfaz gráfica de starccm+o starview+ usar:

starccm+
starview+

En el sistema de colas

Para mandar trabajos al [intlink id=»19″ type=»post»]sistema de colas[/intlink] basta ejecutar el comando [intlink id=»233″ type=»post»]qsub en interactivo[/intlink]

qsub

que os preguntará lo necesario para hacerlo, en la primera pregunta la opción 2 es lanzar un cálculo de Starccm+. Este comando selecciona automáticamente los nodos Xeon, los de mejor rendimiento.

Si queréis usar directamente un script para enviarlo a las colas debéis ejecutar en él:

/software/bin/starccm+ -run macro_file.java input_file.sim > log_file.log

con los nombres correspondientes para los ficheros de entrada y el de log. «-run macro_file.java» es opcional. En  este link hay un script de ejemplo, os recomendamos usarlo.  Se tiene licencia de cálculo intensivo para lanzar trabajos en 8 cores en paralelo.

Monitorización de los cálculos

Para monitorizar de forma rápida la convergencia de un cálculo que se está ejecutando en los nodos de cálculo con el identificador de trabajo 1234.arina, por ejemplo, podéis usar el comando:

starccm+_plot 1234

Para abortar limpiamente un cálculo tras la iteración en curso que se está ejecutando, con el identificador de trabajo 1234.arina por ejemplo, podéis usar el comando:

starccm+_abort 1234

También podéis conectaros al nodo a través de la aplicación gráfica, el comando «ni» muestra el nodo en el que se ejecuta vuestro trabajo.

Benchmark

Presentamos los resultados de un benchmark realizado en los xeones de 8 cores del Servicio (procesador E5520 a 2.27 GHz) para analizar el rendimiento de STAR-CCM+, se usó la versión 8.02. Se midieron los tiempos medios por iteración (segundos) en función del número de cores usado.

 

8 cores 16 cores 32 cores
Tiempo por iteración 32.8 14.6 7.6
Aceleración ideal 1 2 4
Aceleración 1 2.2 4.3
Eficiencia 1 112 % 108 %

Primero observamos que STAR-CCM+ escala muy bien cuando aumentamos el número de cores, multiplicar por 2 el número de procesadores reduce a la mitad el tiempo por iteración. De hecho, incluso en este benchmark, observamos un comportamiento superlineal al conseguir eficiencias por encima del 100 %.

Más información

Página web de CD-Adapco.

La interfaz gráfica trae un manual muy completo.

NWchem

Bioquímica, MM/MD, Quantum Mechanics, Software de Cálculo

Información general

Nwchem es un paquete de química computacional con varios métodos para calcular propiedades de sistemas moleculares y periódicos, usando descripciones mecánico-cuánticas estándar para las funciones de onda o la densidad electrónica. Además, puede realizar simulaciones de dinámica molecular y QM/MM. La versión que está instalada es la versión 5.1.

Como mandar NWchem

Ver la sección del sistema de colas [intlink id=»222″ type=»post»]como mandar trabajos NWchem[/intlink].

Más información

Nwchem home page.

VASP

Quantum Mechanics, Software de Cálculo

Información general

Vienna Ab-initio of Simulation Package

Versión 5.4.4 del programa de cálculo ab-initio de DFT con base de ondas planas y pseudo-potenciales (ultrasoft y PAW-augmented wave method), desarrollado en la Universidad de Viena. Permite realizar relajaciones atómicas (dinámica molecular). Incluye las herramientas VTST.

Se requiere licencia.

Cómo usar

Para ejecutar VASP en paralelo basta con ejecutar el comando

/software/bin/vasp

Se encuentra instalado el software de visualización [intlink id=»1353″ type=»post»]p4vasp[/intlink], [intlink id=»5514″ type=»post»]XCrySDen[/intlink]. Para transformar los ficheros y poder ser leidos se puede usar XfsConvert ejecutando

v2xsf

Monitorizar cálculos

Se puede comprobar la convergencia de un cálculo en marcha con el comando

remote_vi JOB_ID

que nos abrirá los ficheros OSZICAR y OUTCAR además de dibujarnos la evolución de la energía y su variación. Es necesario conectarse con ssh -X o usar X2GO para que se abran las ventánas con los gráficos.

Más información

VASP home page y manuales.

VTST tools.

TB-LMTO

Quantum Mechanics, Software de Cálculo

Información general


Tight Binding Linear Muffin-Tin Orbital

Versión 4.6. del programa de cálculo ab-initio de DFT basado en el método linear muffin-tin orbital (LMTO). Es software libre pero requiere de la autorización del autor.

Como usar


Para ejecutar los diversos programas usar por ejemplo:

/software/bin/lm.run

Para poder compilarlo para itanium ha sido necesario reducir la optimización y es sensiblemente más lento que en los opteron y Péndulo. Es un código bastante antiguo y da problemas de memory overflow debido a la gestión particular que hace de la memoria y puede ser necesario recompilarlo para tú sistema.

Benchmark

Presentamos los datos de un pequeño benchmark donde se muestra el comportamiento de los itanium mencionado.

System Segundos
Itanium 1225
Opteron 450
Core2Duo 332

Más información

Página de TB-LMTO.