Scientific Compute Cluster

Der Betrieb der lokalen HPC-Ressourcen und insbesondere des Scientific Compute Cluster (SCC) bei der GWDG wird durch die transparente Integration verschiedener Systeme in ein gemeinsames Betriebskonzept für die Grundversorgung der Max-Planck-Institute und der Universität erreicht. Dies beinhaltet ein einheitliches Software-Management, eine gemeinsame Batch-Management-Umgebung, systemübergreifendes Monitoring und Abrechnung sowie systemübergreifende Dateisysteme. So werden Synergieeffekte erzielt durch die Integration verschiedener Systemgenerationen und Spezialsysteme (z.B. GPU-Cluster). Die Anwender finden auf allen HPC-Systemen eine einheitliche Umgebung vor, während gleichzeitig individuelle Anwendungsumgebungen unterstützt werden. Dies führt jedoch zu einem sehr heterogenen Cluster, der eine gute Kenntnis der Architekturunterschiede und hochgradig abgestimmte Skripte erfordert.

Die ausführliche Dokumentation zum System, die FAQ, sowie eine Zusammenfassung der ersten Schritte finden Sie online. Nutzen Sie unsere Systeme für Ihre Forschung, beachten Sie bitte auch unsere Danksagungsrichtlinien, falls Die das SCC für Ihre Forschung nutzen.

Systemüberblick

7 Racks

4 Racks auf dem Faßberg sind kaltwassergekühlt. Die beiden GPU-Knoten im MDC sind luftgekühlt. Ein CPU-Rack im MDC ist warmwassergekühlt.

410 Compute Knoten

Der SCC-Cluster enthält eine Kombination aus Xeon Platinum 9242, Broadwell Xeon E5-2650 v4, Haswell Xeon E5-4620 v3, Broadwell Xeon E5-2650 v4 und Xeon Gold 6252 CPUs

18.376 CPU Cores

Verteilt auf alle Rechen- und GPU-Knoten.

100 GBit/s & 56 Gbit/s Interconnect

Das Interconnect für das System am Faßberg wird mit 56GBit/s FDR Infiniband und das MDC-System wird mit 100 GBit/s Omni-Path betrieben.

1,4 TiB GPU RAM

Über alle GPU Knoten hinweg sind 1,4 TiB GPU-Speicher verfügbar.

99 TB RAM

Über alle 410 Knoten hinweg sind 88 TB Speicher verfügbar.

5,2 PiB Speicher

Der BeeGFS-Speicher im MDC-System besteht aus 2 PiB HDD und 100 TiB SSD und 130TiB HDD auf dem Faßberg-System. Das StorNext-Home-Dateisystem ist etwa 3 PiB groß.

22+ PiB Bandspeicher

Der Backup-Speicher wird von Quantum Scalar Tape Libraries bereitgestellt. Zur Gewährleistung zuverlässige Backups zu gewährleisten, werden diese an zwei verschiedenen Orten gespeichert

Icons made by Freepik and phatplus

Knotenarchitekturen

Name	Anzahl Knoten	CPU & GPU	Anzahl CPU-Cores	Arbeitsspeicher [GB]	Partition
amp	95	2 x Xeon Platinum 9242 Architektur Cascade Lake Sockel 2 Kerne 48 Threads 2 Frequenz 3.8 GHZ	48	384	[medium]
amp	1	2 x Xeon Platinum 9242 Architektur Skylake Sockel 2 Kerne 48 Threads 2 Frequenz 3.8 GHZ	48	384	[gailing]
dmp	68	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 Frequenz 2.2 GHZ	12	128	[medium]
dmp	4	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 Frequenz 2.2 GHZ	12	128	[int]
dmp	10	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 Frequenz 2.2 GHZ	12	128	[medium-upsw]
dfa	15	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1	12	512	[fat]
dsu	5	4 x Xeon E5-4620 v3 Architektur Haswell Sockel 4 Kerne 10 Threads 1	10	1536	[fat fat+]
gwde	1	4 x Xeon E7-4809 v3 Architektur Haswell Sockel 4 Kerne 8 Threads 1	8	2048	[fat fat+]
dge	7	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 2 x GTX 1080 CUDA cores 2560 RAM 8192 GB	12	128	[gpu]
dge	8	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 4 x GTX 980 CUDA cores 2560 RAM 4096 GB	12	128	[gpu]
dge	30	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 10 Threads 2 HTT true 4 x GTX 980 CUDA cores 2560 RAM 4096 GB	10	64	[gpu-hub]
gwdo	20	1 x Xeon E3-1270 v2 Architektur Ivy Bridge Sockel 1 Kerne 4 Threads 2 HTT true 1 x GTX 770 CUDA cores 1536 RAM 2048 GB	4	32	[gpu-hub]
dte	10	2 x Xeon E5-2650 v4 Architektur Broadwell Sockel 2 Kerne 12 Threads 1 2 x Tesla K40m CUDA cores 2880 RAM 12 GB	12	128	[gpu]
agt	2	2 x Xeon Gold 6252 Architektur Cascade Lake Sockel 2 Kerne 24 Threads 2 8 x Tesla V100/32 CUDA cores 5120 Tensor cores 640 RAM 32 GB	24	384	[gpu]
agq	14	2 x Xeon Gold 6242 Architektur Cascade Lake Sockel 2 Kerne 16 Threads 2 4 x Quadro RTX5000 CUDA cores 3072 Tensor cores 384 RT cores 48 RAM 16 GB	16	192	[gpu]
em	32	2 x Xeon E5-2640 v3 Architektur Haswell Sockel 2 Kerne 8 Threads 1	8	128	[em]
sa	32	2 x Xeon E5-2680 v3 Architektur Haswell Sockel 2 Kerne 12 Threads 1	12	256	[sa]
hh	7	2 x Epyc 7742 Architektur Rome Sockel 2 Kerne 64 Threads 2 HTT true	64	1024	[hh]
sgiz	13	2 x Xeon Gold 6130 Architektur Skylake Sockel 2 Kerne 16 Threads 1	16	96	[sgiz]
gwdd	8	2 x Xeon E5-2650 v3 Architektur Haswell Sockel 2 Kerne 10 Threads 1 Frequenz 2.3 GHZ	10	64	[]