Jean Zay : calculateur Eviden BullSequana XH3000, HPE SGI 8600

• copyright Photothèque CNRS/Cyril Frésillon

Jean Zay est un supercalculateur comportant un partie Eviden BullSequana XH3000 et une partie HPE SGI 8600 formant un total de cinq partitions : une partition contenant des nœuds scalaires (ayant uniquement des CPU) et quatre partitions contenant des nœuds accélérés (nœuds hybrides équipés à la fois de CPU et de GPU). Les nœuds de calcul HPE SGI 8600 sont interconnectés par un réseau Intel Omni-PAth et ceux de l'extension Eviden BullSequana XH3000 sont interconnectés par un réseau Infiniband. L'ensemble des nœuds accède à un système de fichiers partagé à très forte bande passante.

Après trois extensions successives, la puissance crête cumulée de Jean Zay est, depuis juillet 2024, de 125,9 Pétaflop/s.

Pour plus d'information, veuillez consulter notre documentation concernant l'utilisation de cette machine.

L'accès aux diverses partitions hardware de la machine dépend du type de travail soumis (CPU ou GPU) et de la partition Slurm demandée pour son exécution (voir le détail des partitions Slurm CPU et des partitions Slurm GPU).

Sans indiquer de partition CPU ou avec la partition cpu_p1, vous aurez accès aux ressources suivantes :

• 720 nœuds de calcul scalaires avec :
  • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
  • 192 Go de mémoire par nœud

Remarque : suite au décommissionnement de 808 nœuds CPU le 05/02/2024, cette partition est passée de 1528 nœuds à 720 nœuds.

Sans indiquer de partition GPU ou avec la contrainte v100-16g ou v100-32g, vous aurez accès aux ressources suivantes :

• 396 nœuds de calcul accélérés quadri-GPU avec :
  • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
  • 192 Go de mémoire par nœud
  • 126 nœuds avec 4 GPU Nvidia Tesla V100 SXM2 16 Go (avec v100-16g)
  • 270 nœuds avec 4 GPU Nvidia Tesla V100 SXM2 32 Go (avec v100-32g)

Remarque : suite au décommissionnement de 220 nœuds 4-GPU V100 16 Go (v100-16g) le 05/02/2024, cette partition est passée de 616 nœuds à 396 nœuds.

Avec la partition gpu_p2, gpu_p2s ou gpu_p2l, vous aurez accès aux ressources suivantes :

• 31 nœuds de calcul accélérés octo-GPU avec :
  • 2 processeurs Intel Cascade Lake 6226 (12 cœurs à 2,7 GHz), soit 24 cœurs par nœud
  • 20 nœuds à 384 Go de mémoire (avec gpu_p2 ou gpu_p2s)
  • 11 nœuds à 768 Go de mémoire (avec gpu_p2 ou gpu_p2l)
  • 8 GPU Nvidia Tesla V100 SXM2 32Go

Avec la partition gpu_p5 (extension juin 2022 et accessible uniquement avec des heures GPU A100), vous aurez accès aux ressources suivantes :

• 52 nœuds de calcul accélérés octo-GPU avec :
  • 2 processeurs AMD Milan EPYC 7543 (32 cœurs à 2,80 GHz), soit 64 cœurs par nœud
  • 512 Go de mémoire par nœud
  • 8 GPU Nvidia A100 SXM4 80 Go

Avec la partition gpu_p6 (extension été 2024 et accessible uniquement avec des heures GPU H100), vous aurez accès aux ressources suivantes :

• 364 nœuds de calcul accélérés quadri-GPU avec :
  • 2 processeurs Intel Xeon Platinum 8468 (48 cœurs à 2,10 GHz), soit 96 cœurs par nœud
  • 512 Go de mémoire par nœud
  • 4 GPU Nvidia H100 SXM5 80 Go

Avec la partition prepost, vous aurez accès aux ressources suivantes :

• 4 nœuds de pré et post-traitement à large mémoire avec :
  • 4 processeurs Intel Skylake 6132 (12 cœurs à 3,2 GHz), soit 48 cœurs par nœud
  • 3 To de mémoire par nœud
  • 1 GPU Nvidia Tesla V100
  • un disque interne NVMe de 1,5 To

Avec la partition visu, vous aurez accès aux ressources suivantes :

• 5 nœuds de visualisation de type scalaire
  • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
  • 192 Go de mémoire par nœud
  • 1 GPU Nvidia Quatro P6000

Avec la partition compil, vous aurez accès aux ressources suivantes :

• 4 nœuds de pré et post-traitement (voir ci-dessus)
• 3 nœuds de compilation
  • 1 processeur Intel(R) Xeon(R) Silver 4114 (10 cœurs à 2.20GHz)
  • 96 Go de mémoire par nœud

Avec la partition archive, vous aurez accès aux ressources suivantes :

• 4 nœuds de pré et post-traitement (voir ci-dessus)

• Puissance crête cumulée : 36,85 péta-flops (avant le 5/02/2024).
• Un réseau d'interconnexion Intel Omni-PAth 100 Gb/s : 1 lien par nœud scalaire et 4 liens par nœud convergé
• Un système de fichiers parallèle IBM Spectrum Scale (ex-GPFS)
• Un dispositif de stockage parallèle avec des disques SSD d'une capacité de 2,5 Po (GridScaler GS18K SSD) suite à l'extension de l'été 2020.
• Un dispositif de stockage parallèle avec des disques d'une capacité supérieure à 30 Po
• 5 nœuds frontaux
  • 2 processeurs Intel Cascade Lake 6248 (20 cœurs à 2,5 GHz), soit 40 cœurs par nœud
  • 192 Go de mémoire par nœud

• RedHat version 8.6 (depuis le 22/11/2023)
• Slurm version 23.02.6 (depuis le 24/10/2023)

• Compilateurs Intel ifort et icc avec Intel(R) Math Kernel Library ;
• Compilateurs PGI pgfortran et pgcc.

Les dernières nouvelles