Jean Zay : calculateur Eviden BullSequana XH3000, HPE SGI 8600

• Opérations en cours liées à l'extension Jean Zay H100

• Extension de Jean Zay : revue de presse 28/03/2024
• Contribution au calcul de l'empreinte carbone de Jean Zay
• Procédure de migration vers les autres centres nationaux suite au décommissionnement de Jean Zay du 05/02/2024
• Extension du supercalculateur Jean Zay à 36,8 PFlop/s

Informations générales

• Présentation de Jean Zay
• Configuration matérielle et logicielle
• Comment demander des heures de calcul sur Jean Zay
• Espaces disques
• Connexion SSH avec des certificats (au lieu des clés SSH)
• Empreintes de clés publiques SSH (serveurs de l'IDRIS)
• Nomadisme : accès en télétravail ou mission
• Recommandations pour les remerciements

Environnement de calcul

• Gestion des mots de passe
• Accès et shells
• Commande module
• Suivi des consommations d'heures
• Modalités de régulation d'heures
• Guide pour logins multi-projets
• Transition entre deux projets
• Les droits ACL (Access Control List)
• Conteneurs : Utilisation de Singularity
• Gestion de bases de données

Compilation CPU

• Appel du système de compilation Intel Fortran et C/C++
• Options principales des compilateurs Intel Fortran et C/C++
• Code parallèle MPI
• Code parallèle OpenMP
• Appel de fonctions C à partir de Fortran
• Appel de procédures Fortran à partir de C
• Utilisation de CMake

Compilation GPU

• Appel du système de compilation NVIDIA/PGI
• Code parallèle OpenACC
• MPI CUDA-aware et GPUDirect

Exécution/Contrôle d'un code CPU

• Partitions Slurm CPU
• Commandes de contrôle des travaux
• Exécution en interactif
• Code séquentiel en batch
• Code parallèle OpenMP en batch
• Code parallèle MPI en batch
• Code parallèle mixte MPI/OpenMP en batch
• Couplage de codes MPMD en batch
• Travaux multi-étapes et en cascade
• Collection de travaux similaires : Job Array
• Allocation mémoire sur les partitions CPU
• Connexion SSH à un nœud de calcul

Exécution/contrôle d'un code GPU

• Partitions Slurm GPU
• Commandes de contrôle des travaux
• Exécution en interactif
• Code mono-GPU en batch
• Code multi-GPU MPI en batch
• Code multi-GPU MPI CUDA-aware et GPUDirect en batch
• Utilisation de CUDA MPS
• Travaux multi-étapes et en cascade
• Collection de travaux similaires : Job Array
• Allocation mémoire sur les partitions GPU
• Connexion SSH à un nœud de calcul

Débogage

• Options de débogage des compilateurs
• Outil Arm de débogage avancé : DDT

Analyse de performances et optimisation

• Outils de mesure de temps
• Bonnes pratiques pour le profilage de code
• Outil Arm de profilage rapide : Performance Reports
• Outil Intel de profilage rapide : APS
• Outil Arm de profilage avancé : MAP
• Outil Intel de profilage avancé : VTune
• Outil Intel de profilage MPI : Itac
• SCALASCA : outil de profilage MPI et OpenMP
• MUST : outil de vérification d'usage de MPI
• Outils de mesure de la mémoire : idrmem
• Outil NVIDIA de profilage : Nsight Systems
• Profilage de codes Python
• Outils de profilage d'applications TensorFlow et PyTorch

Logiciels et bibliothèques CPU

• Python
• Bibliothèques scientifiques
• Logiciels de simulation atomistique
• StarPU sur Jean Zay

Logiciels et bibliothèques GPU et IA

• Bibliothèques scientifiques
• Logiciels de simulation atomistique
• Logiciels pour l'intelligence artificielle
• Environnement Python personnel
• Accès à JupyterHub (JupyterLab, Tensorboard, ...)
• Documentation approfondie pour la recherche en IA

Outils de pré et post-traitement

• Partitions Slurm pré et post-traitement, visu et archive
• Bibliothèques et outils d'entrées/sorties (HDF5, NCO, ...)
• IPSL : THREDDS à l'IDRIS

Outils de visualisation

• Noeuds de visualisation
• Outils de visualisation HPC
• Outils de visualisation IA