Table des matières

DLO-JZ (Deep Learning Optimisé sur Jean Zay)

Responsable :

Bertrand Cabot

Objectif :

Cette formation a pour objectif de passer en revue les principales techniques actuelles d'optimisation d'un apprentissage machine en Deep Learning, avec pour but le passage à l'échelle sur un supercalculateur. Les problématiques associées d'accélération et de distribution sur plusieurs GPU seront abordées, d'un point de vue système et algorithmique.

Public concerné :

Cette formation s'adresse aux utilisateurs et utilisatrices IA de Jean Zay ou aux personnes qui maîtrisent les fondamentaux du Deep Learning et qui souhaitent se former aux enjeux du passage à l'échelle.

Pré-requis :

Les pré-requis nécessaires sont :

  • maîtriser les notions de l'apprentissage en Deep Learning
  • maîtriser Python
  • avoir des bases en PyTorch pour le bon déroulement des TP

Durée et modalités :

Cette formation dure 4 jours, de 9h30 à 18h (au plus tard).
Elle a lieu uniquement en présentiel dans les locaux de l'IDRIS à Orsay (91).

Assistance :

maximale : 16 personnes ; minimale : 10 personnes

Contenu de la formation :

Cette formation est dédiée au passage à l'échelle multi-GPU de l'entraînement d'un modèle en Deep Learning. Le fil conducteur des aspects pratiques de la formation est la mise à l'échelle optimisée (accélération, distribution) d'un entraînement de modèle sur la base de données Imagenet, en PyTorch. Pour cela, les participant·e·s seront amené.e.s à coder et soumettre leurs calculs sur Jean Zay en appliquant les différentes notions abordées pendant les parties de cours.

Plan :

Jour 1

  • Présentation de la formation DLO-JZ
  • Le supercalculateur Jean Zay
  • Les enjeux de la montée à l'échelle
  • L'accélération GPU
  • La précision mixte
  • L'optimisation des formats de tenseur (channels last memory format)

Jour 2

  • Entraînement distribué : notions générales et parallélisme de données
  • Profiler PyTorch
  • Optimisation du prétraitement des données sur CPU (DataLoader)

Jour 3

  • Le stockage et le format des données d'entrée (webdataset)
  • Les outils de visualisation d'entraînement (TensorBoard, MLflow, Weight and Biases,…)
  • Les techniques d'entraînement large batches (lr scheduler, optimiseurs large batches,…)
  • Les techniques d'optimisation de recherche des hyperparamètres

Jour 4

  • La compilation (JIT)
  • Les bonnes pratiques (petits modèles)
  • Les différents parallélismes de modèle
  • Les API pour les parallélismes de modèle

Équipement :

Les parties pratiques se dérouleront sur le supercalculateur Jean Zay de l'IDRIS.

Les supports de cours ne sont pas fournis au format papier. Ils sont disponibles sur notre site web : http://www.idris.fr/formations/dlo-jz/

Intervenants :

S’inscrire à cette formation :

Pour vous inscrire à cette formation, contactez CNRS Formation Entreprises : .

Accéder à la fiche de cette formation dans le catalogue CNRS Formation entreprises : https://cnrsformation.cnrs.fr/deep-learning-optimise-sur-supercalculateur?axe=160

Si vous êtes personnel du CNRS ou d'une université française, votre inscription est gratuite via notre serveur : https://cours.idris.fr