******************************************************************** Flash Info de l'IDRIS n°2025-02 (15/01/2025) Hackathon GPU HPC et IA à l'IDRIS en mai 2025 ******************************************************************** Pour la cinquième année consécutive, l'IDRIS organise, conjointement avec NVIDIA, un hackathon GPU HPC et IA. Il aura lieu le 13 mai (à distance) et les 20, 21 et 22 mai 2025 (dans les locaux de l'IDRIS). La date limite d'inscription est fixée au 4 mars. Les hackathons GPU permettent à des équipes de trois ou quatre développeurs ou chercheurs d'améliorer les performances de leurs codes HPC ou IA sous la houlette d'un ou plusieurs mentors, experts en programmation GPU et issus des universités, de laboratoires nationaux, de centres de calcul, d'institutions gouvernementales et de constructeurs. Il n'est pas nécessaire d'être utilisateur de l'IDRIS pour participer à cet événement donc n'hésitez pas à diffuser ce message auprès de vos collègues. Vous aurez à cette occasion accès aux ressources de calcul de l'IDRIS, afin de pouvoir tester votre code sur des GPU récents allant jusqu'aux NVIDIA H100. Pour les projets HPC, il peut aussi bien s'agir de commencer le portage d'un code sur GPU en utilisant OpenACC, OpenMP, Kokkos, des bibliothèques GPU, CUDA, etc que d'optimiser une implémentation GPU existante. Dans le cas d'un code de taille importante, il est recommandé de préparer une mini-application représentative pour pouvoir être plus efficace pendant l'événement. Pour les projets d'IA, ce hackathon offre une occasion unique d’explorer le finetuning, le développement ou l’évaluation de modèles de pointe tels que les LLM et les applications GenAI. Vous pourrez optimiser vos modèles grâce à des techniques avancées comme la précision mixte, la parallélisation multi-GPU ou multi-nœuds (DDP, PP, TP, CP), en utilisant des frameworks de base comme PyTorch ou TensorFlow, ou des outils spécialisés tels que DeepSpeed, Megatron-LM, Nanotron ou encore NVIDIA NeMo. Bien qu'un préentraînement complet soit hors de portée dans la durée du hackathon, préparer un code de préentraînement pour des modèles de grande échelle reste possible. L'inscription se fait via la page de l'évènement (en anglais) : https://www.openhackathons.org/s/siteevent/a0CUP00000sO9LV2A0/se000364. -------------------------------------------------------------------- IDRIS is organizing a HPC and AI GPU Hackathon together with NVIDIA. The Hackathon will be held on May 13th 2025 (remotely) and from May 20th through May 22nd (on site at IDRIS). The application deadline is March 4th 2025. GPU Hackathons provide opportunities for teams of three or four developers and researchers to accelerate their HPC or AI codes under the guidance of expert mentors from universities, national labs, computing centers, governmental institutions and hardware manufacturers in a collaborative environment. The event is open to everyone even if you are not already a user of IDRIS computing resources so feel free to forward this message to your colleagues. During the Hackathon, you will be provided with access to the computing resources of IDRIS, in order to be able to benchmark your code on recent GPUs, including NVIDIA H100s. For HPC projects, it could be the opportunity to start porting a code to GPU using OpenACC, OpenMP, Kokkos, GPU libraries, CUDA, etc or to optimize an existing GPU implementation. If your codebase is large in size, we recommend selecting and extracting a representative mini-app from the original application in order to be more efficient during the Hackathon. For AI projects, it will be the occasion to explore finetuning, developing or evaluating cutting-edge models such as LLMs or GenAI applications. You will be able to improve your models thanks to advanced techniques like mixed precision, multi-GPU or multi-node parallelization (DDP, PP, TP, CP), by using standard frameworks such as PyTorch or TensorFlow, or specialized tools like DeepSpeed, Megatron-LM, Nanotron or NVIDIA NeMo. Even though a full pretraining cannot be achieved in the time frame of the Hackathon, you can get a pretraining code ready for large scale models. Please register on https://www.openhackathons.org/s/siteevent/a0CUP00000sO9LV2A0/se000364.