********************************************************************
Flash Info de l'IDRIS n°2024-18 (16/07/2024)

Migration du STORE les 22 et 23 juillet

********************************************************************

[English version below]

Bonjour,

L'espace disque STORE sera complètement indisponible lundi 22 et mardi 23 juillet afin d'en 
effectuer la migration vers le nouveau système de stockage Lustre installé dans le cadre de 
l'extension H100 de Jean Zay et de l'agrandissement de l'espace WORK. Veillez donc bien à ne pas 
soumettre de travaux utilisant le STORE pendant cette période (les autres travaux pourront 
continuer à s'exécuter normalement).

Comme annoncé le 18 juin, une modification des modalités d'accès au STORE aura lieu à cette 
occasion. Il ne sera plus possible d'accéder à cet espace depuis les nœuds de calcul. L'accès au 
STORE sera rétabli mardi 23 juillet en fin de journée UNIQUEMENT sur les nœuds de connexion et 
sur les partitions "prepost", "visu", "compil" et "archive".

Jusqu'à fin août, il restera possible d'accéder en lecture seule à l'ancien espace STORE en 
utilisant la variable d'environnement "$OLDSTORE". Cette modalité d'accès sera à privilégier dans 
les semaines qui suivront l'opération de migration. En effet, les données du nouveau STORE seront 
alors uniquement disponibles sur bandes magnétiques ce qui pourra très fortement ralentir l'accès 
aux données (jusqu'à plusieurs heures), le temps de repeupler le cache sur disques rotatifs avec 
les données les plus récemment utilisées. Notez que cette nouvelle variable d'environnement est 
déjà positionnée afin que vous puissiez anticiper la modification de vos scripts.

Pour rappel, le STORE est un espace dédié au stockage pérenne et sécurisé de données archivées. 
Actuellement, il existe une redondance de l'ensemble des données, stockées à la fois sur disques 
rotatifs et sur bandes magnétiques. La présence de la donnée sur disques rotatifs permet une 
lecture/écriture relativement rapide de celle-ci. À l'avenir, seules les données les plus récemment 
utilisées seront disponibles sur le cache sur disques rotatifs (toujours avec une copie de sécurité 
sur bandes magnétiques).
Le reste des données sera uniquement stocké sur bandes magnétiques (avec deux copies sur des bandes
différentes pour garantir la sécurisation des données) avec des temps d'accès beaucoup plus longs,
incompatibles avec un usage direct depuis des calculs.

Nous vous invitons dès à présent à modifier vos scripts de soumission si vous accédez directement à
l'espace STORE depuis les nœuds de calcul. Pour vous guider, des exemples ont été ajoutés à la fin
de notre documentation sur les travaux multi-étapes : 
     http://www.idris.fr/jean-zay/cpu/jean-zay-cpu-exec_cascade.html

Cordialement,
L'équipe support de l'IDRIS

--------------------------------------------------

Dear Jean Zay users,

The STORE disk space will be totally unavailable on Monday July 22nd and Tuesday July 23rd in order 
to migrate its data onto the new Lustre storage system installed in the framework of the Jean Zay H100
extension and the enlargement of the WORK disk space. Please make sure you do not submit any jobs using
the STORE during this time (other jobs will continue to run normally).

As announced on June 18th, a change in the STORE access policy will take place after the migration, in
that it won't be possible anymore to access this disk space from compute nodes. In turn, access to the
STORE disk space will be again possible starting from Tuesday July 23rd evening, but only from login
nodes and from the "prepost", "visu", "compil" and "archive" partitions.

Until the end of August, it will remain possible to access the old STORE using the "$OLDSTORE" 
environment variable. This way to access your archived data will be recommended in the weeks following 
the migration.
Indeed, the data on the new STORE will first be available only on magnetic tape (with long access times,
possibly up to several hours), while the rotating disk cache will be repopulated with the most recently
used data. Note that this new environment variable is already defined so that you can modify your scripts
in advance.

As a reminder, the STORE is a disk space dedicated to long term secured storage of archived data. In the
current system, all the data is redundantly stored on rotating disks ("cache") and magnetic tapes, and
its availability on rotating disks enables a relatively fast read/write access time. In the future, only
the most recently used data will be available on the rotating disk cache, with a security copy on the
magnetic tapes. The remainder of the data will be stored only on magnetic tapes (with a double copy on
different tapes to guarantee its security) with a much longer access time, incompatible with a direct
usage from compute nodes.

We invite you to change your submission scripts if you currently access the STORE space directly from
the compute nodes. In order to help you, several examples have been added at the end of the multi-step
jobs documentation:
     http://www.idris.fr/eng/jean-zay/cpu/jean-zay-cpu-exec_cascade-eng.html.

Best regards,
The IDRIS support team