THREDDS à l'IDRIS

Des données stockées à l'IDRIS peuvent être mises à disposition via le Data Server THREDDS (Thematic Real-time Environmental Distributed Data Services) du serveur ESGF (Earth System Grid Federation) de l'Institut Pierre-Simon Laplace (IPSL).

Attention : Ce service administré par l'IPSL est accessible uniquement aux utilisateurs de l'IDRIS affiliés à un des laboratoires membres ou partenaires de l'IPSL. Les demandes d'accès doivent être adressées à l'assistance.

Le chemin vers la racine de votre arborescence THREDDS sur Jean Zay est défini par la variable d'environnement $THREDDSDIR.

Les données ainsi partagées sont accessibles via l'URL : https://thredds-su.ipsl.fr/thredds/catalog/idris_thredds/work/<votre login>/catalog.html.

Ce service remplace le service DODS (Distributed Oceanographic Data Systems) qui était précédemment disponible à l'IDRIS.

L'IDRIS met à disposition sur Jean Zay une commande mfthredds et un jeu de scripts qui permettent de rendre publics des fichiers ou à l'inverse d'en supprimer l’accès. Dans tous les cas, l'option -h permet d'obtenir un résumé de leur syntaxe.

La commande mfthredds permet principalement de rendre un fichier accessible par l'intermédiaire du serveur THREDDS. Cette commande copie un fichier (appartenant à l'utilisateur) vers l'espace disque visible depuis le serveur THREDDS.

Voici un exemple d'utilisation :

 
$ mfthredds Analyse/TS_MO/v5.historicalCMR4_18500101_18591231_1M_TxT.nc
 copy file : /.../rlab001/Analyse/TS_MO/v5.historicalCMR4_18500101_18591231_1M_TxT.nc -> /.../ipsl/dods/pub/rlab001/v5.historicalCMR4_18500101_18591231_1M_TxT.nc

On voit que la commande mfthredds copie par défaut le fichier à la racine de l'espace THREDDS propre à chaque utilisateur. Il est possible de spécifier un sous-répertoire différent avec l'option -d (directory) :

 
$ mfthredds -d mon_rep Analyse/TS_MO/v5.historicalCMR4_18500101_18591231_1M_TxT.nc
 copy file : /.../rlab001/IGCM_OUT/IPSLCM5A-MR/Analyse/TS_MO/v5.historicalCMR4_18500101_18591231_1M_TxT.nc -> /.../ipsl/dods/pub/rlab001/mon_rep/v5.historicalCMR4_18500101_18591231_1M_TxT.nc

Si l'arborescence spécifiée (ici mon_rep) avec l'option -d n'existe pas, alors elle est créée.

La commande mfthredds permet également de retirer immédiatement l'accès à des fichiers en les supprimant de l'espace THREDDS à l'aide de l'option -r (remove), par exemple :

 
$ mfthredds -r /.../ipsl/dods/pub/rlab001/v5.historicalCMR4_18500101_18591231_1M_TxT.nc
 remove file /.../ipsl/dods/pub/rlab001/v5.historicalCMR4_18500101_18591231_1M_TxT.nc

ou, avec un chemin relatif par rapport à votre répertoire THREDDS :

 
$ mfthredds -r mon_rep/v5.historicalCMR4_18500101_18591231_1M_TxT.nc
 remove file /.../ipsl/dods/pub/rlab001/mon_rep/v5.historicalCMR4_18500101_18591231_1M_TxT.nc 

Note : la commande mfthredds accepte les caractères de substitution standards * et ? dans les noms de fichiers.

Ce script permet de copier de façon récursive un répertoire entier vers l'espace THREDDS, en créant au besoin les sous-répertoires nécessaires :

>  thredds_cp PRACE_2-IP/kick_off/ rep/sous_rep

Ce script permet de retirer l'accès à un répertoire entier de l'espace THREDDS, de façon récursive (avec tous ses sous-répertoires).
Attention : éviter de lancer cette commande sur la racine de son espace THREDDS… il n'y a pas de marche arrière possible, il faudra recopier tous les fichiers avec mfthredds ou thredds_cp (si vous en aviez conservé une copie !).

Exemple:

> thredds_rm arbo
 remove file /.../ipsl/dods/pub/rlab001/arbo/alter/native/expcpl_d01_2002.nc 
/.../ipsl/dods/pub/rlab001/arbo/alter/native removed 
/.../ipsl/dods/pub/rlab001/arbo/alter removed 
/.../ipsl/dods/pub/rlab001/arbo removed 

Note : tous les scripts thredds_ acceptent les caractères de substitution standards * et ?.