Μετάβαση στο περιεχόμενο

Περιγραφή

ReLERNN uses deep learning to infer the genome-wide landscape of recombination from as few as four individually sequenced chromosomes, or from allele frequencies inferred by pooled sequencing.

ReLERNN 1.0.0 (Ampere partition)

Το script υποβολής μίας εργασίας που χρησιμοποιεί το ReLERNN θα έχει την ακόλουθη μορφή:

SLURM submission script 
#!/bin/bash
#SBATCH --job-name=ReLERNN-1.0.0-ampere-case
#SBATCH --partition=ampere
#SBATCH --ntasks=16
#SBATCH --gres=gpu:1
#SBATCH --time=3:00:00

module load centos8 gcc/11.2.0 miniconda3/4.10.3 cudnn/8.7.0.84-11.8
source $CONDA_PROFILE/conda.sh
conda activate /mnt/apps/prebuilt/ReLERNN/ampere_env
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib
export XLA_FLAGS="--xla_gpu_cuda_data_dir=$CONDA_PREFIX/lib"

./example_pipeline_altered.sh
./example_pipeline_pool_altered.sh

Στο $HOME μας στο login node, δημιουργούμε ένα νέο φάκελο όπου τοποθετούμε τα αρχεία εισόδου και το script υποβολής της εργασίας, έστω ReLERNN-1.0.0-ampere-case.sh.

# mkdir ReLERNN-1.0.0-ampere-case
# cd ReLERNN-1.0.0-ampere-case

Ως είσοδο στο παραπάνω παράδειγμα, αλλάξαμε λίγο τα παραδείγματα που παρέχονται μαζί με το λογισμικό. Για να το εκτελέσετε, από το φάκελο ReLERNN-1.0.0-ampere-case δίνετε την εντολή:

# cp /mnt/apps/prebuilt/ReLERNN/examples/* .

ΠΡΟΣΟΧΗ

Για να εκτελεστεί σωστά το ReLERNN, πρέπει οπωσδήποτε να δίνουμε την παράμετρο --t ${SLURM_NTASKS}, όπως φαίνεται και στο περιεχόμενο των example_pipeline_altered.sh και example_pipeline_pool_altered.sh.

Η υποβολή της εργασίας γίνεται με την εντολή sbatch <filename.sh> ως εξής:

# sbatch ReLERNN-1.0.0-ampere-case.sh

Παρακολουθούμε με την εντολή squeue την εξέλιξη της εργασίας.

Eφόσον η εργασία έχει εκκινήσει μπορούμε να ελέγχουμε την πρόοδο της επίλυσης μέσω των αρχείων εξόδου. Π.χ.:

# tail -f *.out

ReLERNN 1.0.0 (GPU partition)

Το script υποβολής μίας εργασίας που χρησιμοποιεί το ReLERNN θα έχει την ακόλουθη μορφή:

SLURM submission script 
#!/bin/bash
#SBATCH --job-name=ReLERNN-1.0.0-gpu-case
#SBATCH --partition=gpu
#SBATCH --ntasks=10
#SBATCH --gres=gpu:1
#SBATCH --time=20:00

module load gcc/12.2.0 miniconda3/4.10.3 cudnn/8.4.0.27-11.6
source $CONDA_PROFILE/conda.sh
conda activate /mnt/apps/prebuilt/ReLERNN/gpu_env
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib
export XLA_FLAGS="--xla_gpu_cuda_data_dir=$CONDA_PREFIX/lib"

./example_pipeline_altered.sh
./example_pipeline_pool_altered.sh

Προσέξτε ιδιαιτέρως τη διαφορά στα προαπαιτούμενα module και στο conda environment. Κατά τα άλλα, η περίπτωση είναι παρόμοια με το ampere partition.

Προσθήκη επιπλέον πακέτων στο environment

Πολλές φορές χρειαζόμαστε πακέτα πέραν όσων περιέχονται στο έτοιμο environment για το ReLERNN. Τότε θα πρέπει να αντιγράψουμε τοπικά το εν λόγω περιβάλλον ώστε να μπορούμε έπειτα να το επεξεργαστούμε. Για παράδειγμα, για το ampere partition θα ενεργοποιούσαμε το περιβάλλον /mnt/apps/prebuilt/ReLERNN/ampere_env. Στη θέση της εντολής

# conda activate /mnt/apps/prebuilt/ReLERNN/ampere_env

θα χρησιμοποιήσουμε τις εντολές

# conda create --clone /mnt/apps/prebuilt/ReLERNN/ampere_env -n newEnv
# conda activate newEnv

οι οποίες δημιουργούν και ενεργοποιούν ένα νέο περιβάλλον newEnv στο φάκελο όπου βρισκόμαστε. Το newEnv είναι όμοιο με το έτοιμο περιβάλλον για το ReLERNN και μπορούμε πλέον να το διαμορφώσουμε όπως θέλουμε, δίνοντας conda install <όνομα πακέτου> για τα πακέτα που χρειαζόμαστε.

Περισσότερες πληροφορίες για τη χρήση του conda θα βρείτε εδώ.