Περιγραφή¶
Python is a high-level, general-purpose programming language.
Python versions¶
Με την παρακάτω εντολή μπορούμε να δούμε όλες τις κεντρικά εγκατεστημένες εκδόσεις της python
:
$ module spider python
Αφού επιλέξουμε μία έκδοση, μπορούμε να τρέξουμε την εντολή module spider
ώστε να εντοπίσουμε τα modules που θα χρειαστεί να κάνουμε load για να την χρησιμοποιήσουμε. Για παράδειγμα:
$ module spider python/3.10.10
Terminal output
You will need to load all module(s) on any one of the lines below before the "python/3.10.10-abxdifo" module is available to load.
gcc/12.2.0
Help:
The Python programming language.
Επομένως, για να χρησιμοποιήσουμε την python/3.10.10
, θα χρειαστεί να κάνουμε προηγουμένως load το module gcc/12.2.0
. Επομένως, μπορούμε να τρέξουμε την module load
ως εξής:
$ module load gcc/12.2.0 python/3.10.10
Παράδειγμα χρήσης¶
Σε αυτό το παράδειγμα θα δούμε πώς υποβάλλουμε δοκιμαστικά μία εργασία Python
.
Δημιουργούμε ένα Python script
, το οποίο χρησιμοποιεί το built-in module math
και τυπώνει την τετραγωνική ρίζα ενός αριθμού, έστω math_example.py
:
Python script
import math
x = math.sqrt(64)
print(x)
Για την υποβολή της εργασίας, χρησιμοποιούμε το submission script, έστω python-test-case.sh
:
Submission Script
#!/bin/bash
#SBATCH -J python-test-case
#SBATCH -t 01:00
# Load the required modules
module load gcc/12.2.0 python/3.10.10
# Print python version
python -c 'import sys; print(sys.version)'
# Run a python script
python math_example.py
Υποβάλλουμε το παραπάνω script προς εκτέλεση με την εντολή:
$ sbatch python-test-case.sh
Παρακολουθούμε την πορεία της εργασίας με την εντολή squeue
.
Το αναμενόμενο αποτέλεσμα φαίνεται στο αρχείο slurm-*.out
:
Terminal output
3.10.10 (main, Sep 7 2023, 09:23:54) [GCC 12.2.0]
8.0
Κεντρικά εγκατεστημένα Python
packages¶
Για να χρησιμοποιήσουμε κάποιο από τα κεντρικά εγκατεστημένα Python packages, θα χρειαστεί να ενεργοποιήσουμε στο terminal ή στο script υποβολής το αντίστοιχο module:
$ module load gcc/12.2.0 py-jupyter-core
How to find the available packages
Ένας σύντομος τρόπος για να εντοπίσουμε τα κεντρικά διαθέσιμα Python
packages είναι να ενεργοποιήσουμε ένα gcc
module και στην συνέχεια να τρέξουμε την εντολή module avail
:
Module avail
$ module load gcc/12.2.0
$ module avail py-
Python built-in virtual environments (venv
)¶
Για να προσθέσουμε κάποιο Python
package που δεν είναι κεντρικά εγκατεστημένο, είναι προτιμότερο να δημιουργήσουμε ένα virtual environment
.
Info
Τα virtual environments
προσφέρουν την δυνατότητα εγκατάστασης Python packages
σε ξεχωριστό περιβάλλον για κάθε διαφορετικό project. Έτσι, μπορούμε να ενεργοποιούμε το virtual environment
που χρειαζόμαστε κατά περίπτωση. Επίσης, διευκολύνουν την μεταφορά ενός project, καθώς, αφού δημιουργήσουμε ένα python virtual environment
μπορούμε εύκολα να το "αντιγράψουμε" σε άλλο περιβάλλον.
Ο απλούστερος και πιο σύντομος τρόπος να δημιουργήσουμε ένα python virtual environment
είναι είναι να χρησιμοποιήσουμε το built-in venv
module της Python
. Για παράδειγμα, μπορούμε να δημιουργήσουμε και να ενεργοποιήσουμε το environment myenv
ως εξής:
$ module load gcc/12.2.0 python/3.10.10
$ python -m venv myenv
$ source myenv/bin/activate
Στο περιβάλλον που έχουμε δημιουργήσει είναι χρήσιμο να κάνουμε upgrade
τον standard package manager της Python
(pip
) στην latest διαθέσιμη έκδοση, πριν προχωρήσουμε στην έγκατάστση επιπλέον packages.
Upgrade pip
$ pip install --upgrade pip
Για να εγκαταστήσουμε επιπλέον packages στο environment, θα χρησιμοποιήσουμε την εντολή pip install
ως εξής:
Install python packages
$ pip install numpy pandas
$ pip install ray
Για να απενεργοποιήσουμε το python venv
μπορούμε να χρησιμοποιήσουμε την εντολή deactivate
.
Deactivate virtual environment
(myenv) $ deactivate
$
Στην συνέχεια μπορούμε να ενεργοποιήσουμε όποιο virtual environment
επιλέξουμε.
Σημειώνουμε ότι δεν χρειάζεται να προσθέσουμε εκ νέου τα python packages
που έχουμε ήδη εγκαταστήσει σε αυτό.
Activate virtual environment
$ source <virtual_env_name>/bin/activate
Επίσης μπορούμε να πάρουμε μία λίστα των εγκατεστημένων πακέτων με την εντολή pip freeze
. Έτσι, μπορούμε να μεταφέρουμε την εγκατάσταση σε άλλο υπολογιστικό περιβάλλον ή για να δημιουργήσουμε ένα πανομοιότυπο virtual environment
.
Freeze and copy environment
$ pip freeze > requirements.txt
$ python -m venv myenv2
$ source myenv2/bin/activate
(myenv2) $ pip install -r requirements.txt
Μπορούμε να χρησιμοποιήσουμε ένα virtual environment
στις εργασίες που υποβάλλουμε στην υπολογιστική συστοιχία, προσθέτοντας την αντίστοιχη εντολή source <env>/bin/activate
στο script υποβολής της εργασίας.