Περιγραφή¶

Project Jupyter exists to develop open-source software, open-standards, and services for interactive computing across dozens of programming languages. The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and narrative text. Uses include: data cleaning and transformation, numerical simulation, statistical modeling, data visualization, machine learning, and much more.

Jupyter Homepage

Εκκίνηση Jupyter Server στο cluster¶

Για να χρησιμοποιήσουμε το γραφικό περιβάλλον του Jupyter στην συστοιχία μπορούμε να επισκεφτούμε με έναν browser την σελίδα: https://hpc.auth.gr και να ακολουθήσουμε τα παρακάτω βήματα:

Από το menu επιλέγουμε Interactive Apps -> Jupyter
Στην συνέχεια επιλέγουμε στην φόρμα το χρονικό διάστημα για το οποίο θέλουμε να χρησιμοποιήσουμε το λογισμικό (σε ώρες) και το πλήθος των CPU cores που θα θέλαμε να δεσμευτούν για την εκτέλεση του Jupyter, και υποβάλλουμε την εργασία επιλέγοντας Launch.
Η εργασία χρειάζεται μερικά λεπτά στην κατάσταση Starting για να εκκινήσει τον Juptyer Server. Όταν ο server είναι έτοιμος, η εργασία γίνεται Running. Επιλέγοντας Connect to Jupyter, ανοίγει το περιβάλλον του Jupyter Server σε νέα καρτέλα.

Χρήση custom Python Virtual Environments¶

Μπορούμε να ξεκινήσουμε notebooks σε δικά μας python virtual environments, ώστε να μπορούμε να εγκαταστήσουμε τις βιβλιοθήκες που χρειαζόμαστε χωρίς να επηρεάζουμε άλλους χρήστες της συστοιχίας.

Από μενού New στα δεξιά της οθόνης, επιλέγουμε Terminal.
Στο terminal πληκτρολογούμε τις παρακάτω εντολες για να δημιουργήσουμε ένα περιβάλλον (π.χ myCustomEnv), και να το εγκαταστήσουμε στο μενού του Jupyter. Όσο είμαστε σε terminal με φορτωμένο το environment αυτό, μπορούμε να εγκαταστήσουμε τις βιβλιοθήκες που χρειαζόμαστε.
```
mkdir envs
cd envs
python -m venv myCustomEnv
source myCustomEnv/bin/activate
pip install --upgrade pip
pip install jupyter
python -m ipykernel install --user --name my-custom-env --display "My Custom Environment"
pip install pandas numpy ...
```
Χρήση υπάρχοντος virtual environment

Μπορούμε να φορτώσουμε κάποιο virtual environment που έχουμε ήδη δημιουργήσει αντί να φτιάξουμε καινούργιο, αρκεί να περιέχει το πακέτο jupyter.
```
source path/to/my/venv/bin/activate
pip install jupyter
```
Χρήση terminal εκτός Jupyter Server

Εάν χρησιμοποιήσουμε κάποιο terminal εκτός του Jupyter Server για την παραπάνω διαδικασία, θα πρέπει πρώτα να τρέξουμε την παρακάτω εντολή.
```
module load gcc/13 python/3.11
```
Από το μενού New στα δεξιά της αρχικής οθόνης του Jupyter, μπορούμε να δημιουργήσουμε Notebooks που χρησιμοποιούν το environment. Στα Notebooks αυτά θα είναι διαθέσιμα όλα τα πακέτα που εγκαταστήσαμε στο environment.
Μπορούμε να αλλάξουμε περιβάλλον σε υπάρχον notebook από το μενού Kernel > Change Kernel.