Μετάβαση στο περιεχόμενο

Περιγραφή

Project Jupyter exists to develop open-source software, open-standards, and services for interactive computing across dozens of programming languages. The Jupyter Notebook is an open-source web application that allows you to create and share documents that contain live code, equations, visualizations and narrative text. Uses include: data cleaning and transformation, numerical simulation, statistical modeling, data visualization, machine learning, and much more.

Jupyter Homepage

Εκκίνηση Jupyter Server στο cluster

Για να χρησιμοποιήσουμε το γραφικό περιβάλλον του Jupyter στην συστοιχία μπορούμε να επισκεφτούμε με έναν browser την σελίδα: https://hpc.auth.gr και να ακολουθήσουμε τα παρακάτω βήματα:

  1. Από το menu επιλέγουμε Interactive Apps -> Jupyter

  2. Στην συνέχεια επιλέγουμε στην φόρμα το χρονικό διάστημα για το οποίο θέλουμε να χρησιμοποιήσουμε το λογισμικό (σε ώρες) και το πλήθος των CPU cores που θα θέλαμε να δεσμευτούν για την εκτέλεση του Jupyter, και υποβάλλουμε την εργασία επιλέγοντας Launch.

    Jupyter Form

  3. Η εργασία χρειάζεται μερικά λεπτά στην κατάσταση Starting για να εκκινήσει τον Juptyer Server. Όταν ο server είναι έτοιμος, η εργασία γίνεται Running. Επιλέγοντας Connect to Jupyter, ανοίγει το περιβάλλον του Jupyter Server σε νέα καρτέλα.

    Jupyter GUI

Χρήση custom Python Virtual Environments

Μπορούμε να ξεκινήσουμε notebooks σε δικά μας python virtual environments, ώστε να μπορούμε να εγκαταστήσουμε τις βιβλιοθήκες που χρειαζόμαστε χωρίς να επηρεάζουμε άλλους χρήστες της συστοιχίας.

  1. Από μενού New στα δεξιά της οθόνης, επιλέγουμε Terminal.

    New Terminal Menu

  2. Στο terminal πληκτρολογούμε τις παρακάτω εντολες για να δημιουργήσουμε ένα περιβάλλον (π.χ myCustomEnv), και να το εγκαταστήσουμε στο μενού του Jupyter. Όσο είμαστε σε terminal με φορτωμένο το environment αυτό, μπορούμε να εγκαταστήσουμε τις βιβλιοθήκες που χρειαζόμαστε.

    mkdir envs
    cd envs
    python -m venv myCustomEnv
    source myCustomEnv/bin/activate
    pip install --upgrade pip
    pip install jupyter
    python -m ipykernel install --user --name my-custom-env --display "My Custom Environment"
    pip install pandas numpy ...
    

    Χρήση υπάρχοντος virtual environment

    Μπορούμε να φορτώσουμε κάποιο virtual environment που έχουμε ήδη δημιουργήσει αντί να φτιάξουμε καινούργιο, αρκεί να περιέχει το πακέτο jupyter.

    source path/to/my/venv/bin/activate
    pip install jupyter
    

    Χρήση terminal εκτός Jupyter Server

    Εάν χρησιμοποιήσουμε κάποιο terminal εκτός του Jupyter Server για την παραπάνω διαδικασία, θα πρέπει πρώτα να τρέξουμε την παρακάτω εντολή.

    module load gcc/9.4.0-eewq4j6 python/3.9.10-ve54vyn
    
  3. Από το μενού New στα δεξιά της αρχικής οθόνης του Jupyter, μπορούμε να δημιουργήσουμε Notebooks που χρησιμοποιούν το environment. Στα Notebooks αυτά θα είναι διαθέσιμα όλα τα πακέτα που εγκαταστήσαμε στο environment.

    Custom Environment in "New" Menu

  4. Μπορούμε να αλλάξουμε περιβάλλον σε υπάρχον notebook από το μενού Kernel > Change Kernel.

    Custom Environment in "New" Menu