vLLM

Το vLLM είναι μια open-source βιβλιοθήκη για την αποδοτική εκτέλεση μεγάλων γλωσσικών μοντέλων. Έχει σχεδιαστεί με στόχο την υψηλή απόδοση και την αποτελεσματική αξιοποίηση των διαθέσιμων υπολογιστικών πόρων.

vLLM CPU

H έκδοση με υποστήριξη εκτέλεσης σε CPU, διατίθεται μέσω ενός Apptainer container. Μπορείτε να φορτώσετε το container με την παρακάτω εντολή:

module load vllm/0.33.0-cpu

Μπορείτε να εκτελέσετε κάποιο python script στο περιβάλλον του container με την παρακάτω εντολή:

# vllm-cpu_shell "python <script-name.py>"

vLLM CUDA

Η έκδοση που επιτρέπει την εκτέλεση των μοντέλων με αξιοποίηση καρτών γραφικών NVIDIA μέσω CUDA, διατίθεται μέσω ενός προεγκατεστημένου Python virtual environment. Μπορείτε να το ενεργοποιήσετε με την παρακάτω εντολή:

# module load vllm/0.32.0-cuda

Στη συνέχεια μπορείτε να εκτελέσετε κανονικά κάποιο python script με την παρακάτω εντολή:

# python <script-name.py>

Η έκδοση CUDA προορίζεται για εκτέλεση σε GPU compute nodes. Οι εργασίες πρέπει να υποβάλλονται μέσω Slurm στο κατάλληλο GPU partition.