Project Manager

Το εργαλείο Project Manager είναι διαθέσιμο στο Open OnDemand web portal της συστοιχίας και προσφέρει ένα γραφικό περιβάλλον για την οργάνωση και υποβολή εργασιών στον Αριστοτέλη. Μέσω του Project Manager, μπορείτε να οργανώσετε τα αρχεία σας, τα scripts σας και τα workflows σας, σε ξεχωριστά projects.

Για να το χρησιμοποιήσετε θα πρέπει να συνδεθείτε στο web portal της συστοιχίας και να επιλέξετε από το menu Jobs-> Project Manager όπως φαίνεται στην παρακάτω εικόνα:

Δημιουργία Project

Μπορείτε να δημιουργήσετε ένα νέο project από την αρχική σελίδα του Project Manager επιλέγοντας Create a new Project. Ουσιαστικά, κάθε project αντιστοιχεί σε ένα directory στο $HOME σας, το οποίο θα περιέχει όλα τα αρχεία που αφορούν το συγκεκριμένο project, όπως τα scripts υποβολής, τα αρχεία εισόδου κλπ.

Κατά τη δημιουργία ενός project, θα σας ζητηθεί να ορίσετε το όνομα του project, προαιρετικά το path στο οποίο θα αποθηκευτεί και κάποιες αρχικές ρυθμίσεις. Σε περίπτωση που δεν ορίσετε κάποιο directory, θα δημιουργηθεί αυτόματα στην default τοποθεσία που είναι στο path: $HOME/ondemand/data/sys/dashboard/projects. Μόλις συμπληρώσετε τα απαραίτητα πεδία επιλέξτε τυχαία κάποιο icon και πατήστε Save. Μετά τη δημιουργία του project, αυτό θα εμφανίζεται στην αρχική σελίδα του Project Manager.

Μπορείτε να ανοίξετε το project σας επιλέγοντάς το από τη λίστα των διαθέσιμων projects για να προσθέσετε τα scripts σας ή επιπλέον αρχεία, καθώς και για να υποβάλλετε ή να παρακολουθήσετε την εξέλιξη των εργασιών σας.

Υποβολή εργασιών

Αφού δημιουγήσετε ένα project, μπορείτε να χρησιμοποιήσετε τον Project Manager για την υποβολή εργασιών στη συστοιχία ακολουθώντας τα παρακάτω βήματα:

1) Μεταφέρετε στο directory του project σας τα αρχεία εισόδου και τα scripts υποβολής. Μπορείτε να το κάνετε:

• μέσω web portal, ανοίγοντας το project και επιλέγοντας Open in files apps
• μέσω terminal
• μέσω MobaXterm

2) Δημιουργήστε έναν launcher, επιλέγοντας New Launcher και ορίστε ένα όνομα.

3) Κατά την δημιουργία ενός launcher ορίζονται by default το όνομα του cluster και το script υποβολής. Παρόλα αυτά, πατώντας Edit και στη συνέχεια "Add new option", έχετε τη δυνατότητα να ορίσετε μέσω του launcher κάποια επιπλέον slurm directives για την εργασία σας όπως φαίνεται στην παρακάτω εικόνα:

Επιλέξτε όποιο από αυτά επιθυμείτε , πατήστε Add και στη συνέχεια ορίστε την αντίστοιχη τιμή. Αφού ορίσετε όλα τα directives που θέλετε για την εργασία σας πατήστε Save.

Τα directives αυτά μπορούν να οριστούν και στο script υποβολής, σύμφωνα με τις οδηγίες εδώ. Ο ορισμός τους κατά τη δημιουργία του launcher παρέχετε ως πιο εύκολη εναλλακτική.

Σε περίπτωση που έχετε προσθέσει προηγουμένως κάποιο script, επιλέγεται αυτόματα. Διαφορετικά, δημιουργείται αυτόματα ένα πολύ απλό script που εκτυπώνει τη φράση "Hello World" και προστίθεται στο directory του project. Επιπλέον, αν στο ίδιο directory, έχετε περισσότερα από ένα scripts μπορείτε να ορίσετε αυτό που θέλετε να εκτελέσετε κατά την επεξεργασία του launcher.

4) Για να υποβάλλετε την εργασία σας, πατήστε Launch. Στη συνέχεια, μπορείτε να δείτε αναλυτικά πληροφορίες για την εργασία σας, επιλέγοντας την από τη λίστα των Active Jobs, όπως φαίνεται στην παρακάτω εικόνα:

Workflows

Ο Project Manager παρέχει τη δυνατότητα δημιουργίας workflows, δηλαδή ακολουθιών εργασιών που εκτελούνται με συγκεκριμένη σειρά. Μέσω των workflows μπορείτε να οργανώσετε πολλαπλά βήματα ενός pipeline. Έτσι, κάθε εργασία μπορεί να ξεκινά αυτόματα μόλις ολοκληρωθεί επιτυχώς η προηγούμενη, χωρίς να απαιτείται χειροκίνητη παρέμβαση.

Τα workflows δημιουργούνται μέσα από το project σας πατώντας New Workflow. Στη συνέχεια, θα σας ζητηθεί να ορίσετε ένα όνομα, καθώς και να επιλέξετε ποιοι από τους launchers που έχετε δημιουρήσει στο project επιθυμείτε να περιέχονται στο workflow. Για κάθε εργασία του pipeline σας θα πρέπει να έχετε δημιουργήσει και έναν αντίστοιχο launcher. Τέλος, πατήστε Save.

Μετά τη δημιουργία του workflow, πατήστε show για να ορίσετε τις εξαρτήσεις μεταξύ των εργασιών και να τις υποβάλλετε συνολικά. Μπορείτε να προσθέσετε τους launchers στο workflow, επιλέγοντάς τους από τη λίστα που θα εμφανιστεί αν πατήσετε το πεδίο πάνω αριστερά και στη συνέχεια Add Launcher. Για να δηλώσετε την εξάρτηση δύο διαφορετικών εργασιών, επιλέξτε Connect Launchers και πατήστε τους αντίστοιχους launchers με την επιθυμητή σειρά εκτέλεσής τους. Πατώντας Submit μπορείτε να υποβάλλετε το workflow. Θα εκτελεστούν όλες οι εργασίες που περιέχει με τη σειρά που έχετε ορίσει. Μπορείτε να παρακολουθήσετε την κατάστασή και την εξέλιξή τους από τη λίστα των Active Jobs.

Δημιουργία Project με χρήση templates

Υπάρχει η δυνατότητα να χρησιμοποιήσετε κάποιο από τα υπάρχοντα templates για τη δημιουργία ενός project και την υποβολή εργασιών. Στην αρχική σελίδα του Project Manager επιλέξτε Create a new project from a template και στη συνέχεια στη φόρμα που εμφανίζεται πατώντας Select template θα εμφανιστεί μία λίστα με τα διαθέσιμα templates, όπως φαίνεται στις παρακάτω εικόνες:

Αφού επιλέξετε το template που επιθυμείτε και πατήσετε Save, δημιουργείται το directory του project, το οποίο by default περιέχει ένα script υποβολής και τυχόν αρχεία εισόδου ή άλλα αρχεία. Επιπλέον, δημιουργείται το project το οποίο περιέχει έναν launcher με κάποιες αρχικές ρυθμίσεις. Μπορείτε να επεξεργαστείτε τις ρυθμίσεις του launcher, να δημιουργήσετε νέους, να φτιάξετε workflows, να προσθέσετε scripts και αρχεία στο directory ή να επεξεργαστείτε τα ήδη υπάρχοντα, σύμφωνα με τις παραπάνω οδηγίες, ώστε να προσαρμόσετε το κάθε template στις δικές σας ανάγκες σας.

Shared Projects

Ο Project Manager υποστηρίζει και shared projects, δηλαδή projects που βρίσκονται σε κοινόχρηστα directories και μπορούν να χρησιμοποιηθούν από περισσότερους από έναν χρήστες. Τα projects αυτά είναι ιδιαίτερα χρήσιμα σε περιβάλλοντα συνεργασίας, όπου πολλοί χρήστες εργάζονται πάνω στα ίδια αρχεία, scripts ή workflows.

Η πρόσβαση σε ένα shared project εξαρτάται από τα δικαιώματα του αντίστοιχου directory στο σύστημα αρχείων. Εφόσον έχετε τα κατάλληλα δικαιώματα, μπορείτε να ανοίξετε, να επεξεργαστείτε και να υποβάλετε εργασίες από ένα shared project, όπως ακριβώς και σε ένα προσωπικό project.