Αναφορές χρήσης με το XDMoD

Το XDMoD είναι ένα web-based εργαλείο που μας επιτρέπει να παρακολουθούμε τη χρήση της συστοιχίας Αριστοτέλης, τόσο συνολικά όσο και ανά χρήστη ή partition. Μπορούμε να δούμε πόσες CPU-hours έχουμε καταναλώσει, πόσο χρόνο περιμένουν οι εργασίες μας στην ουρά, καθώς και πώς κατανέμεται η χρήση σε όλη τη συστοιχία, χωρίς να χρειάζεται να τρέξουμε sacct/sreport από τη γραμμή εντολών.

Σύνδεση

Η σύνδεση γίνεται με τους ιδρυματικούς κωδικούς (Single Sign-On) στη διεύθυνση https://xdmod.it.auth.gr, όπου έχουμε πλήρη εικόνα της χρήσης μας μέσα από το dashboard.

Τι δεν καλύπτει (ακόμα) αυτός ο οδηγός

Το πόσο αποδοτικά χρησιμοποίησε μια συγκεκριμένη εργασία τους πόρους που δέσμευσε (per-job breakdown του CPU/memory efficiency) δεν είναι ακόμα διαθέσιμο μέσα από το XDMoD. Για αυτό, μπορούμε να συνεχίσουμε να χρησιμοποιούμε το seff, όπως περιγράφεται στη σελίδα Efficiency εργασιών.

Summary tab (πριν τη σύνδεση)

Το tab Summary δείχνει συγκεντρωτικά στατιστικά για ολόκληρη τη συστοιχία του Αριστοτέλη. Στο πάνω μέρος εμφανίζονται συνοπτικοί μετρητές για μια επιλεγμένη χρονική περίοδο:

• Activity: αριθμός διαφορετικών χρηστών (Users) και project (PIs) που έτρεξαν εργασίες.
• Jobs: συνολικός αριθμός εργασιών που ολοκληρώθηκαν.
• CPU Time: συνολικές CPU-hours που καταναλώθηκαν, καθώς και ο μέσος όρος ανά εργασία.
• Wait Time: ο μέσος χρόνος αναμονής ανά εργασία στην ουρά, πριν ξεκινήσει η εκτέλεση.
• Wall Time: συνολικός και μέσος πραγματικός χρόνος εκτέλεσης ανά εργασία.
• Processors: ο μέγιστος αριθμός πυρήνων που δεσμεύτηκε από μία εργασία, καθώς και ο μέσος όρος ανά εργασία.

Τα γραφήματα που παρέχονται μας δείχουν πώς κατανεμήθηκε η χρήση μέσα στον χρόνο. Αναλυτικότερα:

• Total CPU Hours By Resource (Top 10): δείχνει πόσες CPU-hours καταναλώθηκαν ανά ημέρα, ανά partition/ουρά, με κάθε χρώμα ράβδου να αντιστοιχεί σε διαφορετικό partition, ώστε να φαίνεται άμεσα ποιο partition απορροφά το μεγαλύτερο μέρος του φόρτου.
• Total CPU Hours by Job Size: δείχνει την κατανομή ανά μέγεθος εργασίας, ώστε να φαίνεται αν η συστοιχία χρησιμοποιείται κυρίως από μικρές (σειριακές/λίγων πυρήνων) ή μεγάλες παράλληλες εργασίες.
• Avg Job Size (Core Count): δείχνει τη μέση τιμή πυρήνων ανά εργασία, ανά ημέρα, με ράβδους σφάλματος (error bars) που αποτυπώνουν τη διακύμανση γύρω από τον μέσο όρο.

Χάρη στη διαδραστικότητα του XDMoD, μπορούμε να αλλάξουμε το χρονικό διάστημα, να κάνουμε hover πάνω στις ράβδους για ακριβή νούμερα, ή να χρησιμοποιήσουμε τα Quick Filters για τον περιορισμό των δεδομένων σε συγκεκριμένη χρονική περίοδο.

Usage tab (ανά χρήστη)

Σε αντίθεση με το Summary tab που έδειχνε συνολικά στοιχεία για όλη τη συστοιχία, το tab Usage μας δείχνει προσωπικά στατιστικά για τις δικές μας εργασίες.

Στο πάνω μέρος μπορούμε να ρυθμίσουμε τη χρονική περίοδο μέσω της επιλογής Duration και να εφαρμόσουμε επιπλέον φίλτρα μέσω των Quick Filters.

Το πάνελ Metrics and Options περιέχει μια δενδρική λίστα με όλες τις διαθέσιμες μετρικές (π.χ. CPU Hours, GPU Hours, Job Size, Wait Hours, Wall Hours), οργανωμένες σε κατηγορίες όπως Jobs Summary, Jobs by GPU Count, Jobs by Job Size και Jobs by Job Wait Time. Επιλέγοντας μια μετρική από εκεί, προστίθεται το αντίστοιχο γράφημα στον κεντρικό χώρο.

Ο κεντρικός χώρος εμφανίζει μερικά προεπιλεγμένα γραφήματα με χρονοσειρές, καθένα από τα οποία περιγράφεται στον τίτλο του.

Κάτω από τα γραφήματα, το πάνελ Description εξηγεί αναλυτικά τον ορισμό κάθε μετρικής, κάτι πολύ χρήσιμο όταν θέλουμε να καταλάβουμε ακριβώς τι μετράει ένα γράφημα πριν το ερμηνεύσουμε.

Κάθε γράφημα μπορεί να εξαχθεί σε PNG, SVG, PDF ή CSV (εικονίδιο εξαγωγής πάνω δεξιά στο γράφημα) — χρήσιμο για ενσωμάτωση σε αναφορές ή παρουσιάσεις.

Metric Explorer tab

Το tab Metric Explorer μας δίνει τη δυνατότητα να φτιάξουμε εξατομικευμένα γραφήματα, συνδυάζοντας ελεύθερα μετρικές, ομαδοποιήσεις και φίλτρα.

Οδηγίες για τη δημιουργία νέου γραφήματος:

1. Πατάμε New Chart, επιλέγουμε τον τύπο του γραφήματος και στη συνέχεια τη μορφή απεικόνισης
2. Δίνουμε ένα όνομα στο γράφημα και πατάμε Ok
3. Από το Metric Catalog στα αριστερά, επιλέγουμε έναν realm, και μετά μια μετρική από το δέντρο, προαιρετικά επιλέγοντας και το Group By για να δούμε πώς αναλύεται η μετρική
4. Κάνοντας κλικ σε μια σειρά δεδομένων μέσα στο γράφημα, ανοίγει μενού επεξεργασίας, ενώ κάνοντας κλικ οπουδήποτε αλλού στο γράφημα ανοίγει τα Chart Options

Παράδειγμα: Το παρακάτω γράφημα συνδυάζει τις συνολικές ώρες εκτέλεσης με τον αριθμό ενεργών εργασιών ανά partition. Έτσι μπορούμε να δούμε ταυτόχρονα αν μια αιχμή σε ώρες εκτέλεσης οφείλεται σε λίγες μεγάλες εργασίες ή σε πολλές ταυτόχρονες μικρότερες. Κάνοντας hover πάνω σε οποιοδήποτε σημείο της χρονοσειράς, εμφανίζονται οι ακριβείς τιμές όλων των σειρών για τη συγκεκριμένη ημέρα.

Το Metric Explorer είναι χρήσιμο όταν τα έτοιμα γραφήματα του Usage tab δεν καλύπτουν αυτό που θέλουμε να δούμε, και χρειαζόμαστε πιο εξειδικευμένο συνδυασμό μετρικών ή ομαδοποιήσεων.

Report Generator tab για αυτοματοποιημένες αναφορές

Το tab Report Generator μας επιτρέπει να φτιάξουμε μια αναφορά από πολλαπλά γραφήματα και να τη λαμβάνουμε αυτόματα μέσω email, χωρίς να χρειάζεται να συνδεόμαστε κάθε φορά.

Δημιουργία νέας αναφοράς:

1. Report Generator tab → πατάμε New
2. Εναλλακτικά, το New Based On αντιγράφει μια υπάρχουσα αναφορά ως αφετηρία

Προσθήκη γραφημάτων:

1. Στη δεξιά στήλη Available Charts εμφανίζονται τα γραφήματα που έχουμε φτιάξει στο Usage tab
2. Σύρουμε (drag & drop) όσα θέλουμε στη στήλη Included Charts
3. Για επιλογή πολλαπλών γραφημάτων ταυτόχρονα: Shift+click για εύρος, Ctrl/Cmd+click για μεμονωμένη επιλογή
4. Η σειρά εμφάνισης στην τελική αναφορά ακολουθεί τη σειρά στη λίστα Included Charts
5. Για να αλλάξουμε το χρονικό διάστημα ενός ή περισσότερων γραφημάτων μέσα στην αναφορά επιλέγουμε τα γραφήματα και στη συνέχεια Edit Timeframe of Selected Charts και Update

Job Viewer tab

Το tab Job Viewer μας επιτρέπει να αναζητούμε και να προβάλλουμε μεμονωμένες εργασίες, με στοιχεία όπως ώρα υποβολής/έναρξης/λήξης, χρόνο αναμονής στην ουρά, αριθμό nodes/cores, μνήμη που δεσμεύτηκε, partition, και κατάσταση εξόδου (COMPLETED/FAILED/κ.λπ.).

Είναι χρήσιμο όταν θέλουμε να δούμε γρήγορα το ιστορικό των εργασιών μας ή να καταλάβουμε γιατί μια εργασία καθυστέρησε να ξεκινήσει, χωρίς να χρειάζεται πρόσβαση στο login node.

Ενδεικτικά σενάρια χρήσης

• Παρακολούθηση της δικής σας χρήσης (CPU-hours, αριθμός εργασιών) στο χρόνο.
• Σύγκριση χρόνων αναμονής μεταξύ διαφορετικών partitions πριν αποφασίσετε πού θα υποβάλετε μια εργασία.
• Εντοπισμός των πιο "βαριών" εργασιών σας σε CPU-hours, ως πρώτο βήμα πριν ελέγξετε το efficiency τους με seff.
• Μηνιαία αναφορά μέσω email με τη συνολική σας χρήση, μέσω Report Generator, αντί για χειροκίνητο έλεγχο.