Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Συνεχής αποθήκευση και διαλειτουργικότητα συνόψεων στο Synopses Data Engine: ενσωμάτωση σε Λίμνες Γνώσης

Petrou Dimitrios

Πλήρης Εγγραφή

---

Περίληψη

Στην εποχή των μεγάλων δεδομένων, όπου η παραγωγή πληροφοριών σε πραγματικό χρόνο έχει αυξηθεί σε πρωτοφανή επίπεδα, η ικανότητα επεξεργασίας, ανάλυσης και εξαγωγής χρήσιμων συμπερασμάτων με αποτελεσματικό τρόπο θεωρείται απαραίτητη σε πολλές περιπτώσεις χρήσης. Το stream summarization έχει αναδειχθεί ως μια καινοτόμος τεχνική για την αντιμετώπιση αυτής της πρόκλησης, επιτρέποντας τη δημιουργία συμπαγών, αλλά ταυτόχρονα πλούσιων σε πληροφορία, αναπαραστάσεων ροών δεδομένων (data streams), που αποκαλούνται συνόψεις, καταργώντας έτσι την ανάγκη αποθήκευσης τεράστιων όγκων πρωτογενών δεδομένων με σκοπό την μελλοντική επεξεργασία. Μια εξέχουσα προσπάθεια που έχει εκπονηθεί σε αυτό τον τομέα είναι το Synopses Data Engine (SDE), ένα προηγμένο εργαλείο το οποίο ενσωματώνει τεχνικές αιχμής συνδυάζοντας τις συνόψεις με το ευέλικτο περιβάλλον του Apache Flink, παρέχει στον τελικό χρήστη το stream summarization υπό την μορφή υπηρεσίας λογισμικού (SaaS). Το SDE έχει επιβεβαιώσει την αξία του σε οικοσυστήματα μεγάλων δεδομένων στο παρελθόν, ωστόσο η εφαρμογή του σε περιβάλλοντα που προσανατολίζονται στην δημιουργία γνώσης εισάγει νέες απαιτήσεις. Στην εγγενή τους μορφή, οι συνόψεις έχουν μικρό προσδόκιμο ζωής. Η διάρκειά τους εξαρτάται από τον χρόνο εκτέλεσης της διεργασίας που τις δημιούργησε στη μνήμη ενός υπολογιστικού συστήματος. Στο πλαίσιο μιας Λίμνης Γνώσης, όπου τα μακροπρόθεσμα στατιστικά και η διαχρονική διαθεσιμότητα των δεδομένων, είναι ουσιώδους σημασίας, η αδυναμία διατήρησης και επανεξέτασης προηγούμενων καταστάσεων της πληροφορίας θέτει σοβαρούς περιορισμούς. Στόχος αυτής της διπλωματικής εργασίας, είναι να γεφυρώσει αυτό το κενό, επεκτείνοντας τις δυνατότητες του SDE ώστε να ενσωματώνει συνεχή αποθήκευση και ανάκληση συνόψεων μέσω ενός ευέλικτου μηχανισμού δημιουργίας στιγμιοτύπων. Οι συνόψεις έτσι, αποκτούν μακροπρόθεσμο χαρακτήρα ενώ η νέα λειτουργικότητα εγγυάται για τα αρχικά χαρακτηριστικά απόδοσης του SDE. Επιπλέον, η δουλειά αυτή, αναπτύσσει το Streaming API του SDE προκειμένου να παρέχει ευρύτερη παρατηρησιμότητα στην εσωτερική του κατάσταση , επιτρέποντας την εξαγωγή μεταδεδομένων προς τρίτα οικοσύστημα λογισμικού. Το STELAR KLMS (Knowledge Lake Management System) λειτουργεί ως πεδίο εφαρμογής αυτής της εργασίας, όπου το SDE ενσωματώνεται για την επεξεργασία real-time αγροδιατροφικών δεδομένων με σκοπό την καθοδήγηση παρεμβάσεων στην γεωργία ακριβείας.

Διαθέσιμα αρχεία

Υπηρεσίες