Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/9ACB7095-6536-4C36-BDC0-538E8F77DF88 | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.97531 | - |
| Γλώσσα | en | - |
| Μέγεθος | 266 pages | en |
| Μέγεθος | A4 (210mm x 297mm) | en |
| Τίτλος | Time-series analysis using machine learning methods | en |
| Τίτλος | Ανάλυση χρονοσειρών με μεθοδολογίες μηχανικής μάθησης | el |
| Δημιουργός | Paraskakis Nikolaos | en |
| Δημιουργός | Παρασκακης Νικολαος | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Christopoulos Dionysios | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Χριστοπουλος Διονυσιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Liavas Athanasios | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Λιαβας Αθανασιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Zervakis Michail | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Ζερβακης Μιχαηλ | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περιγραφή | A thesis submitted in the School of Electrical and Computer Engineering of the Technical University of Crete in fulfillment of the requirements for the diploma of Electrical and Computer Engineer | en |
| Περιγραφή | Διπλωματική Εργασία που υποβλήθηκε στη Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του Πολυτεχνείου Κρήτης για την πλήρωση των προϋποθέσεων λήψης του διπλώματος Ηλεκτρολόγου Μηχανικού και Μηχανικού Υπολογιστών. | el |
| Περίληψη | This diploma thesis explores the application of machine learning techniques to time-series analysis, focusing on the yearly number of sunspots dataset. The introduction begins with a presentation of fundamental concepts in time-series analysis, encompassing stochastic processes, correlation, stationarity, heteroscedasticity, and time-series decomposition methods. The thesis then delves into crucial aspects of time-series forecasting, including dataset splitting, cross-validation, evaluation metrics, and various forecasting strategies, emphasizing both one-step and multi-step forecasting. A key focus of this research is the examination of non-linear data transformations and their role in enhancing model predictive performance by achieving desirable properties of the transformed dataset, such as normality and stationarity. The study also investigates the advanced machine learning methods of Gaussian Processes (GPs), Gradient Boosting Decision Trees (GBDT), and Long Short-Term Memory (LSTM) neural networks in the context of time-series forecasting. A comparative analysis which examines the strengths and weaknesses of each of these methods is presented. This thesis contains a case study which involves the analysis and forecasting of the yearly number of sunspots. First, we take advantage of GPs, which constitute a probabilistic non-parametric regression framework. We use a constant mean function and an exponential multiplied by a periodic covariance kernel, while assuming independent and identically distributed Gaussian noise, and Gaussian likelihood of the data. To square with these assumptions, we apply the kappa-logarithmic transformation (Kaniadakis G., 2009), that accounts for the skewness, heteroscedasticity, and non-negativity of the sunspot data. Then, we train the model on the transformed data and optimize its hyperparameters using maximum likelihood estimation (MLE). Next, we utilize the algorithm of LightGBM (Light Gradient Boosting Machine), which is a gradient-boosting framework of regression trees, that is well-known for its efficiency and accuracy. The tuning of hyperparameters is carried out using Bayesian optimization with the goal to minimize the validation loss. Finally, we implement an LSTM model with multiple layers capable of forecasting the yearly number of sunspots, and optimize its hyperparameters using grid search with the objective of minimizing the validation loss. LSTM is an especial form of recurrent neural network (RNN), which comprise a deep learning architecture, capable of capturing long-term dependencies and complex patterns. It consists of four gates (input, forget, candidate, and output) responsible for information flow. GP regression excels in interpretability, delivers uncertainty estimates along with point estimates, and can capture complex patterns using different kernels. However, it requires the computationally intensive inversion of large covariance matrices (large dataset). LSTM performs well in capturing long-term dependencies, but it needs large amounts of data, time, and resources for tuning and training, and it suffers from error accumulation on long-term predictions. LightGBM can capture complex patterns as well, and it is more computationally efficient, making its training faster. In conclusion, this thesis provides insights into the performance and characteristics of three powerful machine learning methods, which produce competitive predictions of the yearly number of sunspots. Our findings collectively mark a significant stride in the application of advanced machine learning techniques to forecast and analyze time-series data across diverse disciplines. | en |
| Περίληψη | Αυτή η διπλωματική εργασία διερευνά την εφαρμογή των τεχνικών μηχανικής μάθησης στην ανάλυση χρονοσειρών, εστιάζοντας στο σύνολο δεδομένων του ετήσιου αριθμού των ηλιακών κηλίδων. Η εισαγωγή ξεκινά με μια παρουσίαση θεμελιωδών εννοιών στην ανάλυση χρονοσειρών, που περιλαμβάνει στοχαστικές διαδικασίες, συσχέτιση, στασιμότητα, ετεροσκεδαστικότητα, και μεθόδους αποσύνθεσης χρονοσειρών. Στη συνέχεια, η διατριβή εμβαθύνει σε κρίσιμες πτυχές της πρόβλεψης χρονοσειρών, συμπεριλαμβανομένου του διαχωρισμού δεδομένων, της διασταυρωτικής επικύρωσης, των μετρικών αξιολόγησης, και διαφόρων στρατηγικών πρόβλεψης, δίνοντας έμφαση τόσο στην πρόβλεψη ενός βήματος όσο και στην πρόβλεψη πολλαπλών βημάτων. Βασικό μέρος αυτής της έρευνας αποτελεί η εξέταση των μη γραμμικών μετασχηματισμών στα δεδομένα και ο ρόλος τους στη βελτίωση της προγνωστικής απόδοσης του μοντέλου, επιτυγχάνοντας επιθυμητές ιδιότητες του μετασχηματισμένου συνόλου δεδομένων, όπως είναι η κανονικότητα και η στασιμότητα. Η μελέτη διερευνά, επίσης, τις προηγμένες μεθόδους μηχανικής μάθησης των Γκαουσιανών Διαδικασιών (GPs), Δέντρων Απόφασης Ενίσχυσης Κλίσης (GBDT) και Νευρωνικών Δικτύων Μακράς Βραχύχρονης Μνήμης (LSTM) στο πλαίσιο της πρόβλεψης χρονοσειρών. Παρουσιάζεται μια συγκριτική ανάλυση που εξετάζει τα δυνατά και τα αδύναμα σημεία καθεμιάς από αυτές τις μεθόδους. Αυτή η διατριβή περιέχει μια μελέτη περίπτωσης που περιλαμβάνει την ανάλυση και πρόβλεψη του ετήσιου αριθμού ηλιακών κηλίδων. Πρώτον, εκμεταλλευόμαστε τις GPs, οι οποίες αποτελούν ένα πιθανοκρατικό μη παραμετρικό πλαίσιο παλινδρόμησης. Χρησιμοποιούμε μια σταθερή συνάρτηση μέσης τιμής και έναν εκθετικό πολλαπλασιαζόμενο με έναν περιοδικό πυρήνα συνδιακύμανσης, ενώ υποθέτουμε ανεξάρτητο και πανομοιότυπα κατανεμημένο Γκαουσιανό θόρυβο και Γκαουσιανή πιθανοφάνεια των δεδομένων. Για να συμβαδίζουμε με αυτές τις υποθέσεις, εφαρμόζουμε τον κάπα-λογαριθμικό μετασχηματισμό (Κανιαδάκης Γ., 2009), που διορθώνει την ασυμμετρία, την ετεροσκεδαστικότητα και λαμβάνει υπόψη του τη μη αρνητικότητα των δεδομένων των ηλιακών κηλίδων. Στη συνέχεια, εκπαιδεύουμε το μοντέλο στα μετασχηματισμένα δεδομένα και βελτιστοποιούμε τις υπερπαραμέτρους του χρησιμοποιώντας την εκτίμηση μέγιστης πιθανοφάνειας (MLE). Στη συνέχεια, χρησιμοποιούμε τον αλγόριθμο του LightGBM, ο οποίος αποτελεί ένα πλαίσιο δέντρων παλινδρόμησης ενίσχυσης κλίσης, που είναι γνωστό για την αποδοτικότητα και την ακρίβειά του. Η προσαρμογή των υπερπαραμέτρων πραγματοποιείται με χρήση Μπαϋεσιανής βελτιστοποίησης με στόχο την ελαχιστοποίηση του σφάλματος επικύρωσης. Τέλος, αξιοποιούμε ένα μοντέλο LSTM με πολλαπλά στρώματα ικανά να προβλέψουν τον ετήσιο αριθμό των ηλιακών κηλίδων και επιλέγουμε τις υπερπαραμέτρους του χρησιμοποιώντας την αναζήτηση πλέγματος με στόχο την ελαχιστοποίηση του σφάλματος επικύρωσης. Το LSTM είναι μια ειδική μορφή αναδρομικού νευρωνικού δικτύου (RNN), το οποίο περιλαμβάνει μια αρχιτεκτονική βαθιάς μάθησης, ικανή να συλλαμβάνει μακροχρόνιες εξαρτήσεις και πολύπλοκα μοτίβα. Αποτελείται από τέσσερις πύλες (input, forget, candidate και output) υπεύθυνες για τη ροή της πληροφορίας. Η παλινδρόμηση χρησιμοποιώντας GPs υπερέχει στην ερμηνευσιμότητα, παρέχει εκτιμήσεις αβεβαιότητας παράλληλα με τις σημειακές εκτιμήσεις, και μπορεί να καταγράψει πολύπλοκα μοτίβα χρησιμοποιώντας διαφορετικούς πυρήνες συνδιακύμανσης. Ωστόσο, απαιτεί την υπολογιστικά έντονη αντιστροφή μεγάλων πινάκων συνδιακύμανσης (μεγάλο σύνολο δεδομένων). Το LSTM αποδίδει καλά στην καταγραφή μακροχρόνιων εξαρτήσεων, αλλά χρειάζεται μεγάλο όγκο δεδομένων, χρόνου και πόρων για την προσαρμογή των παραμέτρων και την εκπαίδευση, ενώ επίσης υποφέρει από συσσώρευση σφαλμάτων σε μακροπρόθεσμες προβλέψεις. Το LightGBM μπορεί επίσης να καταγράψει πολύπλοκα μοτίβα και είναι πιο αποδοτικό υπολογιστικά, καθιστώντας την εκπαίδευσή του ταχύτερη. Συμπερασματικά, αυτή η διατριβή παρέχει πληροφορίες για την απόδοση και τα χαρακτηριστικά τριών ισχυρών μεθόδων μηχανικής μάθησης, οι οποίες παράγουν ανταγωνιστικές προβλέψεις για τον ετήσιο αριθμό των ηλιακών κηλίδων. Τα ευρήματά μας συλλογικά σηματοδοτούν ένα σημαντικό βήμα στην εφαρμογή προηγμένων τεχνικών μηχανικής μάθησης με σκοπό την πρόβλεψη και την ανάλυση δεδομένων χρονοσειρών σε διάφορους κλάδους. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2023-10-02 | - |
| Ημερομηνία Δημοσίευσης | 2023 | - |
| Θεματική Κατηγορία | Βελτιστοποίηση | el |
| Θεματική Κατηγορία | Optimization | en |
| Θεματική Κατηγορία | Artificial intelligence | en |
| Θεματική Κατηγορία | Τεχνητή νοημοσύνη | el |
| Θεματική Κατηγορία | Machine learning | en |
| Θεματική Κατηγορία | Μηχανική μάθηση | el |
| Θεματική Κατηγορία | Ηλιακές κηλίδες | el |
| Θεματική Κατηγορία | Sunspots | en |
| Θεματική Κατηγορία | Επιστήμη δεδομένων | el |
| Θεματική Κατηγορία | Data science | en |
| Θεματική Κατηγορία | Ηλιακή φυσική | el |
| Θεματική Κατηγορία | Solar physics | en |
| Θεματική Κατηγορία | Στατιστική | el |
| Θεματική Κατηγορία | Statistics | en |
| Βιβλιογραφική Αναφορά | Nikolaos Paraskakis, "Time-series analysis using machine learning methods", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Βιβλιογραφική Αναφορά | Νικόλαος Παρασκάκης, "Ανάλυση χρονοσειρών με μεθοδολογίες μηχανικής μάθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
