Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/E8666D35-46BE-4E3D-8B7C-BE8D7D1CD6F8 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.90442 | - |
| Language | en | - |
| Extent | 72 σελίδες | el |
| Extent | 2.7 megabytes | en |
| Title | Distributed real-time network intrusion detection system on apache spark | en |
| Title | Κατανεμημένο σύστημα ανίχνευσης εισβολών δικτύου σε πραγματικό χρόνο στo Apache Spark | el |
| Creator | Kalosynakis Minas-Diomfeas | en |
| Creator | Καλωσυνακης Μηνας-Διωμφεας | el |
| Contributor [Committee Member] | Koutroulis Eftychios | en |
| Contributor [Committee Member] | Κουτρουλης Ευτυχιος | el |
| Contributor [Committee Member] | Dollas Apostolos | en |
| Contributor [Committee Member] | Δολλας Αποστολος | el |
| Contributor [Thesis Supervisor] | Ioannidis Sotirios | en |
| Contributor [Thesis Supervisor] | Sotirios | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | In recent years, the rapid increase of internet based services raises signif- icant information security concerns. A large amount of network traffic data is generated on a daily basis with high speed while security threats become increasingly more complex. Fast and efficient detection of in- trusive activities in such conditions is a challenging task. In order to address this issue, we propose a distributed intrusion detection system that utilizes machine learning classifiers to identify malicious network activity in real-time. Specifically, we use the Chi-Squared algorithm to select important features, based on which we build Decision Tree, Ran- dom Forest, and Extreme Gradient Boosting classification models on Apache Spark Big Data platform. The proposed system supports scala- bility in all of its different layers and provides a user-friendly graphical interface to visualize network activity. Experimental results against the NSL-KDD dataset demonstrate that the system can perform bi- nary classification with an area under ROC curve of 97% using the Random Forest machine learning model. | en |
| Content Summary | Τα τελευταία χρόνια, η ταχεία αύξηση των υπηρεσιών που βασίζονται στο διαδίκτυο επιφέρει σημαντικές ανησυχίες για την ασφάλεια των πληροφοριών. Μεγάλες ποσότητες δεδομένων κίνησης στο δίκτυο δημιουργούνται σε καθημερινή βαση με υψηλή ταχύτητα ενώ παράλληλα οι απειλές για την ασφάλεια των πληροφοριών γίνονται όλο και πιο περίπλοκες. Ο γρήγορος και αποτελεσματικός εντοπισμός παρεμβατικών δραστηριοτήτων υπό αυτές τις συνθήκες είναι ένα δύσκολο έργο. Για την αντιμετώπιση αυτού του ζητήματος, προτείνουμε ένα κατανεμημένο σύστημα ανίχνευσης εισβολών που χρησιμοποιεί ταξινομητές μηχανικής μάθησης για να αναγνώρισει κακόβουλες δραστηριότητες στο δίκτυο σε πραγμαγματικό χρόνο. Συγκεκριμένα, χρησιμοποιούμε τον αλγόριθμο Chi-Squared για να επιλέξουμε σημαντικά χαρακτηριστικά των δεδομένων εισόδου, βάσει των οποίων εκπαιδεύουμε μοντέλα ταξινόμησης Decision Tree, Random Forest και Extreme Gradient Boosting στην πλατφόρμα επεξεργασίας μεγάλων δεδομένων Apache Spark. Το ανεπτυγμένο σύστημα υποστηρίζει ικανότητα επεκτασιμότητας σε όλα τα μέρη του και παρέχει μία φιλική προς το χρήστη γραφική διεπαφή που απεικονίζει τη δραστηριότητα του δικτύου. Πειραματικά αποτελέσματα απέναντι στο σύνολο δεδομένων NSL-KDD αποδεικνύουν ότι το σύστημα μπορεί να εκτελέσει δυαδική ταξινόμηση με περιοχή κάτω από την καμπύλη ROC 97% χρησιμοποιώντας το μοντέλο μηχανικής μάθησης Random Forest. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2021-10-11 | - |
| Date of Publication | 2021 | - |
| Subject | Network intrusion detection system | el |
| Bibliographic Citation | Minas-Diomfeas Kalosynakis, "Distributed real-time network intrusion detection system on apache spark", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Bibliographic Citation | Μηνάς-Διωμφέας Καλωσυνάκης, "Κατανεμημένο σύστημα ανίχνευσης εισβολών δικτύου σε πραγματικό χρόνο στo Apache Spark", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
