Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/D41C4EEA-6FF6-4D01-A651-4E3AF043D58B | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.103088 | - |
| Language | en | - |
| Extent | 82 pages | en |
| Title | Optimizing network-friendly recommendations and caching jointly, using reinforcement learning | en |
| Title | Από κοινού βελτιστοποίηση τοπικής αποθήκευσης δεδομένων και συστάσεων, φιλικών προς το δίκτυο, με τη χρήση ενισχυτικής μάθησης | el |
| Creator | Alogoskoufis Alexandros | en |
| Creator | Αλογοσκουφης Αλεξανδρος | el |
| Contributor [Thesis Supervisor] | Spyropoulos Thrasyvoulos | en |
| Contributor [Thesis Supervisor] | Σπυροπουλος Θρασυβουλος | el |
| Contributor [Committee Member] | Chalkiadakis Georgios | en |
| Contributor [Committee Member] | Χαλκιαδακης Γεωργιος | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | The rapid expansion of content streaming platforms has driven a significant surge in global internet traffic. Video-on-demand services, music streaming platforms, and online news providers serve billions of users, each expecting seamless, personalized experiences with minimal delays. To meet these demands, Content Delivery Networks (CDNs) and distributed caching infrastructures store frequently accessed content closer to end users, reducing latency and alleviating network congestion. Simultaneously, sophisticated recommendation systems enhance user engagement by tailoring content suggestions to individual preferences. However, despite their widespread adoption, caching and recommendation systems are typically treated as independent problems, leading to inefficiencies and increased operational costs. A core challenge lies in the exponential growth of digital content and the rising number of mobile users who expect uninterrupted access across diverse devices and network conditions. Caching systems prioritize network efficiency by storing popular content in strategic locations, while recommendation systems focus purely on engagement, often suggesting content that is not locally cached. This misalignment results in frequent cache misses, increased bandwidth consumption, and higher latency, limiting the scalability of current content delivery solutions. Recent research has explored cache-aware recommendation strategies that adjust content suggestions based on cache availability to reduce delivery costs. However, these approaches predominantly rely on heuristics or static optimization techniques that struggle to adapt to dynamic user behavior and evolving network conditions. Such methods fail to fully leverage machine learning-driven decision-making, which can dynamically optimize both recommendations and caching policies in real-time. To address this gap, this thesis introduces a Reinforcement Learning (RL)-based framework that jointly optimizes recommendation and caching decisions. We formulate the problem as a Markov Decision Process (MDP), capturing the interplay between user preferences, cache dynamics, and network constraints. Our approach employs Double Deep Q-Networks (DDQN) to learn adaptive policies that balance content relevance and caching efficiency, enhancing both user experience and network resource utilization. Unlike traditional methods that rely on predefined content popularity distributions, our framework continuously learns optimal strategies through interaction with the environment. To evaluate the effectiveness of our approach, we conduct extensive simulations using both synthetic and real-world datasets, comparing our RL-based system against baseline heuristics that optimize caching and recommendations separately. Experimental results demonstrate that our method achieves superior cache hit rates, reduces bandwidth consumption, and improves user satisfaction across varying session lengths and cache sizes. Additionally, we perform sensitivity analyses to assess the impact of user behavior and, cache capacity on system performance. This research advances the field by demonstrating that network-aware, RL-driven recommendations can significantly enhance CDN efficiency while preserving high levels of personalization. Our findings pave the way for self-optimizing content delivery networks that dynamically adapt to user demand and network conditions without manual intervention, offering a scalable and intelligent solution for future content distribution challenges. | en |
| Content Summary | Η γρήγορη ανάπτυξη των πλατφορμών streaming έχει προκαλέσει μεγάλη αύξηση στην παγκόσμια διαδικτυακή κίνηση. Υπηρεσίες βίντεο on-demand, πλατφόρμες μουσικής streaming και online ειδησεογραφικοί ιστότοποι εξυπηρετούν δισεκατομμύρια χρήστες. Κάθε χρήστης περιμένει ομαλές, προσωπικές εμπειρίες με ελάχιστη καθυστέρηση. Για να καλύψουν αυτές τις ανάγκες, τα Δίκτυα Διανομής Περιεχομένου (CDNs) και οι κατανεμημένες υποδομές caching αποθηκεύουν το συχνά προσβάσιμο περιεχόμενο κοντά στους τελικούς χρήστες μειώνοντας την καθυστέρηση και ανακουφίζοντας τη συμφόρηση του δικτύου. Παράλληλα, προηγμένα συστήματα προτάσεων βελτιώνουν τη συμμετοχή των χρηστών προσαρμόζοντας τις προτάσεις περιεχομένου στις προσωπικές τους προτιμήσεις. Όμως, παρά την ευρεία χρήση τους, τα συστήματα caching και προτάσεων συνήθως αντιμετωπίζονται ως ξεχωριστά ζητήματα. Αυτό οδηγεί σε αναποτελεσματικότητες και αυξημένα λειτουργικά έξοδα. Μια βασική πρόκληση βρίσκεται στην τεράστια αύξηση του ψηφιακού περιεχομένου και στον αυξανόμενο αριθμό χρηστών κινητών που περιμένουν συνεχή πρόσβαση μέσω διαφόρων συσκευών και συνθηκών δικτύου. Τα συστήματα caching δίνουν προτεραιότητα στην απόδοση του δικτύου αποθηκεύοντας δημοφιλές περιεχόμενο σε στρατηγικά σημεία. Αντίθετα, τα συστήματα προτάσεων επικεντρώνονται στη εμπειρία των χρηστών προτείνοντας συχνά περιεχόμενο που δεν είναι αποθηκευμένο τοπικά. Αυτή η ασυμφωνία οδηγεί σε συχνές αποτυχίες πρόσβασης στην προσωρινή μνήμη, αυξημένη χρήση εύρους ζώνης και μεγαλύτερη καθυστέρηση περιορίζοντας τη δυνατότητα επέκτασης των τωρινών λύσεων παράδοσης περιεχομένου. Πρόσφατες έρευνες έχουν εξετάσει στρατηγικές συστάσεων που λαμβάνουν υπόψη την cache, προσαρμόζοντας τις προτάσεις περιεχομένου με βάση τη διαθεσιμότητα της cache, με στόχο τη μείωση των εξόδων παράδοσης. Ωστόσο, αυτές οι προσεγγίσεις βασίζονται κυρίως σε ευρετικές ή στατικές τεχνικές βελτιστοποίησης, οι οποίες δυσκολεύονται να προσαρμοστούν στη δυναμική συμπεριφορά των χρηστών και στις μεταβαλλόμενες συνθήκες του δικτύου. Τέτοιες μέθοδοι δεν εκμεταλλεύονται πλήρως τις δυναμικές δυνατότητες που προσφέρει η λήψη αποφάσεων μέσω μηχανικής μάθησης, η οποία μπορεί να βελτιστοποιήσει τόσο τις συστάσεις όσο και τις πολιτικές caching σε πραγματικό χρόνο. Για να καλυφθεί αυτό το κενό, η παρούσα διπλωματική εργασία εισάγει ένα πλαίσιο που βασίζεται στην Ενισχυτική Μάθηση (RL) και βελτιστοποιεί ταυτόχρονα τις αποφάσεις συστάσεων και προσωρινής αποθήκευσης. Διαμορφώνουμε το πρόβλημα ως Διαδικασία Απόφασης Markov (MDP), καταγράφοντας την αλληλεπίδραση μεταξύ των προτιμήσεων των χρηστών, της δυναμικής της cache και των περιορισμών του δικτύου. Η προσέγγισή μας αξιοποιεί Double Deep Q-Networks (DDQN) για να μάθει προσαρμοστικές πολιτικές που ισορροπούν τη σχετικότητα του περιεχομένου με την αποδοτικότητα της cache, βελτιώνοντας έτσι την εμπειρία των χρηστών και την αξιοποίηση των δικτυακών πόρων. Σε αντίθεση με τις παραδοσιακές μεθόδους που βασίζονται σε προκαθορισμένες κατανομές δημοτικότητας περιεχομένου, το πλαίσιο μας μαθαίνει συνεχώς τις καλύτερες στρατηγικές μέσω της αλληλεπίδρασης με το περιβάλλον. Για να αξιολογήσουμε την αποτελεσματικότητα της προσέγγισής μας, διεξάγουμε εκτενείς προσομοιώσεις με τη χρήση τόσο συνθετικών, όσο και πραγματικών δεδομένων. Συγκρίνουμε το σύστημα που βασίζεται στην ενισχυτική μάθηση (RL) με βασικές ευρετικές προσεγγίσεις που βελτιστοποιούν ξεχωριστά τη cache από τις συστάσεις. Τα πειραματικά αποτελέσματα δείχνουν ότι η μέθοδός μας επιτυγχάνει ανώτερα ποσοστά επιτυχίας στη cache, μειώνει την κατανάλωση εύρους ζώνης και βελτιώνει την ικανοποίηση των χρηστών σε διάφορα μήκη συνεδριών και μεγέθη cache. Επιπλέον, πραγματοποιούμε αναλύσεις ευαισθησίας για να αξιολογήσουμε τον αντίκτυπο της συμπεριφοράς των χρηστών και της χωρητικότητας της cache στην απόδοση του συστήματος. Αυτή η διπλωματική εργασία προάγει τον τομέα, αποδεικνύοντας ότι οι συστάσεις που βασίζονται στην Ενισχυτική Μάθηση και λαμβάνουν υπόψη τις συνθήκες του δικτύου μπορούν να βελτιώσουν σημαντικά την αποδοτικότητα των CDN, διατηρώντας παράλληλα υψηλά επίπεδα εξατομίκευσης. Τα ευρήματά μας ανοίγουν το δρόμο για αυτόματα βελτιστοποιούμενα δίκτυα παράδοσης περιεχομένου, τα οποία προσαρμόζονται δυναμικά στη ζήτηση των χρηστών και στις συνθήκες του δικτύου, χωρίς την ανάγκη χειροκίνητης παρέμβασης, προσφέροντας μια επεκτάσιμη και ευφυή λύση για τις μελλοντικές προκλήσεις στη διανομή περιεχομένου. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by-nc-sa/4.0/ | en |
| Date of Item | 2025-05-09 | - |
| Date of Publication | 2025 | - |
| Subject | Artificial Intelligence | en |
| Subject | Τεχνητή Νοημοσύνη | el |
| Subject | Cache Optimazation | en |
| Subject | Βελτιστοποίηση Τοπικής Αποθήκευσης Δεδομένων | el |
| Subject | Recommendation Systems | en |
| Subject | Συστήματα Συστάσεων | el |
| Subject | Reinforcement Learning | en |
| Subject | Ενισχυτική Μάθηση | el |
| Subject | Βαθία Ενισχυτική Μάθηση | el |
| Subject | Deep Reinforcement Learning | en |
| Subject | Συστάσεις Φιλικές προς το Δίκτυο | el |
| Subject | Network Friendly Recommendations | en |
| Bibliographic Citation | Alexandros Alogoskoufis, "Optimizing network-friendly recommendations and caching jointly, using reinforcement learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Bibliographic Citation | Αλέξανδρος Αλογοσκούφης, "Από κοινού βελτιστοποίηση τοπικής αποθήκευσης δεδομένων και συστάσεων, φιλικών προς το δίκτυο, με τη χρήση ενισχυτικής μάθησης ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
