Αναζήτηση

Πλοήγηση

• Κοινότητες

Ο Χώρος μου

• Είσοδος

Παραγωγή ευάλωτου κώδικα από Μεγάλα Γλωσσικά Μοντέλα

Lyronis Stavros

Πλήρης Εγγραφή

---

Περίληψη

Ο τεράστιος όγκος δημοσίως διαθέσιμων δεδομένων και οι βελτιώσεις στον τομέα των νευρωνικών δικτύων, σε συνδυασμό με την απεριόριστη υπολογιστική ισχύ των GPU, οδήγησαν στη δημιουργία ενός νέου παραδείγματος μοντέλων επεξεργασίας φυσικής γλώσσας, γνωστών και ως Large Language Models (LLM). Παρότι τα μοντέλα LLM έχουν γίνει διαθέσιμα πρόσφατα, πλατφόρμες όπως το ChatGPT και το Bard έχουν επιδείξει εντυπωσιακή χρηστικότητα και αποτελεσματικότητα στον χειρισμό εργασιών που βασίζονται σε κείμενο, όπως η επιτυχία στις εξετάσεις σε διάφορους τομείς, η συγγραφή δοκιμίων, τραγουδιών και ποιημάτων, η ενορχήστρωση εκστρατειών μάρκετινγκ και πολλά άλλα. Η αυτοματοποιημένη παραγωγή πηγαίου κώδικα με βάση ερωτήματα χρηστών είναι μία από αυτές τις εργασίες, με ένα τεράστιο πλήθος προγραμματιστών να έχουν ήδη υιοθετήσει τα LLM, σε κάποια μορφή, στο περιβάλλον εργασίας τους. Στην παρούσα εργασία παρουσιάζουμε τους κινδύνους που σχετίζονται με την αληθοφάνεια των μοντέλων LLM όσον αφορά τη δημιουργία πηγαίου κώδικα. Πιο συγκεκριμένα, καταφέρνουμε να εντοπίσουμε κοινές και γνωστές ευπάθειες στον πηγαίο κώδικα που παράγεται από τα πιο δημοφιλή LLM (ChatGPT, Bard και Copilot). Για την επίτευξη αυτού του στόχου, αναπτύσσου- με μια σειρά διαδραστικών πειραμάτων που βασίζονται σε παιχνίδια ρόλων, όπου τα LLM καλούνται να δημιουργήσουν πηγαίο κώδικα για αφελείς προγραμματιστές που εμπιστεύονται πλήρως το αποτέλεσμα του μοντέλου. Για να αξιολογήσουμε την ασφάλεια του παραγόμενου περιεχομένου αξιοποιούμε διάφορα σενάρια περιπτώσεων όπου ενημερώνουμε το μοντέλο με τις ανησυχίες προς την ασφάλεια. Η ανάλυσή μας αποκαλύπτει ότι τα υπάρχοντα LLM δεν έχουν ανησυχίες για την ασφάλεια εκ των προτέρων και παρέχουν ευάλωτο πηγαίο κώδικα στις περισσότερες περιπτώσεις. Επι- πλέον, καταφέρνουμε να επιτύχουμε ασφαλή παραγωγή κώδικα μόνο στην περίπτωση όπου ζητάμε ειδικά από τα LLM να παρέχουν μια ασφαλή λύση μέσω χειρισμού ε- ρωτημάτων. Τέλος, υποστηρίζουμε ότι η χρήση των LLMs για κρίσιμες εργασίες κυβερνοασφάλειας πρέπει να αποφεύγεται, ωστόσο μπορούν να χρησιμοποιηθούν για εκπαιδευτικούς σκοπούς ή με κατάλληλο χειρισμό ερωτημάτων προς την κατεύθυνση της επιβολής της ασφαλούς υλοποίησης.

Διαθέσιμα αρχεία

Υπηρεσίες