Αλγόριθμοι ανταγωνιστικών επιθέσεων σε βαθιά νευρωνικά δίκτυα

Abstract

Η βαθιά μηχανική μάθηση έχει καταφέρει εντυπωσιακή πρόοδο καταφέρνοντας καλύτερα αποτε- λέσματα από προηγούμενες μεθόδους μηχανικής μάθησης, σε ορισμένες περιπτώσεις μάλιστα έχει καταφέρει να ξεπεράσει ακόμα και τις ανθρώπινες επιδώσεις. Για τον λόγο αυτό πλέον χρησιμο- ποιείται ευρέως για μια σειρά από εφαρμογές, αρκετές από τις οποίες μπορούν να χαρακτηριστούν και ως κρίσιμες (π.χ. για λήψη ιατρικών, δικαστικών αποφάσεων κλπ). Όμως παρά τις επιτυχίες που σημειώνει σε τέτοιες εφαρμογές, έχει αποδειχθεί ότι είναι ευάλωτη σε επιθέσεις, γεγονός που την καθιστά αναξιόπιστη για πολλούς και επικίνδυνη σε κάποιες περιπτώσεις. Αυτό το αρκετά σημαντικό μειονέκτημα λοιπόν, έχει δημιουργήσει ανησυχία στην ερευνητική, και όχι μόνο, κοι- νότητα σχετικά με το αν μπορούμε να εμπιστευτούμε τα μοντέλα βαθιάς μάθησης για τέτοιου εί- δους εφαρμογές. Σε μια προσπάθεια να γίνει κατανοητό το πως επηρεάζονται τα μοντέλα από τις ανταγωνιστικές επιθέσεις, τα τελευταία χρόνια έχουν χρησιμοποιηθεί διάφορες μέθοδοι της εξη- γήσιμης τεχνητής νοημοσύνης. Τέτοιες μέθοδοι μας δίνουν πληροφορίες σχετικά με το πώς ένα μοντέλο καταλήγει σε μια συγκεκριμένη πρόβλεψη, βοηθώντας μας έτσι να κατανοήσουμε καλύ- τερα τον τρόπο με τον οποίο επηρεάζεται από τις επιθέσεις. Η εργασία μας επικεντρώθηκε στο να χρησιμοποιήσουμε την γνώση που αποκτούμε από τέτοιες μεθόδους εξηγήσιμης τεχνητής νοημο- σύνης για να τροποποιήσουμε τα ανταγωνιστικά παραδείγματα. Τα ανταγωνιστικά παραδείγματα είναι δεδομένα τα οποία έχουν τροποποιηθεί ελαφρώς ούτως ώστε να αναγκάζουν το μοντέλο να καταλήγει σε λάθος απόφαση. Στην παρούσα διπλωματική εργασία χρησιμοποιήσαμε μεθόδους επίθεσης για να δημιουργήσουμε, από τις αρχικές εικόνες του συνόλου δεδομένων μας, ανταγω- νιστικά παραδείγματα καθώς επίσης και μια μέθοδο εξηγήσιμης τεχνητής νοημοσύνης για την δημιουργία saliency map για κάθε εικόνα, το οποίο μας έδειχνε σε ποια σημεία κάθε εικόνας εστιά- ζει το μοντέλο για να καταλήξει στην τελική απόφαση. Σκοπός μας ήτανε να εξετάσουμε αν τα saliency maps μπορούν να συνδυαστούν με τις ανταγωνιστικές επιθέσεις και αν η αλλαγή των επι- θέσεων σε συγκεκριμένα σημαντικά σημεία επηρεάζουν την επιτυχία της επίθεσης. Πιο συγκεκρι- μένα υλοποιήσαμε δύο αρχιτεκτονικές ταξινόμησης εικόνων, έναν αλγόριθμο εξηγήσιμης τεχνητής νοημοσύνης, πειραματιστήκαμε με τρεις αλγορίθμους ανταγωνιστικών επιθέσεων και εκτελέσαμε διάφορα πειράματα προσπαθώντας να μελετήσουμε το πως αλλαγές στις υπάρχουσες επιθέσεις με βάση την γνώση που αποκτούμε από την εξηγήσιμη τεχνητής νοημοσύνη, επηρεάζουν τις μετρικές αξιολόγησης που είχαμε θέσει.