Ανίχνευση Bots στο Twitter με Χρήση Συνελικτικών Νευρωνικών Δικτύων και Μοντέλων Transformer

Abstract

Στην σύγχρονη εποχή, τα μέσα κοινωνικής δικτύωσης έχουν ενσωματωθεί πλήρως στις ζωές των ανθρώπων, αποτελώντας μάλιστα πλέον αναπόσπαστο τμήμα αυτών. Η απλότητα στην χρήση, η διαδραστικότητα, καθώς και η δυνατότητα της άμεσης διάδοσης πληροφορίας που παρέχουν, καθιστούν ολοένα και συχνότερη την αξιοποίησή τους ως μέσο διάδοσης των ειδήσεων, στις μέρες μας. Ωστόσο, η διαρκώς αυξανόμενη χρήση τους στον τομέα της ενημέρωσης έχει προσελκύσει κακόβουλους χρήστες, οι οποίοι αποσκοπούν στην εκμετάλλευση των δυνατοτήτων που προσφέρουν τα μέσα κοινωνικής δικτύωσης, προς όφελός τους. Την τελευταία δεκαετία, έχει σημειωθεί μια ραγδαία αύξηση στην δραστηριότητα των κακόβουλων αυτοματοποιημένων λογαριασμών, γνωστών ως bots, στις πλατφόρμες κοινωνικής δικτύωσης, και ιδιαίτερα στην πλατφόρμα του Twitter, εγείροντας σοβαρές οικονομικές, πολιτικές, καθώς και κοινωνικές ανησυχίες. Απώτερος στόχος των bots είναι η παραπληροφόρηση των χρηστών, μέσω της διάδοσης ψευδών ειδήσεων και την χειραγώγηση του δημοσίου λόγου, ενώ χρησιμοποιούνται και για την διασπορά συνομωσιών και την προώθηση συγκεκριμένων προϊόντων. Δεδομένων των παραπάνω, κρίνεται επιτακτική η ανάγκη κατανόησης της φύσης των bots και των χαρακτηριστικών τους, για την έγκαιρη ανίχνευση και αντιμετώπισή τους. Αντικείμενο της παρούσας διπλωματικής εργασίας αποτελεί η αντιμετώπιση του προβλήματος ανίχνευσης αυτοματοποιημένων λογαριασμών στο μέσο κοινωνικής δικτύωσης του Twitter, με χρήση Βαθιάς Μηχανικής Μάθησης και Προεκπαιδευμένων Μοντέλων Transformer. Πιο συγκεκριμένα, προτείνονται δύο μέθοδοι κατηγοριοποίησης των χρηστών του Twitter σε πραγματικούς και αυτοματοποιημένους. Κατά την πρώτη μέθοδο, αναπτύσσεται ένα μονοτροπικό μοντέλο, το οποίο, αφού πρώτα κατασκευάσει αλληλουχίες Digital DNA για κάθε χρήστη, που προκύπτουν από την δραστηριότητα του λογαριασμού του, τις μετατρέπει σε τρισδιάστατες εικόνες, τις οποίες ύστερα τροφοδοτεί σε προεκπαιδευμένα Συνελικτικά Νευρωνικά Δίκτυα, προς την εύρεση αυτού που τις κατηγοριοποιεί βέλτιστα. Κατά την δεύτερη μέθοδο, αναπτύσσεται ένα πολυτροπικό μοντέλο, το οποίο αξιοποιεί τόσο τις τρισδιάστατες εικόνες που αντιπροσωπεύουν την δραστηριότητα του λογαριασμού του χρήστη, όσο και την περιγραφή του λογαριασμού του. Για τις αναπαραστάσεις εισόδου των εικόνων και του κειμένου χρησιμοποιήθηκαν, αντίστοιχα, το βέλτιστο μοντέλο της προηγούμενης μεθόδου, VGG16, και το προεκπαιδευμένο μοντέλο Transformer TwHIN-BERT, ενώ για την συγχώνευσή τους, επιστρατεύθηκε ένα σύνολο από μεθόδους συγχώνευσης (Concatenation, Gated Multimodal Unit και Crossmodal Attention). Εκτενή και πολυπληθή πειράματα πάνω στο σύνολο δεδομένων Cresci-2017 επιβεβαίωσαν την αποτελεσματικότητα όλων των προτεινόμενων υλοποιήσεων, με αποκορύφωμα το μοντέλο TwHIN-BERT + VGG16 (Cross-Modal Attention), που αξιοποιεί εικόνες που βασίζονται στο περιεχόμενο των tweets του χρήστη, το οποίο επέτυχε επίδοση 99.98% στην μετρική Accuracy, υπερτερώντας ακόμα και μερικών εκ των state-of-the-art προσεγγίσεων που έχουν δημοσιευθεί έως τώρα από την επιστημονική κοινότητα προς την αντιμετώπιση του ίδιου προβλήματος.