Νευρωνικά Δίκτυα με Κάψουλες: Συμφωνία μεταξύ καψουλών μέσω Πιθανοτικής Δρομολόγησης Σταθμισμένου Μέσου

Abstract

Η παρούσα διπλωματική εργασία μελετά ένα είδος τεχνητών νευρωνικών δικτύων που προτάθηκε πριν λίγα μόλις χρόνια στον χώρο της όρασης υπολογιστών και της μηχανικής μάθησης, τα Νευρωνικά Δίκτυα με Κάψουλες. Πρόκειται για ένα είδος δίκτυων στα οποία η κλασσική ιδέα των βαθμωτών νευρώνων αντικαθίσταται από κάψουλες, οι οποίες είναι συνήθως μαθηματικές μονάδες, όπως διανύσματα ή μήτρες, που ενθυλακώνουν την έννοια του προσανατολισμού με τρόπο που εξασφαλίζει την έννοια του ισομεταβλητού της οπτικής γωνίας. Αυτό έχει ως αποτέλεσμα την μοντελοποίηση των ιεραρχικών σχέσεων των οντοτήτων που βρίσκονται σε μια εικόνα, ως απόπειρα πιο εύστοχης μίμησης των βιολογικών νευρωνικών αποκρίσεων. Στην ερευνητική αυτή εργασία, μελετόνται και προτείνονται ορισμένες νέες μέθοδοι δρομολόγησης καψουλών, που χρησιμοποιούν ιδέες από τον ευρύ τομέα της μηχανικής μάθησης προς όφελος της θεωρίας των καψουλών. Οι αλγόριθμοι έχουν ως βασική ιδέα, μια πιθανοτική προσέγγιση που υπολογίζει τις πιθανότητες ύπαρξης των υπο-οντοτήτων μιας εικόνας (ή μιας περιοχής αυτής), και σταθμίζει με αυτές τις αντίστοιχες μονάδες προσανατολισμού τους, για την σύνθεση μιας υψηλότερου επιπέδου οντότητας. Αυτή είναι η ιδέα της πιθανοτικής στάθμισης μέσου, και την εμπλουτίσαμε με επιπλέον μηχανισμούς προς σχεδιασμό αλγορίθμων που θα εισάγουν στο μοντέλο τυχαιότητα, θα αγνοούν ακραίες τιμές ή θα δίνουν βάση στην μεγιστοποίηση της “συμφωνίας” μεταξύ καψουλών, με μέτρο αυτής να είναι διάφορες γνωστές μετρικές ομοιότητας. Στην εργασία αυτή διαπιστώνεται πως αυτές οι μεταξύ τους διαφορετικές προσεγγίσεις της ίδιας βασικής μεθόδου παρουσιάζουν διαφορετικές επιδόσεις οι οποίες είναι άμεσα εξαρτώμενες από τον τύπο του συνόλου δεδομένων στο οποίο εκπαιδεύεται το εκάστοτε δίκτυο καψουλών με τα σύνολα δεδομένων που χρησιμοποιήθηκαν είναι τα MNIST, smallNORB, Fashion-MNIST, SVHN και CIFAR-10.