Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/18493
Title: | Κατανοώντας τα Νευρωνικά Δίκτυα με Κάψουλες: Προς έναν Κλιμακώσιμο Αλγόριθμο Δρομολόγησης |
Authors: | Μπαρμπέρης, Αλέξανδρος Κόλλιας Στέφανος |
Keywords: | Artificial Intelligence AI Machine Learning Feature Learning Deep Neural Networks Pooling Mechanism Invariant Invariance Equivariant Equivariance Vector Capsules Matrix Capsules Capsule Neural Networks Dynamic Routing by Agreement EM Routing Expectation Maximization Routing Efficient-CapsNet Self Organizing Map SOM Kohonen Competitive Learning Transformer Attention Multi Head Self Attention Capsules CapsNet RoMAV Routing by Merged Agreeing Votes RoWSS Routing by Winner of Similarity Score RoWLS Routing by Winner of Lengths Τεχνητή Νοημοσύνη Μηχανική Μάθηση Εκμάθηση Χαρακτηριστικών Βαθιά Νευρωνικά Δίκτυα Όραση Υπολογιστών Συνελικτικά Νευρωνικά Δίκτυα Επίπεδο Συνάθροισης Αμετάβλητο Ισομεταβλητό Διανυσματικές Κάψουλες Κάψουλες από Μήτρες Νευρωνικά Δίκτυα με Κάψουλες Δυναμική Δρομολόγηση με Συμφωνία Δρομολόγηση Μεγιστοποίησης Προσδοκιών Χάρτης Αυτο-οργάνωσης Ανταγωνιστική Μάθηση Μετασχηματιστές Μηχανισμός Προσοχής Κάψουλες με Μηχανισμό Προσοχής Πολλών Κεφαλών Αλγόριθμος Δρομολόγησης με Προσοχή Πολλών Κεφαλών |
Issue Date: | 21-Oct-2022 |
Abstract: | Τελευταία, στον κλάδο της Τεχνητής Νοημοσύνης, παρατηρείται ραγδαία αύξηση του μεγέθους των Βαθιών Νευρωνικών Δικτύων. Με τα νέα συστήματα να έχουν κολοσσιαίο ενεργειακό κόστος για την ανάπτυξή τους, προκύπτει το ερώτημα του αν η απόδοσή τους επιδέχεται βελτίωση. Μια ελπιδοφόρα λύση είναι τα Νευρωνικά Δίκτυα με Κάψουλες που, αντιμετωπίζοντας α νεπάρκειες στον σχεδιασμό της αρχιτεκτονικής των δικτύων, οδηγούν σε συστήματα ΄Ορασης Υπολογιστών με υψηλή απόδοση. Σε αυτά, οι αποκρίσεις τεχνητών νευρώνων του δικτύου οργα νώνονται σε ομάδες, τις κάψουλες. Η κάθε κάψουλα μαθαίνει να αναγνωρίζει ένα συγκεκριμένο αντικείμενο (ή τμήμα του). Μέσω μιας διαδικασίας που θυμίζει ανάστροφα γραφικά, αποδομεί το αντικείμενο σε χαρακτηριστικές ιδιότητες όπως η πόζα, τις οποίες ενθυλακώνει. Επειδή σε ένα Νευρωνικό Δίκτυο με Κάψουλες, περιλαμβάνονται πολλά επίπεδα από αυτές, σχηματίζεται μια ιεραρχική διάταξη όπου κάψουλες χαμηλότερων επιπέδων (αναπαριστούν τμήματα αντικειμένου) δρομολογούνται σε ανώτερες κάψουλες που αναγνωρίζουν μεγαλύτερα αντικείμενα και σχημα τίζονται από τη σύνθεση μερών τους. Η ιεραρχική αποδόμηση των αντικειμένων μαζί με την εξαγωγή των παραμέτρων πόζας αυτών επιτρέπει την εύρωστη μοντελοποίηση των αντικειμένων από το δίκτυο οδηγώντας σε αποδοτικότερη αναγνώρισή τους υπό διαφορετικές οπτικές γωνίες. Δυστυχώς, τα Νευρωνικά Δίκτυα με Κάψουλες δεν έχουν λάβει τη δέουσα προσοχή, γεγονός που αποδίδεται στη δυσνοητότητά τους και στην αδυναμία κλιμάκωσής τους σε μεγαλύτερα συ στήματα. Η αντιμετώπιση αυτών των προβλημάτων αποτελεί τον στόχο της παρούσας εργασίας. Το πρώτο πρόβλημα, το προσεγγίζουμε διατελώντας μια διεξοδική μελέτη στα βασικά έργα που θεμελιώνουν την εν λόγω τεχνολογία. Η μελέτη περιλαμβάνει, μεταξύ άλλων, πρωτότυπα πειράματα που φανερώνουν την εσωτερική λειτουργία της και γραφικά σχήματα που διευκολύνουν την κατανόηση της. Αναφορικά με το δεύτερο πρόβλημα, δανειζόμενοι ιδέες από τον δημοφιλή Μηχανισμό Προσοχής και από τους χάρτες αυτο–οργάνωσης αντίστοιχα, δημιουργούμε δύο νέα, γρήγορα συστήματα Νευρωνικών Δικτύων με Κάψουλες. Μέσα από τα πειράματα, πιστοποιούμε έμπρακτα όλους τους θεμελιακούς ισχυρισμούς της τεχνολογίας που μελετάμε ενώ παράλληλα αποδεικνύουμε ότι το ένα εκ των γρήγορων παραλλα γών που προτείνουμε εμφανίζει την τρίτη καλύτερη επίδοση σε πρόβλημα ορόσημο (smallNORB) ανοίγοντας τον δρόμο για αποδοτικά, κλιμακώσιμα συστήματα. |
URI: | http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/18493 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Αλέξανδρος_Μπαρμπέρης_thesis.pdf | 18.11 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.