Νέα Αναλογικά Νευρωνικά Δίκτυα Και Νέες Μέθοδοι Εκπαίδευσης Νευρωνικών Δικτύων

Abstract

Στη διατριβή αυτή προτείνονται: (α) νέες αρχιτεκτονικές αναλογικών Νευρωνικών Δικτύων τύπου Hopfield, για την επίλυση προβλημάτων ελαχίστου με ισοτικούς περιορισμούς και (β) ένας νέος αλγόριθμος εκπαίδευσης πολυστρωματικών Νευρωνικών Δικτύων τύπου Perceptron.Στο πρώτο μέρος της διατριβής με τίτλο «Νέα Αναλογικά Νευρωνικά Δίκτυα για τη Λύση του Προβλήματος Εύρεσης Ελαχίστου με Ισοτικούς Περιορισμούς», παρουσιάζονται τρία νέα αναλογικά Νευρωνικά Δίκτυα. Πρόκειται για μη αυτόνομα δυναμικά συστήματα, που αντιμετωπίζουν το πρόβλημα ελαχίστου με ισοτικούς περιορισμούς απ’ευθείας, δηλαδή χωρίς να κάνουν χρήση συναρτήσεων ποινής ή σφάλματος. Το πρώτο Νευρωνικό Δίκτυο, ονομάστηκε Νευρωνικό Δίκτυο Προβολής της Κλίσης με Eπιτρεπτές Λύσεις (σύντομα ΝΔΠΚΕΛ), έχει επιτρεπτό αρχικό σημείο και βασίζεται στη γνωστή μέθοδο ελαχιστοποίησης «προβολής της κλίσης». Το δεύτερο Νευρωνικό Δίκτυο ονομάστηκε Νευρωνικό Δίκτυο Προβολής της Κλίσης με Μη Eπιτρεπτές Λύσεις (σύντομα ΝΔΠΚΜΕΛ) και βασίζεται στο συνδυασμό της μεθόδου «προβολής της κλίσης» με ομοτοπικές μεθόδους λύσης των ισοτικών περιορισμών. Το αρχικό σημείο του δεν είναι απαραίτητα επιτρεπτό. Το τρίτο Νευρωνικό Δίκτυο ονομάστηκε Νευρωνικό Δίκτυο Τετραγωνικής Προσέγγισης (σύντομα ΝΔΤΠ) και βασίζεται στο συνδυασμό της επαλαληπτικής μεθόδου των τετραγωνικών προσεγγίσεων με ομοτοπικές μεθόδους λύσης των ισοτικών περιορισμών. Το αρχικό σημείο του δεν είναι απαραίτητα επιτρεπτό. Για καθένα από τα προτεινόμενα Νευρωνικά Δίκτυα διατυπώθηκε ένα γενικευμένο θεώρημα σύγκλισης: χωρίς να απαιτείται τη κυρτότητα του προβλήματος ελαχιστοποίησης, αποδεικνύεται ότι οι φραγμένες λύσεις των Νευρωνικών Δικτύων συγκλίνουν στο σύνολο των σημείων που ικανοποιούν τις α΄τάξης αναγκαίες συνθήκες ελαχίστου. Για κυρτά προβλημάτα ελαχιστοποίησης με φραγμένα σύνολα λύσεων, αποδεικνύεται ότι όλες οι λύσεις των προτεινόμενων Νευρωνικών Δικτύων συγκλίνουν σε ολικό ελάχιστο. Επιπλέον αποδεικνύεται για κυρτά και μη κυρτά προβλήματα εκθετική ταχύτητα σύγκλισης. Στο δεύτερο μέρος, με τίτλο «Εκπαίδευση Νευρωνικών Δικτύων Τύπου Perceptron με Τμηματικά Γραμμικές Συναρτήσης Ενεργοποίησης Νευρώνων», προτείνεται ένας νέος αλγόριθμος. Για την εκπαίδευση των Νευρωνικών Δικτύων συνήθως χρησιμοποιούνται διαφορίσιμες συναρτήσεις ενεργοποίησης, όπως η σιγμοειδής συνάρτηση. Ο προτεινόμενος αλγόριθμος χρησιμοποιεί τμηματικά γραμμική συνάρτηση ενεργοποίησης των νευρώνων και την τετραγωνική συνάρτηση σφάλματος που αφορά στο σύνολο του εκπαιδευτικού δείγματος.