A Deep Equilibrium Approach for Trainable Nonnegative Matrix Factorization

Abstract

Η παρούσα διατριβή εξερευνά τον ταχέως εξελισσόμενο τομέα της Μη Αρνητικής Παραγοντοποίησης Μητρώου (Non-negative Matrix Factorization, NMF). Η NMF αποτελεί μια ισχυρή τεχνική που χρησιμοποιείται ευρέως σε πεδία όπως η επεξεργασία σήματος και η ανάλυση εικόνας, χάρη στην ερμηνευσιμότητά της και στην ικανότητά της να αποκαλύπτει κρυμμένες δομές στα δεδομένα. Στον πυρήνα της, η NMF στοχεύει στην προσέγγιση ενός μη αρνητικού μητρώου δεδομένων ως το γινόμενο δύο χαμηλότερης τάξης μη αρνητικών μητρώων, επιτρέποντας έτσι μια αναπαράσταση της αρχικής πληροφορίας βασισμένη σε μέρη, η οποία είναι εύκολα ερμηνεύσιμη. Συνήθως, το ένα από τα παραγοντοποιημένα μητρώα λειτουργεί ως «λεξικό» βασικών στοιχείων, ενώ το άλλο κωδικοποιεί τον τρόπο με τον οποίο αυτά τα στοιχεία συνδυάζονται για την ανακατασκευή των αρχικών δεδομένων. Πρόσφατες εξελίξεις στην NMF έχουν εισαγάγει διάφορα σχήματα κανονικοποίησης και βαθιές αρχιτεκτονικές, βελτιώνοντας περαιτέρω την απόδοσή της και την προσαρμοστικότητά της σε ποικίλα πεδία εφαρμογής.

Ωστόσο, οι παραδοσιακοί αλγόριθμοι NMF αντιμετωπίζουν σημαντικές προκλήσεις, όπως αργούς ρυθμούς σύγκλισης και περιορισμένη ακρίβεια ανακατασκευής όταν εφαρμόζονται σε πολύπλοκα και υψηλών διαστάσεων δεδομένα. Η μέθοδος του Ξετυλίγματος Αλγορίθμου (Algorithm Unrolling) αποτελεί μια καινοτόμο μεθοδολογία που μετασχηματίζει επαναληπτικούς αλγορίθμους βελτιστοποίησης σε βαθιά νευρωνικά δίκτυα, αντιστοιχίζοντας κάθε επανάληψη σε ένα αντίστοιχο επίπεδο (layer) του δικτύου. Το πλαίσιο αυτό έχει πρόσφατα εφαρμοστεί στην NMF, οδηγώντας στην ανάπτυξη της Deep NMF (DNMF), μέσω του ξετυλίγματος του κλασικού αλγορίθμου πολλαπλασιαστικής ενημέρωσης (Multiplicative Update, MU) σε μια αρχιτεκτονική εκπαιδεύσιμου δικτύου. Η βασική ιδέα πίσω από αυτή τη μέθοδο είναι η εισαγωγή εκπαίδευσης σε αλγορίθμους βελτιστοποίησης που κατά τα άλλα είναι «τυφλοί». Αυτή η προσέγγιση βελτιώνει σημαντικά την υπολογιστική απόδοση και διατηρεί την ερμηνευσιμότητα, καθώς η δομή του βαθιού δικτύου συσχετίζεται άμεσα με τον αντίστοιχο αλγόριθμο.

Παράλληλα με τα unrolled δίκτυα, τα Μοντέλα Βαθιάς Ισορροπίας (Deep Equilibrium Models, DEQs) έχουν αναδειχθεί ως μια συμπληρωματική προσέγγιση στο πεδίο της βαθιάς μάθησης, προσφέροντας μια θεμελιωδώς διαφορετική οπτική στο σχεδιασμό των νευρωνικών δικτύων. Τα DEQs αντιπροσωπεύουν μια νέα τεχνική, όπου αντί της στοίβαξης πεπερασμένου αριθμού επιπέδων, το μοντέλο χρησιμοποιεί ένα μόνο implicit επίπεδο που υπολογίζει την έξοδό του ως το Σταθερό Σημείο (Fixed-Point) μιας παραμετροποιημένης μη γραμμικής συνάρτησης. Αυτά τα μοντέλα αξιοποιούν τα Δίκτυα με Κοινά Βάρη (Weight-Tied Networks), επαναχρησιμοποιώντας το ίδιο σύνολο παραμέτρων σε όλες τις επαναλήψεις του μετασχηματισμού, γεγονός που επιτρέπει συμπαγείς αναπαραστάσεις και μπορεί να βελτιώσει τη γενίκευση των μοντέλων. Επιλύοντας για να βρουν άμεσα αυτό το Σταθερό Σημείο, τα DEQs συνδέουν ιδέες από τον κλασικό fixed-point iteration με το σύγχρονο deep learning και υποστηρίζουν αποδοτική εκπαίδευση μέσω του implicit differentiation.

Στο πλαίσιο αυτής της διατριβής παρουσιάζονται τόσο μια κλασική προσέγγιση DEQ-NMF, όσο και μια νέα μέθοδο προσέγγισης του equilibrium, καθώς και τροποποιημένες εκδοχές αυτών για το supervised NMF framework. Τα DEQ-NMF μοντέλα χρησιμοποιούν fixed-point solvers για το forward pass και implicit differentiation για το backward pass, επιτρέποντας σταθερή χρήση μνήμης ανεξαρτήτως του αριθμού επαναλήψεων προς το σημείο ισορροπίας. Τα αποτελέσματα δείχνουν ότι οι προτεινόμενοι αλγόριθμοι υπερτερούν σταθερά τόσο έναντι των κλασικών μεθόδων NMF όσο και των υπαρχόντων δικτύων βαθειάς μάθησης στην επιβλεπόμενη NMF framework, προσφέροντας υψηλότερη ακρίβεια ανακατασκευής και ταχύτερη σύγκλιση.