Alleviating Data Scarcity In Industrial Machine Learning Applications

Abstract

Η αναγνώριση οπτικών ελαττωμάτων όπως εφαρμόζεται στον κατασκευαστικό τομέα είναι ένα θέμα που απασχολεί την τρέχουσα έρευνα στο πεδίο της τεχνητής νοημοσύνης, καθώς αυτός αποτελεί αναπόσπαστο μέρος της διαδικασίας παραγωγής που αυτοματοποιείται ολοένα και περισσότερο με την εμφάνιση της Βιομηχανίας 4.0 και της Βιομηχανίας 5.0. Αν και είναι μια πολύ ευεργετική λύση, οι αλγόριθμοι όρασης υπολογιστών που βασίζονται στη Μηχανική Μάθηση και τα Βαθιά Νευρωνικά Δίκτυα αντιμετωπίζουν πολλά προβλήματα που μπορεί να εμποδίσουν την υιοθέτησή τους σε πρακτικές εφαρμογές, όπως σε μια γραμμή παραγωγής. Τα σύνολα δεδομένων που περιέχουν ελαττώματα δεν έχουν συνήθως ισορροπημένες κλάσεις και πάσχουν κατά τον διαχωρισμό μεταξύ κλάσεων υψηλής οπτικής ομοιότητας. Ένα άλλο ζήτημα που προκύπτει κατά τη συνεχή λειτουργία ενός ταξινομητή μηχανικής μάθησης είναι η έλλειψη ανθεκτικότητας σε νέα ελαττώματα που εμφανίζονται για πρώτη φορά. Ο στόχος αυτής της εργασίας είναι να αντιμετωπίσει τέτοιες προκλήσεις παρέχοντας επαυξήσεις στις λύσεις τεχνητής νοημοσύνης, είτε σε επίπεδο δεδομένων είτε σε επίπεδο μοντέλου, ώστε να μπορούν να ανταποκριθούν σε πραγματικές συνθήκες στον κατασκευαστικό τομέα. Η αρχική εστίαση είναι στη Μη Ισορροπημένη Μάθηση. Παρόλο που έχουν προταθεί διάφορες μέθοδοι επαύξησης δεδομένων για τον μετριασμό των ανισορροπιών κλάσεων, συχνά αποτυγχάνουν σε ιδιαίτερα ολιγοπληθείς κατηγορίες ενώ, ταυτόχρονα, χρειάζονται σημαντικούς υπολογιστικούς πόρους για εκπαίδευση. Επίσης, η επαύξηση που βασίζεται σε υπερδειγματοληψία βάσει διανυσμάτων δυσκολεύεται να παράγει εισόδους υψηλής ευκρίνειας και είναι δύσκολο να εφαρμοστεί σε προσαρμοσμένες αρχιτεκτονικές ΄Συνελικτικών Νευρωνικών Δικτύων (ΣΝΔ), οι οποίες συχνά αποδίδουν καλύτερα για αυτόν τον τύπο προβλήματος. Η εργασία μας παρουσιάζει μια μέθοδο υπερδειγματοληψίας στο επίπεδο της εικόνας που μπορεί να εφαρμοστεί σε οποιοδήποτε ΣΝΔ απευθείας κατά τη διάρκεια της εκπαιδευτικής διαδικασίας χωρίς μεγάλη επιβάρυνση του απαιτούμενου χρόνου εκπαίδευσης. Ξεκινά με τον εντοπισμό ενός μικρού αριθμού αβέβαιων δειγμάτων κοντά στα εκτιμώμενα όρια μεταξύ δύο κλάσεων και βασίζει τη σύνθεση νέων δεδομένων σε αυτά. Οι εικόνες που προκύπτουν είναι υψηλής οπτικής ποιότητας διατηρώντας μικρές διαφορές μεταξύ των κατηγορίων και χρησιμεύουν στο να βελτιώσουν τα όρια του ταξινομητή, οδηγώντας σε υψηλότερη ανάκληση σε σχέση με άλλες προσεγγίσεις. Εκτός από την ανισορροπία κλάσεων, η αδυναμία συλλογής πολλών δεδομένων, καθώς και οι αυστηροί περιορισμοί ασφαλείας για τα κυβερνο-φυσικά συστήματα, υπαγορεύουν τον αποτελεσματικό χειρισμό καινοφανών εισόδων. Τέτοιες απρόσμενες είσοδοι μπορεί να αποτελέσουν σημαντικό κίνδυνο, καθώς μια λανθασμένη απόκριση σε αυτές θα μπορούσε να βλάψει την ακεραιότητα της διαδικασίας παραγωγής. Ενώ οι πρόσφατες μέθοδοι Μηχανικής Μάθησης μπορούν θεωρητικά να αντιμετωπίσουν αυτό το πρόβλημα από διαφορετικές οπτικές γωνίες (π.χ. αναγνώριση ανοιχτού συνόλου, ημι-εποπτευόμενη μάθηση, έξυπνη επαύξηση δεδομένων), εφαρμόζοντάς τες σε ένα πραγματικό περιβάλλον με ένα μικρό, μη ισορροπημένο σύνολο δεδομένων και υψηλή ομοιότητα μεταξύ των κλάσεων αποτελεί πρόκληση. Η παρούσα εργασία αντιμετωπίζει μια τέτοια περίπτωση που αφορά στην αυτοματοποίηση της οπτικής ποιοτικής επιθεώρησης εκτυπώσεων λογοτύπων σε κελύφη ξυριστικών μηχανών από τη βιομηχανία ηλεκτρονικών και χαρακτηρίζεται από σπανιότητα δεδομένων και ύπαρξη μικρών τοπικών ελαττωμάτων. Για το σκοπό αυτό, εισάγεται μια νέα προσέγγιση επαύξησης δεδομένων που βασίζεται στον χειρισμό του λανθάνοντος χώρου του StyleGAN, με αποτέλεσμα τα δεδομένα ελαττωμάτων να συντίθενται σκόπιμα για την προσομοίωση νέων εισόδων με στόχο τον σχηματισμό ενός ορίου γύρω από την γνωστή κατανομή εκπαίδευσης του μοντέλου. Η προσέγγισή μας δείχνει υποσχόμενα αποτελέσματα σε σύγκριση με τις καθιερωμένες μεθόδους αναγνώρισης ανοιχτού συνόλου και τις ημι-εποπτευόμενες μεθόδους που εφαρμόζονται στο ίδιο πρόβλημα, ενώ η σταθερή απόδοσή της σε διαφορετικούς χώρους χαρακτηριστικών υποδεικνύει χαμηλότερη σύζευξη με τη διαδικασία εξαγωγής τους. Η παραπάνω μέθοδος εξακολουθεί να απαιτεί αρκετά δεδομένα για την εκπαίδευση του StyleGAN, κάτι που μπορεί να μην είναι πάντα δυνατό ή οικονομικά αποδοτικό. Η συλλογή ολοένα και περισσότερων δεδομένων ελαττωμάτων επίσης συχνά δεν είναι λύση, καθώς τα ελαττώματα εμφανίζονται σπάνια στην παραγωγή και ο χρόνος εγκατάστασης του ευφυούς επιθεωρητή ποιότητας γίνεται σημαντικά πιο αργός. Για να αντιμετωπίσουμε μικρότερα σύνολα δεδομένων εφαρμόζουμε μια καινοτόμο προσέγγιση που βασίζεται στη Νευροσυμβολική Τεχνητή Νοημοσύνη. Συγκεκριμένα, χρησιμοποιούμε ένα Δίκτυο Λογικού Τανυστή που εκφράζει τις εξόδους ενός μη-επιβλεπόμενου ανιχνευτή ανωμαλιών ως συμβολικούς κανόνες με στόχο στη συνέχεια να καθοδηγήσει την εκπαίδευση ενός νευρωνικού δικτύου. Ο αλγόριθμος που προκύπτει δείχνει βελτιωμένα αποτελέσματα σε σύγκριση με άλλες σχετικές μεθόδους, ειδικά όσον αφορά στην ανάκληση ελαττωμάτων, πράγμα που σημαίνει ότι λίγα ελαττώματα παραμένουν μη ανιχνεύσιμα ακόμη και αν είναι εντελώς καινοφανή. Πιο συγκεκριμένα, επιτυγχάνει παρόμοια ή καλύτερα αποτελέσματα ανάκλησης από τις ημι-εποπτευόμενες και μη εποπτευόμενες μεθόδους κατά τον χειρισμό νέων ελαττωμάτων, αλλά παράλληλα υπερέχει σημαντικά σε ελαττώματα που παρατηρήθηκαν κατά τη διάρκεια της εκπαίδευσης. Ομοίως, σε σύγκριση με τις εποπτευόμενες μεθόδους, διατηρεί υψηλή απόδοση σε γνωστά ελαττώματα, ενώ ταυτόχρονα δείχνει μεγάλη βελτίωση στα καινοφανή. Τα αποτελέσματα αυτά γίνονται ορατά μέσω των υψηλότερων βαθμολογιών F1 στην πλειονότητα των συνόλων δεδομένων αξιολόγησης.