Χρήση δικτύων παραγωγικής μάθησης και διαδικτύου των πραγμάτων για την δημιουργία συστάσεων διατροφής

Abstract

Μέρα με την μέρα η τεχνολογία εισβάλλει όλο και περισσότερο στην καθημερινότητά μας, αλλάζοντας τις καθημερινές μας συνήθειες. Οι συσκευές που χρησιμοποιούμε τείνουν να γίνονται ολοένα και πιο έξυπνες. Ο κλάδος των smart things έχει αρχίσει να αναπτύσσεται με γοργούς ρυθμούς, και όλο και περισσότερες συσκευές αποκτούν συνδεσιμότητα στο διαδίκτυο. Με αυτή την σκέψη, στο πλαίσιο της παρούσας διπλωματικής εργασίας, θελήσαμε να δημιουργήσουμε μια προσέγγιση έξυπνου ψυγείου, το οποίο με βάση το περιεχόμενό του μπορεί να προτείνει στον χρήστη γεύματα που οδηγούν σε μια ισορροπημένη διατροφή. Αρχικά ο χρήστης μέσω φορητής κάμερας φωτογραφίζει τα περιεχόμενα του ψυγείου του. Με τη βοήθεια του εργαλείου Google Vision API, αναγνωρίζονται τα περιεχόμενα της φωτογραφίας και αποδίδονται ετικέτες σε αυτά. Με βάση το περιεχόμενο που αναγνωρίστηκε, επιλέγεται κατάλληλο σύνολο δεδομένων που χρησιμοποιείται για την εκπαίδευση ενός παραγωγικού ανταγωνιστικού δικτύου. Συγκεκριμένα χρησιμοποιήθηκε ένα DCGAN (Image-Generator) που παίρνοντας σαν είσοδο σύνολα εικόνων καταφέρνει να δημιουργεί συνθετικές εικόνες γευμάτων που μπορούν να παρασκευαστούν από τα υλικά που αναγνωρίστηκαν στην φωτογραφία των περιεχομένων του ψυγείου. Για την αξιολόγηση των παραγόμενων εικόνων και ειδικότερα της απόδοσης του δικτύου, χρησιμοποιήθηκε ένα συνελικτικό νευρωνικό δίκτυο, το οποίο εκπαιδεύτηκε σε δύο κλάσεις, ώστε να αναγνωρίζει δύο κατηγορίες τροφής. Το πείραμα εκτελέστηκε δύο φορές με διαφορετικό συνδυασμό κλάσεων. Ειδικότερα στο πρώτο πείραμα, το συνελικτικό νευρωνικό δίκτυο εκπαιδεύτηκε με πραγματικές εικόνες ώστε να αναγνωρίζει ψωμί και ζυμαρικά. Στη συνέχεια, κλήθηκε να αναγνωρίσει συνθετικές εικόνες ψωμιού και ζυμαρικών, οι οποίες παράγονται από το παραγωγικό ανταγωνιστικό δίκτυο. Το συνελικτικό δίκτυο κατάφερε να αναγνωρίσει τις παραγόμενες εικόνες ζυμαρικών και ψωμιού με επιτυχία 71%. Στο δεύτερο πείραμα, το δίκτυο εκπαιδεύτηκε να αναγνωρίζει εικόνες ψωμιού και λαχανικών και στη συνέχεια κατάφερε να ταξινομήσει συνθετικές εικόνες ψωμιού και λαχανικών με επιτυχία 87%. Τα αποτελέσματα αυτά δείχνουν ότι το παραγωγικό ανταγωνιστικό δίκτυο μπορεί να δημιουργήσει συνθετικές εικόνες τροφών, τις οποίες το συνελικτικό νευρωνικό δίκτυο καταφέρνει να αναγνωρίσει ορθά στην πλειονότητά τους, έπειτα από εκπαίδευση με πραγματικές εικόνες.