FPGA-oriented deep learning for earth observation image classification

Abstract

Στην συγκεκριμένη διπλωματική εργασία σχεδιάστηκαν νευρωνικά δίκτυα με την βοήθεια του keras στο tensorflow με στόχο την υλοποίησή τους σε πλατφόρμα FPGA. Χρησιμοποιήθηκαν και εκπαιδεύτηκαν δεδομένα από δύο διαγωνισμούς της kaggle, ένας αναγνώρισης παγόβουνων και ένας αναγνώρισης πλοίων. Για την εκπαίδευση των μοντέλων έγινε χρήση πλήρως συνδεδεμένων νευρωνικών δικτύων και συνελικτικών νευρωνικών δικτύων. Ταυτόχρονα για τα δεδομένα αναγνώρισης πλοίων που ήταν περισσότερα, μεγάλο ενδιαφέρον δόθηκε στην βελτιστοποίηση του συνελικτικού μοντέλου ως προς την μνήμη. Αυτό επιτεύχθηκε εφαρμόζοντας δύο τρόπους. Ο πρώτος ήταν αλλάζοντας την αρχιτεκτονική του δικτύου μειώνοντας έτσι τον αριθμό των παραμέτρων προς εκπαίδευση κατά 10 φορές. Ο δεύτερος ήταν η μετατροπή του τύπου των παραμέτρων από απλής ακρίβειας (float32) σε μισής ακρίβειας (float16) που έφερε επιπλέον μείωση της μνήμης. Στο δεύτερο μέρος της διπλωματικής, δοκιμάσαμε τρία εργαλεία το LeFlow, το hls4ml και της Xilinx το Machine Learning Suite για μετατροπή του μοντέλου σε μορφή συμβατή για εφαρμογή σε πλατφόρμα FPGA. Τελικά, μεγαλύτερη έμφαση δόθηκε στο εργαλείο hls4ml με το οποίο καταφέραμε να εφαρμόσουμε το μοντέλο στην πλακέτα ZYNQ-7 ZC702. Λόγω της φύσης του εργαλείου, σε πολύ μικρό χρόνο ανάπτυξης (περίπου μισό μήνα), πετύχαμε να υλοποιήσουμε το νευρωνικό δίκτυο χρησιμοποιώντας αποκλειστικά την μνήμη της προγραμματιζόμενης λογικής και με τελικό throughput 35 Images/sec.