Αρχιτεκτονικές FPGA για Βαθιά Συνελικτικά Νευρωνικά Δίκτυα Ταξινόμησης Δορυφορικών Εικόνων - FPGA Architectures of Deep Convolutional Neural Networks for Satellite Image Classification

Abstract

Την τελευταία δεκαετία τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ) αναδείχθηκαν ως μία από τις καλύτερες προσεγγίσεις για την αντιμετώπιση ορισμένων προκλήσεων της Όρασης Υπολογιστών, όπως η ταξινόμηση εικόνων και ο εντοπισμός αντικειμένων σε αυτές. Για την αξιοποίηση των ΣΝΔ σε ένα πλήθος εφαρμογών απαιτούνται υψηλών επιδόσεων και χαμηλής κατανάλωσης ενέργειας υπολογιστικά συστήματα. Στην κατεύθυνση αυτή, η τεχνολογία των FPGA αποτελεί έναν εξαιρετικό υποψήφιο για την υλοποίηση ΣΝΔ σε ενσωματωμένα συστήματα. Αποφασίσαμε να διερευνήσουμε FPGA αρχιτεκτονικές για Συνελικτικά Νευρωνικά Δίκτυα ταξινόμησης δορυφορικών εικόνων, έχοντας κατά νου τις ανάγκες της επιστημονικής κοινότητας της Τηλεπισκόπησης. Η παρούσα διπλωματική εργασία παραδίδει (i) FPGA αρχιτεκτονικές σχεδιασμένες σε VHDL για την υλοποίηση Συνελικτικών Νευρωνικών Δικτύων χρησιμοποιώντας αποκλειστικά την μνήμη της προγραμματιζόμενης λογικής και (ii) το "Modified Cifar-10 Full", ένα βαθύ ΣΝΔ λίγων bit, κατασκευασμένο και εκπαιδευμένο με το Caffe framework σε εικόνες του SAT-6 airborne dataset. Το συγκεκριμένο σύνολο δεδομένων αποτελείται από εικόνες των 28x28 εικονοστοιχείων, χωρικής ακρίβειας του ενός μέτρου, οι οποίες ανήκουν σε 6 κατηγορίες: άγονη γη, δέντρα, λιβάδια, δρόμοι, κτήρια και υδάτινες μάζες. Το Modified Cifar-10 Full ΣΝΔ που καταθέτουμε, επιτυγχάνει να ταξινομήσει σωστά τις εικόνες του SAT-6 airborne dataset με top-1 ακρίβεια 94,89%, χρησιμοποιώντας 8-bit για τα βάρη του δικτύου και 4-bit για τα κανάλια εισόδων και εξόδων εντός του. Η πλήρης εκτέλεση του Modified Cifar-10 Full ΣΝΔ πραγματοποιείται αποκλειστικά στην προγραμματιζόμενη λογική του FPGA, χωρίς την χρήση εξωτερικής μνήμης ή την διαμεσολάβηση μιας CPU. Τοποθετημένη στη συσκευή Xilinx Zynq Z-7020 SoC, η αρχιτεκτονική που σχεδιάσαμε λειτουργεί στα 100 MHz, μπορεί να ταξινομήσει 4650 εικόνες το δευτερόλεπτο και καταναλώνει 1,76 Watt ενέργεια, επιτυγχάνοντας x377 επιτάχυνση στο ρυθμό ταξινόμησης εικόνων σε σχέση με την εκτέλεση του ΣΝΔ αποκλειστικά στον ενσωματωμένο Cortex A9-Arm επεξεργαστή. Σε σύγκριση με HLS υλοποιήσεις επί της ίδιας συσκευής, η σχεδίασή μας επιτυγχάνει x2,4 επιτάχυνση. Τέλος, συγκρινόμενη με το Fathom Neural Compute Stick της Movidius που βασίζεται στο Myriad Visual Processing Unit, η σχεδίασή μας επί του Xilinx Zynq Z-7020 SoC επιτυγχάνει x16 υψηλότερο ρυθμό ταξινόμησης. ----------------------------------------------------------------------------------------------------------------------------------------- Over the past decade Convolutional Neural Networks (CNNs) emerged as the state-of-the-art approach to tackle certain Computer Vision problems such as image classification and object detection. Employing CNNs in a multitude of applications requires high-performance, low-power computing. Field Programmable Gate Array (FPGA) technologies have been identified as exceptional candidates for the implementation of CNNs' inference stage. We explored FPGA architectures for satellite image classification using CNNs, having in mind the needs of the remote sensing community. This thesis delivers a high-throughput, low-power FPGA design of a highly accurate deep Convolutional Neural Network, suitable for embedded systems placed on UAVs-drones/satellites, classifying images at the edge of the computing cloud. More specifically, we deliver i) FPGA architectures designed in VHDL for the inference of deep CNNs, using only the on-chip memory of the Programmable Logic and, ii) a low bit-width customized CNN model (the "Modified Cifar-10 Full"), created and trained with the Caffe framework on the SAT-6 airborne dataset. The SAT-6 airborne dataset consists of 28x28 pixel images of one meter spatial resolution, covering six land cover classes (barren land, trees, grassland, roads, buildings and water bodies). Using 8-bit weights and 4-bit feature maps, Modified Cifar-10 Full achieves 94.89% top-1 accuracy on the SAT-6 airborne dataset. The whole processing of Modified Cifar-10 Full is performed on the Programmable Logic of the FPGA chip without a need for an external memory or a CPU to coordinate and monitor the algorithm’s execution. When mapped on the Xilinx Zynq Z-7020 SoC our design operates at 100MHz consuming 1.76 Watt and can classify 4650 images per second. Compared against other implementations, our design on the Xilinx Zynq Z-7020 SoC achieves throughput speedups of x377 against an implementation solely on the embedded Cortex-A9 Arm processor, x2.4 against High-Level Synthesis implementations on the same device and, x16.2 against the Fathom Neural Compute Stick by Movidius featuring the Myriad Visual Processing Unit.