Πολυ-Αισθητηριακή Ακουστική Ανάλυση Περιβάλλοντος

Abstract

Στη Διατριβή μας εξετάζουμε το πρόβλημα του εντοπισμού ακουστικών γεγονότων σε «έξυπνα» περιβάλλοντα με πολλαπλά μικρόφωνα. Ο εντοπισμός ακουστικών γεγονότων αποτελεί σημαντικό τμήμα του ευρύτερου πεδίου της υπολογιστικής ανάλυσης ακουστικής σκηνής, και στόχος του είναι ο αυτόματος εντοπισμός στον χρόνο και η αναγνώριση των ακουστικών γεγονότων που περιέχονται σε ένα ηχητικό στιγμιότυπο. Στην έρευνά μας εστιάζουμε στην ανάπτυξη μεθόδων για την αξιοποίηση της πληροφορίας από πολλαπλά μικρόφωνα για τον εντοπισμό γεγονότων σε απαιτητικές συνθήκες με φαινόμενα επικάλυψης. Αρχικά, δίνουμε έμφαση στο πρόβλημα του εντοπισμού της ανθρώπινης φωνής, και στα πλαίσια ενός «έξυπνου» οικιακού περιβάλλοντος με πολλαπλά δωμάτια αναπτύσσουμε ένα σύστημα χωρο-χρονικού εντοπισμού φωνής δύο σταδίων, κατάλληλο για διαλογικά συστήματα φωνητικών εντολών. Στο πρώτο στάδιο, το σύστημά μας συνδυάζει αποτελεσματικά τα σήματα από πολλαπλά μικρόφωνα για να πετύχει τον χρονικό εντοπισμό της φωνής, και στο δεύτερο, καινοτόμα πολυκαναλικά χαρακτηριστικά εξάγονται για τον χωρικό εντοπισμό της φωνής σε επίπεδο δωματίου. Το σύστημά μας επιδεικνύει εύρωστη απόδοση και συγκρίνεται ευνοϊκά με μεθόδους βαθιάς μηχανικής μάθησης. Στη συνέχεια, στο ευρύτερο πρόβλημα του εντοπισμού ακουστικών γεγονότων, δίνουμε έμφαση στο απαιτητικό σενάριο των επικαλυπτόμενων γεγονότων και πειραματιζόμαστε με μεθόδους παραγοντοποίησης μη-αρνητικών πινάκων (NMF). Στα πλαίσια αυτής της έρευνας, διερευνούμε μεθόδους για την βελτίωση του σταδίου εντοπισμού σε βασικές μεθόδους NMF, την αύξηση της αποδοτικότητας σε δύσκολες επικαλυπτόμενες συνθήκες συστημάτων NMF που συνδυάζονται με ταξινομητές, και τέλος την ανάπτυξη αποτελεσματικών πολυ-καναλικών συστημάτων NMF για προβλήματα εντοπισμού γεγονότων. Τέλος, πειραματιζόμαστε με μεθόδους βαθιάς μηχανικής μάθησης για τον εντοπισμό επικαλυπτόμενων γεγονότων σε περιπτώσεις όπου υπάρχει μεγάλη ποικιλία πιθανών κλάσεων. Σε αυτή την κατεύθυνση, προτείνουμε τον συνδυασμό και την από κοινού εκπαίδευση ενός πολυ-καναλικού νευρωνικού δικτύου διαχωρισμού γεγονότων με ένα νευρωνικό δίκτυο ταξινόμησης ακουστικών γεγονότων, πετυχαίνοντας βελτιωμένη απόδοση σε σχέση με παραδοσιακές τεχνικές. Για την αξιολόγηση των μεθόδων μας, χρησιμοποιούμε διάφορες συνθετικές και πραγματικές βάσεις δεδομένων που δημιουργήθηκαν/ηχογραφήθηκαν σε κατάλληλα πολυ-καναλικά «έξυπνα» περιβάλλοντα.