Αναγνώριση στατικών χαρακτηριστικών στο πλαίσιο μετάφρασης Νοηματικών Γλωσσών

Abstract

Η παρούσα εργασία εξετάζει μία μέθοδο βασισμένη σε μοντέλα Μηχανικής Μάθησης με σκοπό την αναγνώριση των κύριων δομικών χαρακτηριστικών που συνθέτουν μεμονωμένες λέξεις μίας νοηματικής γλώσσας. Αρχικά, γίνεται αναφορά στις ιδιαιτερότητες των νοηματικών γλωσσών συγκριτικά με τον προφορικό λόγο αλλά και μία παρουσίαση για μερικές από τις συλλογές καταγραφής νοηματικών γλωσσών διεθνώς. Η μεθοδολογία που αναπτύσσεται εστιάζει στην παρακολούθηση και ανάλυση του κυρίαρχου χεριού κάθε νοηματιστή αλλά είναι άμεσα επεκτάσιμη και στο δευτερεύον χέρι. Το πρόβλημα της μετάφρασης από μία νοηματική γλώσσα σε γραπτό λόγο αντιμετωπίζεται με τη χρήση του συστήματος επισημείωσης HamNoSys ως ενδιάμεσο στάδιο. Το πρώτο μέρος της μεθόδου αφορά την διαλογή των χρήσιμων στιγμιοτύπων κάθε βίντεο μέσα από την ανάπτυξη ενός προστακτικού αλγορίθμου και την μετάβαση από την επισημείωση σε επίπεδο βίντεο στην επισημείωση σε επίπεδο στιγμιοτύπων με χρήση αλγορίθμων μη επιβλεπούμενης μάθησης. Τέλος, το τροποποιημένο σύνολο δεδομένων χρησιμοποιείται για την εκπαίδευση βαθιών νευρωνικών δικτύων με εξειδίκευση το κάθε ένα στην αναγνώριση επί μέρους χαρακτηριστικών. Ολοκληρώνοντας, εξηγείται πώς ο συνδυασμός αυτών των δικτύων μπορεί να αποτελέσει ένα πολύ καλό σύστημα συστάσεων σε επίπεδο λέξεων και γίνονται προτάσεις για σχεδιασμό Dataset που θα μπορέσουν να χρησιμοποιηθούν για την ανάπτυξη μελλοντικών συστημάτων με δυνατότητες μετάφρασης νοηματικών γλωσσών.