Δημιουργία Περιλήψεων Από Ακολουθίες Κινούμενων Εικόνων - Ανίχνευση Πλάνων Και Επιλογή Χαρακτηριστικών Καρέ

Abstract

Τα τελευταία χρόνια ο διαρκώς αυξανόμενος όγκος διαθέσιμου περιεχομένου βίντεο έχει οδηγήσει στην ανάγκη για την αυτόματη ανάλυση, σύνοψη και εξαγωγή πληροφορίας από το βίντεο. Κάθε ακολουθία κινούμενων εικόνων αποτελείται από ένα σύνολο πλάνων, που περιέχουν καρέ με χρονική συνέχεια, ενώ τα γειτονικά πλάνα συνδέονται στα όριά τους με κάποιο είδος μετάβασης. Η ανίχνευση των ορίων αυτών και η χρονική κατάτμηση της ακολουθίας αποτελούν συνήθως το πρώτο βήμα για κάθε είδους ανάλυση του βίντεο, ενώ το επόμενο και πιο σημαντικό βήμα αφορά στη σύνοψη ή δημιουργία περίληψης από το βίντεο. Η τελευταία επιτυγχάνεται συνήθως με την επιλογή ενός αριθμού χαρακτηριστικών καρέ από κάθε πλάνο, ούτως ώστε να αναπαρασταθεί το περιεχόμενό του με σύντομο και ταυτόχρονα περιεκτικό τρόπο.Σε αυτή τη διπλωματική εργασία κατασκευάζεται ένα σύστημα περίληψης βίντεο, το οποίο υποστηρίζει ανίχνευση αλλαγής πλάνου, εξαγωγή χαρακτηριστικών ιδιοτήτων και επιλογή χαρακτηριστικών καρέ. Το σύστημα συνδυάζει μεθόδους απευθείας στο κωδικοποιημένο πεδίο MPEG και εντοπίζει αυτόματα τις αλλαγές πλάνου του βίντεο. Στη συνέχεια εξάγονται οι χαρακτηριστικές ιδιότητες από κάθε καρέ της ακολουθίας και η τιμή τους δίνει ένα σημείο στον χώρο των χαρακτηριστικών, οπότε ολόκληρη η ακολουθία του βίντεο αντιπροσωπεύεται από μία τροχιά σε αυτόν τον πολυδιάστατο χώρο. Με μαθηματικές μεθόδους ορισμού της καμπυλότητας καθορίζονται τα χαρακτηριστικά σημεία της καμπύλης, στα οποία παρατηρείται τοπικά ακραία συμπεριφορά. Το σύστημα εξάγει αυτόματα τα χαρακτηριστικά καρέ μέσω των σημείων τοπικών μεγίστων και τοπικών ελαχίστων της καμπυλότητας, ανεξάρτητα από το περιεχόμενο του βίντεο.Στα πλαίσια της εργασίας συγκρίνονται δύο διαφορετικοί τρόποι υπολογισμού της καμπυλότητας και δύο άλλες ήδη υλοποιημένες μέθοδοι, που εξάγουν χαρακτηριστικά σημεία καμπύλης. Τα πειράματα αφορούν στην αξιολόγηση της αποτελεσματικότητας των μεθόδων για την εξαγωγή χαρακτηριστικών καρέ του βίντεο. Η επίδοση των μεθόδων επιδιώκεται να βελτιωθεί με τη βοήθεια του υπολογιστικού μοντέλου της οπτικής προσοχής, με το οποίο εντοπίζεται μία σημαντική περιοχή της εικόνας για την εξαγωγή των χαρακτηριστικών ιδιοτήτων από αυτή. Τέλος, μέσα από τα αποτελέσματα των πειραμάτων αναλύονται οι δυνατότητες, οι ελλείψεις και τα περιθώρια βελτίωσης και επέκτασης του συστήματος περίληψης βίντεο.