Χρήση Crawlers για την εξαγωγή δεδομένων από το διαδίκτυο

Abstract

Σκοπός της παρούσας διπλωματικής εργασίας είναι, η κατασκευή μιας έξυπνης “πλατφόρμας” ειδησεογραφικού περιεχομένου και η διευκόλυνση της πρόσβασης του ανθρώπου σε ένα ευρύ φάσμα ειδήσεων και χρήσιμων περαιτέρω αναλύσεων. Πρώτο στάδιο για την δημιουργία της πλατφόρμας αποτέλεσε η συλλογή των δεδομένων. Για τον λόγο αυτό επιλέχθηκαν 20 διαφορετικές ελληνικές ιστοσελίδες με ποικιλία ως προς το περιεχόμενο, την ιδεολογία και τα ενδιαφέροντα. Στην συνέχεια κατασκευάστηκαν 10 “αράχνες” και χρησιμοποιήθηκαν για την αυτοματοποιημένη συλλογή δεδομένων. Συνολικά συγκεντρώθηκαν 35.000 άρθρα από 10 κατηγορίες.Τα άρθρα αυτά στην συνέχεια χρησιμοποιήθηκαν για την ανάλυση δεδομένων. Οι τρεις βασικοί άξονες της ανάλυσης των άρθρων ήταν ως προς το περιεχόμενο, την ποιότητα και τους συγγραφείς. Σημαντικό κομμάτι της ανάλυσης αποτελεί και η κατασκευή του κατηγοριοποιητή άρθρων. Για την κατασκευή του κατηγοριοποιητή χρησιμοποιήθηκε ο αλγόριθμος Naive Bayes, με ποσοστό επιτυχίας 68%. Επιπλέον κατασκευάστηκε ένα σύστημα προτάσεων όμοιων άρθρων βάση της ομοιότητας των λέξεων. Για κάθε άρθρο προτείνεται στην ιστοσελίδα τα 3 ομοιότερα ως προς αυτό άρθρα για ανάγνωση. Στόχος της παραπάνω ανάλυσης είναι ο αναγνώστης να αποκτήσει μία ευρύτερη και οξύτερη κατανόηση πάνω σε όσα διαβάζει. Παράλληλα δίνεται η δυνατότητα πλοήγησης σε έναν ιστότοπο με πολύπλευρα ενδιαφέροντα και επιρροές, αποκλειστικά ειδησεογραφικού περιεχομένου, μετατρέποντας την εμπειρία ενημέρωση, στοχευμένη και γρήγορη.