Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17919
Title: | Χρήση Crawlers για την εξαγωγή δεδομένων από το διαδίκτυο |
Authors: | Καρανικόλα, Ελένη Ασκούνης Δημήτριος |
Keywords: | Web Crawling, Big Data, Web Development, Naive Bayes, Smart Websites, classification, flask |
Issue Date: | 18-Mar-2021 |
Abstract: | Σκοπός της παρούσας διπλωματικής εργασίας είναι, η κατασκευή μιας έξυπνης “πλατφόρμας” ειδησεογραφικού περιεχομένου και η διευκόλυνση της πρόσβασης του ανθρώπου σε ένα ευρύ φάσμα ειδήσεων και χρήσιμων περαιτέρω αναλύσεων. Πρώτο στάδιο για την δημιουργία της πλατφόρμας αποτέλεσε η συλλογή των δεδομένων. Για τον λόγο αυτό επιλέχθηκαν 20 διαφορετικές ελληνικές ιστοσελίδες με ποικιλία ως προς το περιεχόμενο, την ιδεολογία και τα ενδιαφέροντα. Στην συνέχεια κατασκευάστηκαν 10 “αράχνες” και χρησιμοποιήθηκαν για την αυτοματοποιημένη συλλογή δεδομένων. Συνολικά συγκεντρώθηκαν 35.000 άρθρα από 10 κατηγορίες.Τα άρθρα αυτά στην συνέχεια χρησιμοποιήθηκαν για την ανάλυση δεδομένων. Οι τρεις βασικοί άξονες της ανάλυσης των άρθρων ήταν ως προς το περιεχόμενο, την ποιότητα και τους συγγραφείς. Σημαντικό κομμάτι της ανάλυσης αποτελεί και η κατασκευή του κατηγοριοποιητή άρθρων. Για την κατασκευή του κατηγοριοποιητή χρησιμοποιήθηκε ο αλγόριθμος Naive Bayes, με ποσοστό επιτυχίας 68%. Επιπλέον κατασκευάστηκε ένα σύστημα προτάσεων όμοιων άρθρων βάση της ομοιότητας των λέξεων. Για κάθε άρθρο προτείνεται στην ιστοσελίδα τα 3 ομοιότερα ως προς αυτό άρθρα για ανάγνωση. Στόχος της παραπάνω ανάλυσης είναι ο αναγνώστης να αποκτήσει μία ευρύτερη και οξύτερη κατανόηση πάνω σε όσα διαβάζει. Παράλληλα δίνεται η δυνατότητα πλοήγησης σε έναν ιστότοπο με πολύπλευρα ενδιαφέροντα και επιρροές, αποκλειστικά ειδησεογραφικού περιεχομένου, μετατρέποντας την εμπειρία ενημέρωση, στοχευμένη και γρήγορη. |
URI: | http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17919 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Χρηση Crawlers για την εξαγωγή δεδομένων από το διαδίκτυο.pdf | 6.47 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.