Ανεύρεση και ανάλυση αισθήματος κριτικών και λημμάτων με τεχνικές μηχανικής μάθησης

Abstract

Οι διαδικτυακές αγορές έχουν αναπτυχθεί ταχύτατα τις τελευταίες δεκαετίες με αποτέλεσμα πολλές εταιρείες ηλεκτρονικού εμπορίου να έχουν δημιουργηθεί για να καλύψουν την αυξανόμενη ζήτηση. Στο πλαίσιο αυτό το Amazon είναι ένας από τους κολλοσούς του ηλεκτρονικού εμπορίου και χρησιμοποιείται καθημερινά από την πλειοψηφία των ανθρώπων για τις αγορές τους. Η εταιρεία αυτή προσφέρει πληθώρα ελεύθερων δεδομένων η ανάλυση των οποίων αξιοποιείται σε πολλούς τομείς, όπως η ενημέρωση των καταναλωτών αλλά και των πάροχων προϊόντων. Στην παρούσα διπλωματική ασχολούμαστε με τα σχόλια χρηστών που παρέχει το Amazon για κάθε προϊόν με σκοπό τον εντοπισμό ενός πιθανού ελλατώματός του. Σε αρχικό στάδιο χρησιμοποιώντας έναν αλγόριθμο επιβλεπόμενης μηχανικής μάθησης, συγκεκριμένα έναν ταξινομητή, γίνεται η ανάλυση αισθήματος για κάθε σχόλιο των προϊόντων που επιλέχθησαν , με σκοπό τον καθορισμό της πολικότητάς τους. Με στόχο τη βελτίωση της απόδοσης του επιλεγμένου αλγορίθμου χρησιμοποιείται και μία μέθοδος ημι-επιβλεπόμενης μάθησης που ονομάζεται self-training. Στη συνέχεια με τη βοήθεια στατιστικών μεθόδων έγινε η εύρεση των σημαντικότερων λέξεων ,λέξεων-κλειδιών, για το εκάστοτε προϊον ,οι οποίες αναδεικνύουν το ελλάτωμά του και συνεπώς το που χρήζει βελτίωσης. Τα προϊόντα που επιλέχθησαν από το Amazon για τις ανάγκες της παρούσας διπλωματικής ανήκουν στην κατηγορία electronics. Τέλος για να καλυφθούν οι υπολογιστικοί πόροοι που απαιτεί η αποθήκευση ενός τέτοιου μεγάλου όγκου δεδομένων χρησιμοποιήσαμε την elasticsearch ως βάση αποθήκευσης και επεξεργασίας δεδομένων.