Μελέτη Και Υλοποίηση Μιας Πλατφόρμας Κοινωνικής Δικτύωσης, Με Έμφαση Στη Διαχείριση Μεγάλου Όγκου Δεδομένων

Abstract

Μέσω αυτής της διπλωματικής εργασίας επιχειρούμε μια προσέγγιση πάνω στο πρόβλημα της διαχείρισης μεγάλου όγκου δεδομένων. Τα συστήματα όπου εμπλέκεται σημαντικός όγκος πληροφορίας είναι πάρα πολλά και αφορούν πλήθος διαφορετικών περιπτώσεων. Σαν παράδειγμα μελέτης επιλέξαμε αυτό των κοινωνικών δικτύων. Τα κοινωνικά δίκτυα την τελευταία δεκαετία έχουν αρχίσει να αποτελούν αναπόσπαστο κομμάτι της ζωής δισεκατομμυρίων ανθρώπων σε κάθε γωνιά του πλανήτη.Καταπιανόμαστε λοιπόν κυρίως με τα ζητήματα που αφορούν την απόδοση ενός τέτοιου δικτύου κάτω από μεγάλο φορτίο, και εξερευνούμε τρόπους προκειμένου να δώσουμε απαντήσεις. Για το σκοπό αυτό σε πρώτο στάδιο γίνεται ο σχεδιασμός και η υλοποίηση μιας διαδικτυακής εφαρμογής κοινωνικού δικτύου προκειμένου να προσδιοριστούν οι λειτουργίες που πρέπει να διαθέτει ένα τέτοιο σενάριο και κατόπιν εντοπίζονται τα τμήματα αυτού που παρουσιάζουν αδυναμία ανταπόκρισης στο αυξανόμενο φορτίο. Στη συνέχεια χρησιμοποιώντας τις δυνατότητες του Apache Spark, που αποτελεί ένα προγραμματιστικό και υπολογιστικό μοντέλο για κατανεμημένα συστήματα, προσπαθούμε να αντιμετωπίσουμε τις ανάγκες του δικτύου, με χρήση συγκεκριμένων αρχιτεκτονικών και μεθόδων. Τέλος για να εξασφαλίσουμε τους υπολογιστικούς πόρους που απαιτεί η χρήση του Apache Spark, δηλαδή μια διασυνδεδεμένη ομάδα υπολογιστών, μεταφέραμε την υλοποίηση μας και εκτελέσαμε τις μετρήσεις μας στην υπηρεσία υπολογιστικού νέφους της Google, την Google Cloud Platform.