Python, Spark, and Hadoop for Big Data Training Course

Αυτό το μάθημα απευθύνεται σε προγραμματιστές και επιστήμονες δεδομένων που θέλουν να κατανοήσουν και να εφαρμόσουν την τεχνητή νοημοσύνη στις εφαρμογές τους. Ιδιαίτερη έμφαση δίνεται στην ανάλυση δεδομένων, την κατανεμημένη τεχνητή νοημοσύνη και την επεξεργασία φυσικής γλώσσας.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες και μηχανικούς δεδομένων μεσαίου επιπέδου που επιθυμούν να χρησιμοποιήσουν το Google Colab και το Apache Spark για επεξεργασία και ανάλυση μεγάλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστείτε και αναλύστε μεγάλα σύνολα δεδομένων αποτελεσματικά με το Apache Spark.
• Οπτικοποιήστε μεγάλα δεδομένα σε ένα συνεργατικό περιβάλλον.
• Ενσωματώστε το Apache Spark με εργαλεία που βασίζονται σε σύννεφο.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις.

Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές, οι συμμετέχοντες θα μάθουν για τις προσφορές τεχνολογίας και τις προσεγγίσεις υλοποίησης για την επεξεργασία δεδομένων γραφήματος. Ο στόχος είναι να προσδιοριστούν τα αντικείμενα του πραγματικού κόσμου, τα χαρακτηριστικά και οι σχέσεις τους, στη συνέχεια να μοντελοποιηθούν αυτές οι σχέσεις και να επεξεργαστούν ως δεδομένα χρησιμοποιώντας μια προσέγγιση Graph Computing (γνωστή και ως Graph Analytics). Ξεκινάμε με μια ευρεία επισκόπηση και περιορίζουμε τα συγκεκριμένα εργαλεία καθώς προχωράμε σε μια σειρά περιπτωσιολογικών μελετών, πρακτικών ασκήσεων και ζωντανών αναπτύξεων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε πώς διατηρούνται και διασχίζονται τα δεδομένα γραφήματος.
• Επιλέξτε το καλύτερο πλαίσιο για μια δεδομένη εργασία (από βάσεις δεδομένων γραφημάτων έως πλαίσια επεξεργασίας παρτίδας.)
• Εφαρμόστε τα Hadoop, Spark, GraphX και Pregel για να πραγματοποιήσετε υπολογισμούς γραφημάτων σε πολλές μηχανές παράλληλα.
• Δείτε τα προβλήματα μεγάλων δεδομένων του πραγματικού κόσμου όσον αφορά τα γραφήματα, τις διεργασίες και τις διαβάσεις.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές συστημάτων που επιθυμούν να μάθουν πώς να δημιουργούν, να αναπτύσσουν και να διαχειρίζονται Hadoop συμπλέγματα εντός του οργανισμού τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Hadoop.
• Κατανοήστε τα τέσσερα κύρια στοιχεία στο οικοσύστημα Hadoop: HDFS, MapReduce, YARN και Hadoop Common.
• Χρησιμοποιήστε το Hadoop Distributed File System (HDFS) για να κλιμακώσετε ένα σύμπλεγμα σε εκατοντάδες ή χιλιάδες κόμβους.
• Ρυθμίστε το HDFS ώστε να λειτουργεί ως μηχανή αποθήκευσης για επιτόπιες αναπτύξεις Spark.
• Ρυθμίστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως συστήματα βάσεων δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike κ.λπ.
• Εκτελέστε διοικητικές εργασίες όπως η παροχή, η διαχείριση, η παρακολούθηση και η ασφάλιση ενός συμπλέγματος Apache Hadoop.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα.
• Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark.
• Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark.
• Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

Το Cloudera Impala είναι μια μηχανή αναζήτησης ανοιχτού κώδικα μαζικής παράλληλης επεξεργασίας (MPP) SQL για συμπλέγματα Apache Hadoop.

Το Impala επιτρέπει στους χρήστες να εκδίδουν ερωτήματα χαμηλής καθυστέρησης SQL σε δεδομένα που είναι αποθηκευμένα στο Hadoop Κατανεμημένο Σύστημα Αρχείων και στο Apache Hbase χωρίς να απαιτείται μετακίνηση ή μετατροπή δεδομένων.

Ακροατήριο

Αυτό το μάθημα απευθύνεται σε αναλυτές και επιστήμονες δεδομένων που πραγματοποιούν ανάλυση δεδομένων που είναι αποθηκευμένα στο Hadoop μέσω Business Intelligence ή SQL εργαλείων.

Μετά από αυτό το μάθημα οι σύνεδροι θα μπορούν

• Εξάγετε σημαντικές πληροφορίες από Hadoop συμπλέγματα με Impala.
• Γράψτε συγκεκριμένα προγράμματα για να διευκολύνετε την Business Ευφυΐα στη Impala SQL Διάλεκτο.
• Αντιμετώπιση προβλημάτων Impala.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν τη στοίβα SMACK για να δημιουργήσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εφαρμόστε μια αρχιτεκτονική αγωγών δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξτε μια υποδομή συμπλέγματος με το Apache Mesos και το Docker.
• Αναλύστε δεδομένα με Spark και Scala.
• Διαχειριστείτε μη δομημένα δεδομένα με το Apache Cassandra.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς που επιθυμούν να δημιουργήσουν και να αναπτύξουν σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανοήστε τη διαφορά μεταξύ του Apache Spark και του Hadoop MapReduce και πότε να χρησιμοποιήσετε ποιο.
• Ενσωματώστε το Apache Spark με άλλα εργαλεία μηχανικής εκμάθησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου.

Διαχωρίζεται σε δύο πακέτα:

• Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.

• Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό

Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark