Big Data Training in Αθήνα

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες και μηχανικούς δεδομένων μεσαίου επιπέδου που επιθυμούν να χρησιμοποιήσουν το Google Colab και το Apache Spark για επεξεργασία και ανάλυση μεγάλων δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστείτε και αναλύστε μεγάλα σύνολα δεδομένων αποτελεσματικά με το Apache Spark.
• Οπτικοποιήστε μεγάλα δεδομένα σε ένα συνεργατικό περιβάλλον.
• Ενσωματώστε το Apache Spark με εργαλεία που βασίζονται σε σύννεφο.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Αθήνα θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του. Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης. Το μάθημα ξεκινά με μια εισαγωγή στις στοιχειώδεις έννοιες του Big Data και στη συνέχεια προχωρά στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση Data Analysis. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν Big Data αποθήκευση, κατανεμημένη επεξεργασία και Scalaικανότητα.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες δεδομένων προηγμένου επιπέδου που επιθυμούν να βελτιστοποιήσουν τις ροές εργασίας επεξεργασίας δεδομένων, να εξασφαλίσουν την ακεραιότητα των δεδομένων και να εφαρμόσουν ισχυρές λύσεις lakehouse δεδομένων που μπορούν να χειριστούν την πολυπλοκότητα των σύγχρονων μεγάλων εφαρμογές δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αποκτήστε μια εις βάθος κατανόηση της αρχιτεκτονικής του Iceberg, συμπεριλαμβανομένης της διαχείρισης μεταδεδομένων και της διάταξης αρχείων.
• Διαμορφώστε το Iceberg για βέλτιστη απόδοση σε διάφορα περιβάλλοντα και ενσωματώστε το με πολλαπλούς κινητήρες επεξεργασίας δεδομένων.
• Διαχειριστείτε μεγάλης κλίμακας πίνακες Iceberg, εκτελέστε σύνθετες αλλαγές σχήματος και χειριστείτε την εξέλιξη των διαμερισμάτων.
• Βασικές τεχνικές για τη βελτιστοποίηση της απόδοσης ερωτημάτων και της αποτελεσματικότητας σάρωσης δεδομένων για μεγάλα σύνολα δεδομένων.
• Εφαρμόστε μηχανισμούς για τη διασφάλιση της συνέπειας των δεδομένων, τη διαχείριση των εγγυήσεων συναλλαγών και τη διαχείριση αστοχιών σε κατανεμημένα περιβάλλοντα.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους επαγγελματίες δεδομένων που επιθυμούν να αποκτήσουν τις απαραίτητες γνώσεις και δεξιότητες για την αποτελεσματική χρήση του Apache Iceberg για τη διαχείριση συνόλων δεδομένων μεγάλης κλίμακας, τη διασφάλιση της ακεραιότητας των δεδομένων και βελτιστοποίηση των ροών εργασίας επεξεργασίας δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αποκτήστε μια πλήρη κατανόηση της αρχιτεκτονικής, των χαρακτηριστικών και των πλεονεκτημάτων του Apache Iceberg.
• Μάθετε για τις μορφές πινάκων, τη διαίρεση, την εξέλιξη σχημάτων και τις δυνατότητες ταξιδιού στο χρόνο.
• Εγκαταστήστε και διαμορφώστε το Apache Iceberg σε διαφορετικά περιβάλλοντα.
• Δημιουργήστε, διαχειριστείτε και χειριστείτε τραπέζια Iceberg.
• Κατανοήστε τη διαδικασία μετεγκατάστασης δεδομένων από άλλες μορφές πινάκων στο Iceberg.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες πληροφορικής μεσαίου επιπέδου που επιθυμούν να βελτιώσουν τις δεξιότητές τους στην αρχιτεκτονική δεδομένων, τη διακυβέρνηση, το cloud computing και τις τεχνολογίες μεγάλων δεδομένων για την αποτελεσματική διαχείριση και ανάλυση μεγάλων συνόλων δεδομένων για τη μεταφορά δεδομένων στους οργανισμούς τους. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανόηση των θεμελιωδών εννοιών και στοιχείων διαφόρων αρχιτεκτονικών δεδομένων.
• Αποκτήστε μια ολοκληρωμένη κατανόηση των αρχών διακυβέρνησης δεδομένων και της σημασίας τους σε ρυθμιστικά περιβάλλοντα.
• Εφαρμογή και διαχείριση πλαισίων διακυβέρνησης δεδομένων όπως Dama και Togaf.
• Αξιοποιήστε τις πλατφόρμες cloud για αποτελεσματική αποθήκευση, επεξεργασία και διαχείριση δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων μεσαίου επιπέδου που επιθυμούν να μάθουν πώς να χρησιμοποιούν το Azure Data Lake Storage Gen2 για αποτελεσματικές λύσεις ανάλυσης δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική και τα βασικά χαρακτηριστικά του Azure Data Lake Storage Gen2.
• Βελτιστοποιήστε την αποθήκευση δεδομένων και την πρόσβαση για κόστος και απόδοση.
• Ενσωματώστε το Azure Data Lake Storage Gen2 με άλλες Azure υπηρεσίες για ανάλυση και επεξεργασία δεδομένων.
• Αναπτύξτε λύσεις χρησιμοποιώντας το API Azure Data Lake Storage Gen2.
• Αντιμετωπίστε κοινά προβλήματα και βελτιστοποιήστε τις στρατηγικές αποθήκευσης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες πληροφορικής μεσαίου επιπέδου που επιθυμούν να κατανοήσουν πλήρως το IBM DataStage τόσο από διοικητική όσο και από αναπτυξιακή άποψη, επιτρέποντάς τους να διαχειρίζονται και να χρησιμοποιούν αυτό εργαλείο αποτελεσματικά στους αντίστοιχους χώρους εργασίας τους. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις βασικές έννοιες του DataStage.
• Μάθετε πώς μπορείτε να εγκαταστήσετε, να διαμορφώσετε και να διαχειριστείτε αποτελεσματικά περιβάλλοντα DataStage.
• Συνδεθείτε σε διάφορες πηγές δεδομένων και εξάγετε δεδομένα αποτελεσματικά από βάσεις δεδομένων, επίπεδα αρχεία και εξωτερικές πηγές.
• Εφαρμογή αποτελεσματικών τεχνικών φόρτωσης δεδομένων.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Αθήνα θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του. Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης. Το μάθημα ξεκινάει με μια εισαγωγή στις στοιχειώδεις έννοιες των Μεγάλων Δεδομένων και στη συνέχεια εξελίσσεται στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση της Ανάλυσης Δεδομένων. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν την αποθήκευση μεγάλων δεδομένων, την κατανεμημένη επεξεργασία και τη Scala ικανότητα.

Σε αυτήν τη ζωντανή εκπαίδευση στο Αθήνα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

This instructor-led, live training in Αθήνα (online or onsite) is aimed at intermediate-level database administrators, developers, and analysts who wish to master advanced SQL functionalities for complex data operations and database management. By the end of this training, participants will be able to:

• Perform advanced querying techniques using unions, subqueries, and complex joins.
• Add, update, and delete data, tables, views, and indexes with precision.
• Ensure data integrity through transactions and manipulate database structures.
• Create and manage databases efficiently for robust data storage and retrieval.

Dremio είναι μια πλατφόρμα δεδομένων ανοικτού κώδικα που επιταχύνει την αναζήτηση διαφόρων τύπων πηγών δεδομένων. Dremio ενσωματώνεται με σχετικές βάσεις δεδομένων, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, και άλλες πηγές δεδομένων. Υποστηρίζει SQL και παρέχει ένα web UI για οικοδομικές ερωτήσεις. Σε αυτή την εκπαιδευτική, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν, να ρυθμίσουν και να χρησιμοποιήσουν Dremio ως ένα ενιαίο στρώμα για τα εργαλεία ανάλυσης δεδομένων και τα υποκείμενα αποθήκες δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκατάσταση και διαμόρφωση Dremio
• Εφαρμογή ερωτήσεων έναντι πολλαπλών πηγών δεδομένων, ανεξάρτητα από την τοποθεσία, το μέγεθος ή τη δομή
• Ενσωματώστε Dremio με BI και πηγές δεδομένων όπως Tableau και Elasticsearch

Δημοσιογράφος

• Επιστήμονες δεδομένων
• Business Αναλυτές
• Μηχανικοί Δεδομένων

Η μορφή της πορείας

• Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Αυτή η ζωντανή εκπαίδευση στο Αθήνα (διαδικτυακή ή επιτόπια) υπό την καθοδήγηση εκπαιδευτών απευθύνεται σε επαγγελματίες βάσεων δεδομένων μεσαίου επιπέδου που επιθυμούν να βελτιώσουν τις δεξιότητές τους στην ανάπτυξη και διαχείριση Oracle SQL. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Δημιουργήστε και βελτιστοποιήστε σύνθετα SQL ερωτήματα.
• Διαχειριστείτε αποτελεσματικά τις βάσεις δεδομένων χρησιμοποιώντας Oracle SQL εργαλεία.
• Εφαρμόστε βέλτιστες πρακτικές στην ανάπτυξη και συντήρηση βάσεων δεδομένων.
• Διαχειριστείτε την πρόσβαση των χρηστών και την ασφάλεια της βάσης δεδομένων σε περιβάλλον Oracle.

Το Apache Accumulo είναι ένα ταξινομημένο, κατανεμημένο χώρο αποθήκευσης κλειδιών/τιμών που παρέχει ισχυρή, επεκτάσιμη αποθήκευση και ανάκτηση δεδομένων. Βασίζεται στη σχεδίαση του Google's BigTable και τροφοδοτείται από τους Apache Hadoop, Apache Zookeeper και Apache Thrift. Αυτά τα ζωντανά μαθήματα υπό την καθοδήγηση εκπαιδευτών καλύπτουν τις αρχές εργασίας πίσω από το Accumulo και καθοδηγούν τους συμμετέχοντες στην ανάπτυξη ενός δείγματος εφαρμογής στο Apache Accumulo. Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, πρακτική ανάπτυξη και εφαρμογή, περιστασιακές δοκιμές για τη μέτρηση της κατανόησης

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές εφαρμογών και μηχανικούς που επιθυμούν να κατακτήσουν πιο εξελιγμένες χρήσεις της βάσης δεδομένων Teradata. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Διαχείριση Teradata χώρου.
• Προστασία και διανομή δεδομένων στο Teradata.
• Διαβάστε Εξηγήστε το σχέδιο.
• Βελτιώστε την επάρκεια SQL.
• Χρησιμοποιήστε τα κύρια βοηθητικά προγράμματα του Teradata.

Αυτό το μάθημα απευθύνεται σε προγραμματιστές και επιστήμονες δεδομένων που θέλουν να κατανοήσουν και να εφαρμόσουν την τεχνητή νοημοσύνη στις εφαρμογές τους. Ιδιαίτερη έμφαση δίνεται στην ανάλυση δεδομένων, την κατανεμημένη τεχνητή νοημοσύνη και την επεξεργασία φυσικής γλώσσας.

Το Amazon Redshift είναι μια υπηρεσία αποθήκης δεδομένων σε κλίμακα petabyte που βασίζεται σε σύννεφο στο AWS. Σε αυτή τη ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του Amazon Redshift. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκατάσταση και διαμόρφωση Amazon Redshift
• Φόρτωση, διαμόρφωση, ανάπτυξη, αναζήτηση και οπτικοποίηση δεδομένων με το Amazon Redshift

Ακροατήριο

• προγραμματιστές
• Επαγγελματίες Πληροφορικής

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Apache ActiveMQ είναι ένας μεσίτης μηνυμάτων ανοιχτού κώδικα γραμμένο σε Java .

Η πρόοδος στις τεχνολογίες και ο αυξανόμενος όγκος πληροφοριών μεταμορφώνουν τον τρόπο με τον οποίο διεξάγονται οι επιχειρήσεις σε πολλούς κλάδους, συμπεριλαμβανομένης της κυβέρνησης. GoΤα ποσοστά παραγωγής κρατικών δεδομένων και ψηφιακής αρχειοθέτησης αυξάνονται λόγω της ταχείας ανάπτυξης των φορητών συσκευών και εφαρμογών, των έξυπνων αισθητήρων και συσκευών, των λύσεων υπολογιστικού νέφους και των πυλών που απευθύνονται στους πολίτες. Καθώς οι ψηφιακές πληροφορίες επεκτείνονται και γίνονται πιο περίπλοκες, η διαχείριση, η επεξεργασία, η αποθήκευση, η ασφάλεια και η διάθεση πληροφοριών γίνονται επίσης πιο περίπλοκες. Νέα εργαλεία σύλληψης, αναζήτησης, ανακάλυψης και ανάλυσης βοηθούν τους οργανισμούς να αποκτήσουν πληροφορίες από τα μη δομημένα δεδομένα τους. Η κρατική αγορά βρίσκεται σε οριακό σημείο, συνειδητοποιώντας ότι οι πληροφορίες είναι στρατηγικό πλεονέκτημα και ότι η κυβέρνηση πρέπει να προστατεύει, να αξιοποιεί και να αναλύει τόσο δομημένες όσο και μη δομημένες πληροφορίες για την καλύτερη εξυπηρέτηση και κάλυψη των απαιτήσεων της αποστολής. Καθώς οι κυβερνητικοί ηγέτες προσπαθούν να εξελίξουν οργανισμούς που βασίζονται σε δεδομένα για να ολοκληρώσουν με επιτυχία την αποστολή τους, θέτουν τις βάσεις για να συσχετίσουν εξαρτήσεις μεταξύ συμβάντων, ανθρώπων, διαδικασιών και πληροφοριών. Κυβερνητικές λύσεις υψηλής αξίας θα δημιουργηθούν από έναν συνδυασμό των πιο ενοχλητικών τεχνολογιών:

Κινητές συσκευές και εφαρμογές Υπηρεσίες cloud Τεχνολογίες και δικτύωση κοινωνικών επιχειρήσεων Big Data και αναλυτικά στοιχεία

Η IDC προβλέπει ότι έως το 2020, η βιομηχανία πληροφορικής θα φτάσει τα 5 τρισεκατομμύρια δολάρια, περίπου 1,7 τρισεκατομμύρια δολάρια μεγαλύτερη από σήμερα, και ότι το 80% της ανάπτυξης του κλάδου θα καθοδηγείται από αυτές τις τεχνολογίες 3ης Πλατφόρμας. Μακροπρόθεσμα, αυτές οι τεχνολογίες θα αποτελέσουν βασικά εργαλεία για την αντιμετώπιση της πολυπλοκότητας της αυξημένης ψηφιακής πληροφορίας. Το Big Data είναι μία από τις έξυπνες λύσεις του κλάδου και επιτρέπει στην κυβέρνηση να λαμβάνει καλύτερες αποφάσεις αναλαμβάνοντας δράση βάσει μοτίβων που αποκαλύπτονται από την ανάλυση μεγάλου όγκου δεδομένων — σχετικών και άσχετων, δομημένων και μη δομημένων. Αλλά η ολοκλήρωση αυτών των κατορθωμάτων απαιτεί πολύ περισσότερα από την απλή συσσώρευση τεράστιων ποσοτήτων δεδομένων. «Η κατανόηση αυτών των τόμων Big Dataαπαιτεί εργαλεία και τεχνολογίες αιχμής που μπορούν να αναλύσουν και να εξάγουν χρήσιμη γνώση από τεράστια και ποικίλα ρεύματα πληροφοριών», ο Tom Kalil και Ο Φεν Ζάο του Γραφείου Πολιτικής Επιστήμης και Τεχνολογίας του Λευκού Οίκου έγραψε σε μια ανάρτηση στο ιστολόγιο OSTP. Ο Λευκός Οίκος έκανε ένα βήμα για να βοηθήσει τις υπηρεσίες να βρουν αυτές τις τεχνολογίες όταν ίδρυσε την Εθνική Big Data Πρωτοβουλία Έρευνας και Ανάπτυξης το 2012. Η πρωτοβουλία περιλάμβανε περισσότερα από 200 εκατομμύρια δολάρια για να αξιοποιήσουν στο έπακρο την έκρηξη του Big Data και τα εργαλεία που απαιτούνται για αναλύστε το. Οι προκλήσεις που θέτει το Big Data είναι σχεδόν τόσο τρομακτικές όσο και ενθαρρυντική η υπόσχεσή του. Η αποτελεσματική αποθήκευση δεδομένων είναι μία από αυτές τις προκλήσεις. Όπως πάντα, οι προϋπολογισμοί είναι περιορισμένοι, επομένως οι εταιρείες πρέπει να ελαχιστοποιήσουν την τιμή αποθήκευσης ανά megabyte και να διατηρούν τα δεδομένα σε εύκολη πρόσβαση, ώστε οι χρήστες να μπορούν να τα λαμβάνουν όποτε τα θέλουν και όπως τα χρειάζονται. Η δημιουργία αντιγράφων ασφαλείας τεράστιων ποσοτήτων δεδομένων εντείνει την πρόκληση. Η αποτελεσματική ανάλυση των δεδομένων είναι μια άλλη σημαντική πρόκληση. Πολλά πρακτορεία χρησιμοποιούν εμπορικά εργαλεία που τους επιτρέπουν να περνούν από τα βουνά των δεδομένων, εντοπίζοντας τάσεις που μπορούν να τους βοηθήσουν να λειτουργούν πιο αποτελεσματικά. (Μια πρόσφατη μελέτη από το MeriTalk διαπίστωσε ότι τα ομοσπονδιακά στελέχη IT πιστεύουν ότι Big Data θα μπορούσαν να βοηθήσουν τους οργανισμούς να εξοικονομήσουν περισσότερα από 500 δισεκατομμύρια δολάρια, εκπληρώνοντας ταυτόχρονα τους στόχους της αποστολής.). Τα προσαρμοσμένα αναπτυγμένα εργαλεία Big Data επιτρέπουν επίσης στους οργανισμούς να αντιμετωπίσουν την ανάγκη ανάλυσης των δεδομένων τους. Για παράδειγμα, η Ομάδα Υπολογιστικών Δεδομένων Αναλύσεων του Εθνικού Εργαστηρίου Oak Ridge έχει διαθέσει το σύστημα ανάλυσης δεδομένων Piranha σε άλλους φορείς. Το σύστημα βοήθησε τους ιατρικούς ερευνητές να βρουν έναν σύνδεσμο που μπορεί να ειδοποιήσει τους γιατρούς για τα ανευρύσματα της αορτής πριν χτυπήσουν. Χρησιμοποιείται επίσης για πιο συνηθισμένες εργασίες, όπως η αναζήτηση βιογραφικών για τη σύνδεση υποψηφίων θέσεων εργασίας με διευθυντές προσλήψεων.

Το Apache Beam είναι ένα μοντέλο ανοιχτού κώδικα, ενοποιημένου προγραμματισμού για τον καθορισμό και την εκτέλεση παράλληλων αγωγών επεξεργασίας δεδομένων. Η δύναμή του έγκειται στην ικανότητά του να εκτελεί αγωγούς παρτίδας και ροής, με την εκτέλεση να εκτελείται από ένα από τα υποστηριζόμενα κατανεμημένα back-ends επεξεργασίας της Beam: Apache Apex, Apache Flink, Apache Spark και Google Cloud Dataflow. Το Apache Beam είναι χρήσιμο για εργασίες ETL (Extract, Transform, and Load), όπως η μετακίνηση δεδομένων μεταξύ διαφορετικών μέσων αποθήκευσης και πηγών δεδομένων, η μετατροπή δεδομένων σε μια πιο επιθυμητή μορφή και η φόρτωση δεδομένων σε ένα νέο σύστημα. Σε αυτή τη ζωντανή εκπαίδευση (επί τόπου ή εξ αποστάσεως) υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να εφαρμόζουν τα Apache Beam SDK σε μια εφαρμογή Java ή Python που ορίζει έναν αγωγό επεξεργασίας δεδομένων για την αποσύνθεση ενός μεγάλου συνόλου δεδομένων σε μικρότερα κομμάτια για ανεξάρτητη, παράλληλη επεξεργασία. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Beam.
• Χρησιμοποιήστε ένα ενιαίο μοντέλο προγραμματισμού για να πραγματοποιήσετε επεξεργασία κατά παρτίδες και ροή μέσα από την εφαρμογή τους Java ή Python.
• Εκτελέστε αγωγούς σε πολλαπλά περιβάλλοντα.

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωμα

• Αυτό το μάθημα θα είναι διαθέσιμο Scala στο μέλλον. Επικοινωνήστε μαζί μας για να κανονίσουμε.

Αυτή η εκπαιδευτική συνεδρία βασισμένη στην τάξη θα εξερευνήσει το Big Data. Οι εκπρόσωποι θα έχουν παραδείγματα βασισμένων σε υπολογιστή και ασκήσεις περιπτωσιολογικής μελέτης για να αναλάβουν με σχετικά εργαλεία μεγάλων δεδομένων

Ημέρα 1 - παρέχει μια επισκόπηση υψηλού επιπέδου των βασικών θεματικών τομέων Big Data . Η ενότητα χωρίζεται σε μια σειρά τμημάτων, καθένα από τα οποία συνοδεύεται από πρακτική άσκηση. Ημέρα 2 - διερευνά μια σειρά θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης για περιβάλλοντα Big Data . Δεν λαμβάνει πληροφορίες σχετικά με την εφαρμογή ή το προγραμματισμό, αλλά διατηρεί την κάλυψη σε εννοιολογικό επίπεδο, εστιάζοντας σε θέματα που επιτρέπουν στους συμμετέχοντες να αναπτύξουν μια ολοκληρωμένη κατανόηση των κοινών λειτουργιών ανάλυσης και των χαρακτηριστικών που προσφέρουν οι λύσεις Big Data . Ημέρα 3 - παρέχει μια επισκόπηση των θεμελιωδών και βασικών θεματικών πεδίων που σχετίζονται με την αρχιτεκτονική πλατφόρμα λύσεων Big Data . Καλύπτει τους μηχανισμούς Big Data απαιτούνται για την ανάπτυξη μιας πλατφόρμας λύσεων Big Data και αρχιτεκτονικές επιλογές για τη συναρμολόγηση μιας πλατφόρμας επεξεργασίας δεδομένων. Παρουσιάζονται επίσης κοινά σενάρια που παρέχουν μια βασική κατανόηση του τρόπου με τον οποίο χρησιμοποιείται γενικά μια πλατφόρμα λύσεων Big Data . Ημέρα 4 - βασίζεται στην Ημέρα 3 με την εξερεύνηση προηγμένων θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας λύση Big Data . Συγκεκριμένα, εισάγονται και συζητούνται διαφορετικά αρχιτεκτονικά στρώματα που αποτελούν την πλατφόρμα λύσεων Big Data , συμπεριλαμβανομένων πηγών δεδομένων, εισόδου δεδομένων, αποθήκευσης δεδομένων, επεξεργασίας δεδομένων και ασφάλειας. Ημέρα 5 - καλύπτει μια σειρά ασκήσεων και προβλημάτων που αποσκοπούν στη δοκιμασία της δυνατότητας των αντιπροσώπων να εφαρμόζουν γνώσεις των θεμάτων που καλύπτονται από την Ημέρα 3 και 4.

Σε αυτή τη ζωντανή εκπαίδευση στο Αθήνα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίζουν τις Big Data τεχνολογίες, θα αξιολογούν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόζουν αυτές τις τεχνολογίες με σκοπό τον εντοπισμό εγκληματικών δραστηριοτήτων και την πρόληψη του εγκλήματος. Θα εξεταστούν περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο για να αποκτηθούν πληροφορίες σχετικά με τις προσεγγίσεις υιοθέτησης, τις προκλήσεις και τα αποτελέσματά τους. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Συνδυάστε την τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνδυάσετε μια ιστορία κατά τη διάρκεια μιας έρευνας.
• Εφαρμόστε βιομηχανικές λύσεις αποθήκευσης και επεξεργασίας μεγάλων δεδομένων για ανάλυση δεδομένων.
• Προετοιμασία πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για να καταστεί δυνατή μια προσέγγιση βάσει δεδομένων για την ποινική έρευνα.

Big Data είναι ένας όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και την επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από την Go Ogle, οι λύσεις αυτές Big Data έχουν εξελιχθεί και εμπνευστούν από άλλα παρόμοια έργα, πολλά από τα οποία είναι διαθέσιμα ως open-source. R είναι μια δημοφιλής γλώσσα προγραμματισμού στον χρηματοπιστωτικό κλάδο.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν χειρίζονται την ποσότητα των δεδομένων που χρειάζεστε για να αποθηκεύσετε, υπάρχουν εναλλακτικές λύσεις. Αυτό το μάθημα προσπαθεί να καθοδηγήσει τους συμμετέχοντες ποιες είναι οι εναλλακτικές λύσεις για την αποθήκευση και ανάλυση των Big Data και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους. Αυτό το μάθημα επικεντρώνεται κατά κύριο λόγο στη συζήτηση και την παρουσίαση λύσεων, αν και οι πρακτικές ασκήσεις είναι διαθέσιμες κατόπιν αιτήματος.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

αυτό εκπαιδευτής-LED, Live Training (επιτόπου ή εξ αποστάσεως) απευθύνεται σε μηχανικούς που επιθυμούν να αξιοποιήσουν (μια διανομή του Κάφκα) για την κατασκευή και τη διαχείριση ενός σε πραγματικό χρόνο πλατφόρμα επεξεργασίας δεδομένων για τις εφαρμογές τους. μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• εγκαταστήσετε και να ρυθμίσετε τη σημαντική πλατφόρμα.
• χρήση & #39; s εργαλεία διαχείρισης και τις υπηρεσίες για να τρέξει Κάφκα πιο εύκολα.
• Αποθήκευση και επεξεργασία εισερχόμενων δεδομένων ροής.
• βελτιστοποιήσετε και να διαχειριστείτε Κάφκα συστάδες.
• ασφαλείς ροές δεδομένων.

μορφή του μαθήματος

• διαΔραστική διάλεξη και συζήτηση.
• πολλές ασκήσεις και εξάσκηση.
• hands-on εφαρμογή σε ένα περιβάλλον Live-Lab.

επιλογές προσαρμογής μαθημάτων

• αυτό το μάθημα βασίζεται στην έκδοση ανοικτού πηγαίου κώδικα της συνέχειας: ισχυρή ανοικτή πηγή.
• να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Κοινό Αν προσπαθήσετε να κατανοήσετε τα δεδομένα στα οποία έχετε πρόσβαση ή θέλετε να αναλύσετε μη δομημένα δεδομένα που είναι διαθέσιμα στο διαδίκτυο (όπως το Twitter, το Linked in, κ.λπ.), αυτό το μάθημα απευθύνεται σε εσάς. Στόχος είναι κυρίως οι υπεύθυνοι λήψης αποφάσεων και οι άνθρωποι που πρέπει να επιλέξουν ποια δεδομένα αξίζει να συλλέξουν και τι αξίζει να αναλύσουμε. Δεν στοχεύει στους ανθρώπους να διαμορφώσουν τη λύση, αλλά αυτοί θα επωφεληθούν από τη μεγάλη εικόνα. Λειτουργία παράδοσης Κατά τη διάρκεια του μαθήματος οι εκπρόσωποι θα παρουσιαστούν με παραδείγματα εργασίας για τις περισσότερες τεχνολογίες ανοιχτού κώδικα. Οι σύντομες διαλέξεις θα ακολουθούνται από παρουσίαση και απλές ασκήσεις από τους συμμετέχοντες Το περιεχόμενο και το λογισμικό που χρησιμοποιήθηκαν Όλο το λογισμικό που χρησιμοποιείται ενημερώνεται κάθε φορά που εκτελείται το μάθημα, έτσι ελέγχουμε τις πιο πρόσφατες εκδόσεις. Καλύπτει τη διαδικασία από την απόκτηση, τη μορφοποίηση, την επεξεργασία και την ανάλυση των δεδομένων, για να εξηγήσει πώς αυτοματοποιείται η διαδικασία λήψης αποφάσεων με τη μηχανική μάθηση.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Αθήνα, οι συμμετέχοντες θα μάθουν πώς να δημιουργούν ένα Data Vault. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις έννοιες της αρχιτεκτονικής και του σχεδιασμού πίσω από το Data Vault 2.0 και την αλληλεπίδρασή του με τα Big Data, NoSQL και AI.
• Χρησιμοποιήστε τεχνικές αποθήκευσης δεδομένων για να ενεργοποιήσετε τον έλεγχο, την ανίχνευση και την επιθεώρηση ιστορικών δεδομένων σε μια αποθήκη δεδομένων.
• Αναπτύξτε μια συνεπή και επαναλαμβανόμενη διαδικασία ETL (Extract, Transform, Load).
• Κατασκευάστε και αναπτύξτε αποθήκες υψηλής κλιμάκωσης και επαναλήψεως.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχιτέκτονες, προγραμματιστές και διαχειριστές που επιθυμούν να χρησιμοποιήσουν την πλατφόρμα Denodo για να βελτιστοποιήσουν και να επιταχύνουν τη διαχείριση δεδομένων μέσω εικονικοποίησης δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε την πλατφόρμα Denodo.
• Κατανοήστε τα χαρακτηριστικά και την αρχιτεκτονική της πλατφόρμας Denodo.
• Κατανοήστε τις βασικές έννοιες, τα οφέλη και τις περιπτώσεις χρήσης για εικονικοποίηση δεδομένων.
• Μάθετε πώς να διαμορφώνετε και να διαχειρίζεστε τον διακομιστή πλατφόρμας Denodo.
• Εφαρμόστε ασφάλεια δεδομένων, πρόσβαση χρήστη και έλεγχο ταυτότητας υπηρεσιών.
• Εφαρμόστε τα εργαλεία και τις τεχνικές για την παρακολούθηση λειτουργιών και τη βελτιστοποίηση της απόδοσης.

Apache Druid είναι ένα ανοικτού πηγαίου κώδικα, κατανεμημένο σε στήλη, κατανεμημένο κατάστημα δεδομένων που είναι γραμμένο σε Java . Σχεδιάστηκε έτσι ώστε να απορροφάει γρήγορα μεγάλες ποσότητες δεδομένων συμβάντων και να εκτελεί ερωτήματα OLAP χαμηλής καθυστέρησης σε αυτά τα δεδομένα. Το Druid χρησιμοποιείται συνήθως στις εφαρμογές επιχειρηματικής ευφυΐας για την ανάλυση μεγάλου όγκου δεδομένων σε πραγματικό χρόνο και ιστορικών δεδομένων. Είναι επίσης κατάλληλο για την τροφοδοσία γρήγορων, διαδραστικών, αναλυτικών πινάκων ελέγχου για τελικούς χρήστες. Το Druid χρησιμοποιείται από εταιρείες όπως το Alibaba, το Airbnb, η Cisco , το eBay, το Netflix, το Paypal και το Yahoo. Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή πορεία, εξετάζουμε ορισμένους από τους περιορισμούς των λύσεων αποθήκης δεδομένων και συζητούμε πώς ο Druid μπορεί να επαινέσει αυτές τις τεχνολογίες για να σχηματίσει μια ευέλικτη και κλιμακούμενη στοίβα αναλυτικών ροών. Περνάμε πολλά παραδείγματα, προσφέροντας στους συμμετέχοντες την ευκαιρία να εφαρμόσουν και να δοκιμάσουν λύσεις Druid με βάση το εργαστήριο. Μορφή του μαθήματος

• Διάλεξη μέρους, συζήτηση μέρος, βαριά πρακτική πρακτική, περιστασιακές δοκιμές για να μετρήσετε την κατανόηση

Τα μεγάλα δεδομένα είναι σύνολα δεδομένων που είναι τόσο ογκώδη και περίπλοκα που το παραδοσιακό λογισμικό εφαρμογών επεξεργασίας δεδομένων είναι ανεπαρκές για την αντιμετώπισή τους. Οι μεγάλες προκλήσεις δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, την αποθήκευση δεδομένων, την ανάλυση δεδομένων, την αναζήτηση, την κοινή χρήση, τη μεταφορά, την οπτικοποίηση, την αναζήτηση, την ενημέρωση και την προστασία της ιδιωτικής ζωής των πληροφοριών.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) εισάγει τις αρχές και τις προσεγγίσεις πίσω από την κατανεμημένη επεξεργασία δεδομένων ροής και παρτίδας και καθοδηγεί τους συμμετέχοντες στη δημιουργία μιας εφαρμογής ροής δεδομένων σε πραγματικό χρόνο στο Apache Flink. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε ένα περιβάλλον για την ανάπτυξη εφαρμογών ανάλυσης δεδομένων.
• Κατανοήστε πώς λειτουργεί η βιβλιοθήκη επεξεργασίας γραφικών του Apache Flink (Gelly).
• Συσκευάστε, εκτελέστε και παρακολουθήστε εφαρμογές ροής δεδομένων που βασίζονται σε Flink, ανεκτικές σε σφάλματα.
• Διαχειριστείτε διαφορετικούς φόρτους εργασίας.
• Εκτελέστε προηγμένες αναλύσεις.
• Ρυθμίστε ένα σύμπλεγμα Flink πολλαπλών κόμβων.
• Μετρήστε και βελτιστοποιήστε την απόδοση.
• Ενσωματώστε το Flink με διαφορετικά Big Data συστήματα.
• Συγκρίνετε τις δυνατότητες του Flink με εκείνες άλλων πλαισίων επεξεργασίας μεγάλων δεδομένων.

Σε αυτή τη ζωντανή εκπαίδευση στο Αθήνα από εκπαιδευτές, οι συμμετέχοντες θα μάθουν για τις προσφορές τεχνολογίας και τις προσεγγίσεις υλοποίησης για την επεξεργασία δεδομένων γραφήματος. Ο στόχος είναι να προσδιοριστούν τα αντικείμενα του πραγματικού κόσμου, τα χαρακτηριστικά και οι σχέσεις τους, στη συνέχεια να μοντελοποιηθούν αυτές οι σχέσεις και να επεξεργαστούν ως δεδομένα χρησιμοποιώντας μια προσέγγιση Graph Computing (γνωστή και ως Graph Analytics). Ξεκινάμε με μια ευρεία επισκόπηση και περιορίζουμε τα συγκεκριμένα εργαλεία καθώς προχωράμε σε μια σειρά περιπτωσιολογικών μελετών, πρακτικών ασκήσεων και ζωντανών αναπτύξεων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε πώς διατηρούνται και διασχίζονται τα δεδομένα γραφήματος.
• Επιλέξτε το καλύτερο πλαίσιο για μια δεδομένη εργασία (από βάσεις δεδομένων γραφημάτων έως πλαίσια επεξεργασίας παρτίδας.)
• Εφαρμόστε τα Hadoop, Spark, GraphX και Pregel για να πραγματοποιήσετε υπολογισμούς γραφημάτων σε πολλές μηχανές παράλληλα.
• Δείτε τα προβλήματα μεγάλων δεδομένων του πραγματικού κόσμου όσον αφορά τα γραφήματα, τις διεργασίες και τις διαβάσεις.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές που επιθυμούν να δημιουργήσουν Greenplum Database λύσεις επιχειρηματικής ευφυΐας και αποθήκευσης δεδομένων. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αντιμετωπίστε τις ανάγκες επεξεργασίας με την Greenplum.
• Εκτελέστε λειτουργίες ETL για επεξεργασία δεδομένων.
• Αξιοποιήστε τις υπάρχουσες υποδομές επεξεργασίας ερωτημάτων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα.
• Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark.
• Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark.
• Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Το Cloudera Impala είναι μια μηχανή αναζήτησης ανοιχτού κώδικα μαζικής παράλληλης επεξεργασίας (MPP) SQL για συμπλέγματα Apache Hadoop. Το Impala επιτρέπει στους χρήστες να εκδίδουν ερωτήματα χαμηλής καθυστέρησης SQL σε δεδομένα που είναι αποθηκευμένα στο Hadoop Κατανεμημένο Σύστημα Αρχείων και στο Apache Hbase χωρίς να απαιτείται μετακίνηση ή μετατροπή δεδομένων. Ακροατήριο Αυτό το μάθημα απευθύνεται σε αναλυτές και επιστήμονες δεδομένων που πραγματοποιούν ανάλυση δεδομένων που είναι αποθηκευμένα στο Hadoop μέσω Business Intelligence ή SQL εργαλείων. Μετά από αυτό το μάθημα οι σύνεδροι θα μπορούν

• Εξάγετε σημαντικές πληροφορίες από Hadoop συμπλέγματα με Impala.
• Γράψτε συγκεκριμένα προγράμματα για να διευκολύνετε την Business Ευφυΐα στη Impala SQL Διάλεκτο.
• Αντιμετώπιση προβλημάτων Impala.

Σε αυτήν την υπό εκπαιδευτή, ζωντανή εκπαίδευση στο Αθήνα (επιτόπου ή εξ αποστάσεως), οι συμμετέχοντες θα μάθουν πώς να στήνουν και να ενσωματώνουν διαφορετικά Stream Processing πλαίσια με υπάρχοντα συστήματα αποθήκευσης μεγάλων δεδομένων και σχετικές εφαρμογές λογισμικού και μικροϋπηρεσίες. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε διαφορετικά πλαίσια Stream Processing, όπως το Spark Streaming και το Kafka Streaming.
• Κατανοήστε και επιλέξτε το πιο κατάλληλο πλαίσιο για τη δουλειά.
• Επεξεργασία δεδομένων συνεχώς, ταυτόχρονα και με τρόπο καταγραφής.
• Ενσωματώστε λύσεις Stream Processing με υπάρχουσες βάσεις δεδομένων, αποθήκες δεδομένων, λίμνες δεδομένων κ.λπ.
• Ενσωματώστε την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροής με εταιρικές εφαρμογές και μικροϋπηρεσίες.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τις δυνατότητες Apache Kafka στη ροή δεδομένων με το Python. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Apache Kafka για να παρακολουθούν και να διαχειρίζονται τις συνθήκες σε συνεχείς ροές δεδομένων χρησιμοποιώντας προγραμματισμό Python.

Το Kafka Streams είναι μια βιβλιοθήκη πελάτη για την κατασκευή εφαρμογών και μικροεπιχειρήσεων, τα δεδομένα των οποίων μεταφέρονται προς και από ένα σύστημα ανταλλαγής μηνυμάτων Kafka. Παραδοσιακά, ο Apache Kafka έχει βασιστεί στο Apache Spark ή στη Apache Storm για να επεξεργάζεται δεδομένα μεταξύ παραγωγών μηνυμάτων και καταναλωτών. Καλώντας το API Streams Kafka από μια εφαρμογή, τα δεδομένα μπορούν να επεξεργαστούν απευθείας μέσα στο Kafka, παρακάμπτοντας την ανάγκη για την αποστολή των δεδομένων σε ένα ξεχωριστό σύμπλεγμα για επεξεργασία. Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν τις ροές του Kafka σε ένα σύνολο από Java εφαρμογές που μεταφέρουν δεδομένα από και προς τον Apache Kafka για επεξεργασία ρεύματος. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τα χαρακτηριστικά και τα πλεονεκτήματα του Kafka Streams σε σχέση με άλλα πλαίσια επεξεργασίας ρευμάτων
• Διαδικασία ροής δεδομένων απευθείας μέσα σε ένα σύμπλεγμα Kafka
• Γράψτε μια εφαρμογή Java ή Scala ή μια μικροεπιχειρησιακή υπηρεσία που ενσωματώνει τις ροές Kafka και Kafka
• Γράψτε τον συνοπτικό κωδικό που μετατρέπει τα θέματα εισαγωγής του Kafka σε θέματα Kafka εξόδου
• Δημιουργήστε, συσκευάστε και αναπτύξτε την εφαρμογή

Κοινό

• Προγραμματιστές

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημειώσεις

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να εφαρμόσουν Apache Kafka επεξεργασία ροής χωρίς να γράφουν κώδικα. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Confluent KSQL.
• Ρυθμίστε έναν αγωγό επεξεργασίας ροής χρησιμοποιώντας μόνο εντολές SQL (όχι κωδικοποίηση Java ή Python).
• Πραγματοποιήστε το φιλτράρισμα δεδομένων, τους μετασχηματισμούς, τις συναθροίσεις, τις συνδέσεις, τα παράθυρα και τη συνεδρία εξ ολοκλήρου στο SQL.
• Σχεδιάστε και αναπτύξτε διαδραστικά, συνεχή ερωτήματα για ροή ETL και αναλυτικά στοιχεία σε πραγματικό χρόνο.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε τεχνικά άτομα που επιθυμούν να μάθουν πώς να εφαρμόζουν μια στρατηγική μηχανικής μάθησης μεγιστοποιώντας τη χρήση μεγάλων δεδομένων. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα:

• Κατανοήστε την εξέλιξη και τις τάσεις για τη μηχανική μάθηση.
• Μάθετε πώς χρησιμοποιείται η μηχανική μάθηση σε διαφορετικούς κλάδους.
• Εξοικειωθείτε με τα εργαλεία, τις δεξιότητες και τις υπηρεσίες που είναι διαθέσιμες για την εφαρμογή μηχανικής μάθησης σε έναν οργανισμό.
• Κατανοήστε πώς μπορεί να χρησιμοποιηθεί η μηχανική εκμάθηση για τη βελτίωση της εξόρυξης δεδομένων και της ανάλυσης.
• Μάθετε τι είναι το μεσαίο backend δεδομένων και πώς χρησιμοποιείται από τις επιχειρήσεις.
• Κατανοήστε τον ρόλο που παίζουν τα μεγάλα δεδομένα και οι έξυπνες εφαρμογές σε όλους τους κλάδους.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Αθήνα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτή τη ζωντανή εκπαίδευση στο Αθήνα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Apache SolrΤο Cloud είναι μια κατανεμημένη μηχανή επεξεργασίας δεδομένων που διευκολύνει την αναζήτηση και την ευρετηρίαση αρχείων σε ένα κατανεμημένο δίκτυο. Σε αυτήν τη ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν πώς να ρυθμίζουν ένα SolrCloud παράδειγμα στο Amazon AWS. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τα χαρακτηριστικά του SolCloud και πώς συγκρίνονται με αυτά των συμβατικών συστάδων master-slave
• Διαμορφώστε ένα κεντρικό σύμπλεγμα SolCloud
• Αυτοματοποιήστε διαδικασίες όπως η επικοινωνία με θραύσματα, η προσθήκη εγγράφων στα θραύσματα κ.λπ.
• Χρησιμοποιήστε το Zookeeper σε συνδυασμό με το SolrCloud για περαιτέρω αυτοματοποίηση των διαδικασιών
• Χρησιμοποιήστε τη διεπαφή για να διαχειριστείτε την αναφορά σφαλμάτων
• Ισοζύγιο φορτίου μια εγκατάσταση SolrCloud
• Διαμορφώστε το SolrCloud για συνεχή επεξεργασία και αποτυχία

Ακροατήριο

• Προγραμματιστές Solr
• Project Managers
• Διαχειριστές συστήματος
• Αναζήτηση Αναλυτών

Μορφή του μαθήματος

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων, επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν Spark Streaming δυνατότητες για την επεξεργασία και την ανάλυση δεδομένων σε πραγματικό χρόνο. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να χρησιμοποιούν το Spark Streaming για να επεξεργάζονται ζωντανές ροές δεδομένων για χρήση σε βάσεις δεδομένων, συστήματα αρχείων και ζωντανούς πίνακες εργαλείων.

Το MLlib είναι η βιβλιοθήκη εκμάθησης μηχανών Spark (ML). Σκοπός του είναι να κάνει την πρακτική εκμάθηση μηχανών κλιμακωτή και εύκολη. Αποτελείται από κοινούς αλγόριθμους και βοηθητικά προγράμματα μάθησης, συμπεριλαμβανομένης της ταξινόμησης, της παλινδρόμησης, της ομαδοποίησης, του συνεργατικού φιλτραρίσματος, της μείωσης των διαστάσεων, καθώς και των πρωτόγονων βελτιστοποίησης χαμηλότερου επιπέδου και των API αγωγών υψηλότερου επιπέδου. Διαχωρίζεται σε δύο πακέτα:

• Το spark.mllib περιέχει το αρχικό API που είναι ενσωματωμένο στο RDD.
• Το spark.ml παρέχει API υψηλότερου επιπέδου που είναι ενσωματωμένο στο DataFrames για την κατασκευή αγωγών ML.

Κοινό Αυτό το μάθημα απευθύνεται σε μηχανικούς και προγραμματιστές που επιδιώκουν να χρησιμοποιήσουν μια ενσωματωμένη βιβλιοθήκη μηχανών για Apache Spark

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Αθήνα (διαδικτυακά ή επιτόπου) απευθύνεται σε τεχνικά πρόσωπα που επιθυμούν να αναπτύξουν το Talend Open Studio for Big Data για να απλοποιήσουν τη διαδικασία ανάγνωσης και ανάλυσης Big Data. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Talend Open Studio για Big Data.
• Συνδεθείτε με συστήματα Big Data όπως τα Cloudera, HortonWorks, MapR, Amazon EMR και Apache.
• Κατανοήστε και ρυθμίστε τα στοιχεία και τις συνδέσεις μεγάλων δεδομένων του Open Studio.
• Διαμορφώστε τις παραμέτρους για αυτόματη δημιουργία κώδικα MapReduce.
• Χρησιμοποιήστε τη διεπαφή μεταφοράς και απόθεσης του Open Studio για να εκτελέσετε εργασίες Hadoop.
• Πρωτότυπο αγωγών μεγάλων δεδομένων.
• Αυτοματοποιήστε έργα ενοποίησης μεγάλων δεδομένων.

Το Teradata είναι ένα από τα δημοφιλή Σχεσιακά Database Management συστήματα. Είναι κυρίως κατάλληλο για την κατασκευή μεγάλων εφαρμογών αποθήκευσης δεδομένων. Teradata το επιτυγχάνει με την έννοια του παραλληλισμού. Αυτό το μάθημα εισάγει τους αντιπροσώπους στο Teradata.

Αυτή η ζωντανή εκπαίδευση καθοδηγούμενη από εκπαιδευτές εισάγει τις έννοιες πίσω από τις διαδραστικές αναλύσεις δεδομένων και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη και χρήση του Zeppelin σε περιβάλλον ενός χρήστη ή πολλών χρηστών. Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Zeppelin
• Αναπτύξτε, οργανώστε, εκτελέστε και μοιραστείτε δεδομένα σε μια διεπαφή που βασίζεται σε πρόγραμμα περιήγησης
• Οπτικοποιήστε τα αποτελέσματα χωρίς να αναφέρεστε στη γραμμή εντολών ή στις λεπτομέρειες του συμπλέγματος
• Εκτελέστε και συνεργαστείτε σε μεγάλες ροές εργασίας
• Εργαστείτε με οποιαδήποτε από μια σειρά προσθηκών γλώσσας/επεξεργασίας δεδομένων υποστήριξης, όπως Scala (με Apache Spark), Python (με Apache Spark), Spark SQL, JDBC, Markdown και Shell .
• Ενσωματώστε το Zeppelin με το Spark, το Flink και το Map Reduce
• Ασφαλίστε περιπτώσεις πολλών χρηστών του Zeppelin με το Apache Shiro

Το ZooKeeper είναι μια κεντρική υπηρεσία για τη διατήρηση πληροφοριών διαμόρφωσης, την ονομασία, την παροχή κατανεμημένου συγχρονισμού και την παροχή ομαδικών υπηρεσιών.