Schulungsübersicht
Einführung
Verstehen Big Data
Überblick über Spark
Überblick über Python
Überblick über PySpark
- Verteilen von Daten mit dem Resilient Distributed Datasets Framework
- Verteilen von Berechnungen mithilfe von Spark-API-Operatoren
Einrichten von Python mit Spark
Einrichten von PySpark
Verwendung von Amazon Web Services (AWS) EC2-Instanzen für Spark
Einrichten von Databricks
Einrichten des AWS EMR-Clusters
Erlernen der Grundlagen von Python Programming
- Erste Schritte mit Python
- Verwenden des Jupyter-Notebooks
- Verwendung von Variablen und einfachen Datentypen
- Arbeiten mit Listen
- if-Anweisungen verwenden
- Benutzereingaben verwenden
- Arbeiten mit while-Schleifen
- Funktionen implementieren
- Arbeiten mit Klassen
- Arbeiten mit Dateien und Ausnahmen
- Arbeiten mit Projekten, Daten und APIs
Lernen der Grundlagen von Spark DataFrame
- Erste Schritte mit Spark DataFrames
- Implementieren grundlegender Operationen mit Spark
- Verwenden von Groupby- und Aggregat-Operationen
- Arbeiten mit Zeitstempeln und Daten
Arbeiten an einem Spark DataFrame-Projekt - Übung
Verstehen von Machine Learning mit MLlib
Arbeiten mit MLlib, Spark und Python für Machine Learning
Verstehen von Regressionen
- Erlernen der linearen Regressionstheorie
- Implementieren eines Regressionsauswertungscodes
- Arbeiten an einer Beispielübung zur linearen Regression
- Erlernen der logistischen Regressionstheorie
- Implementieren eines Codes für logistische Regression
- Arbeiten an einer Beispielübung zur logistischen Regression
Verstehen von Random Forests und Entscheidungsbäumen
- Theorie der Baummethoden lernen
- Implementieren von Entscheidungsbäumen und Random Forest-Codes
- Arbeiten an einer Random Forest-Klassifizierungsübung
Arbeiten mit K-means Clustering
- Verstehen der K-means Clustering Theorie
- Implementieren eines K-means Clustering Codes
- Arbeiten an einer beispielhaften Clustering-Übung
Arbeiten mit Recommender Systems
Natürliche Sprachverarbeitung implementieren
- Verstehen Natural Language Processing (NLP)
- Überblick über NLP-Tools
- Arbeiten an einer NLP-Beispielübung
Streaming mit Spark auf Python
- Übersicht Streaming mit Spark
- Beispielhafte Spark Streaming-Übung
Schlussbemerkungen
Voraussetzungen
- Allgemeine Programmierkenntnisse
Zielgruppe
- Entwickler
- IT-Fachleute
- Datenwissenschaftler
Erfahrungsberichte (6)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
The course was about a series of very complex related topics & Pablo has in-depth expertise of each of them. Sometimes nuances were lost in communication and/or due to time pressures and possibly expectations were not quite met due to this. Also there were some UHG/Azure Databricks setup issues however Pablo / UHG resolved these quickly once they became apparent - this to me showed a high level of understanding and professionalism between UHG & Pablo,
Michael Monks - Tech NorthWest Skillnet
Kurs - Python and Spark for Big Data (PySpark)
Individual attention.
ARCHANA ANILKUMAR - PPL
Kurs - Python and Spark for Big Data (PySpark)
Hands on Training..
Abraham Thomas - PPL
Kurs - Python and Spark for Big Data (PySpark)
The lessons were taught in a Jupyter notebook. The topics were structured with a logical sequence and naturally helped develop the session from the easier parts to the more complex. I'm already an advanced user of Python with background in Machine Learning, so found the course easier to follow than, possibly, some of my classmates that took the training course. I appreciate that some of the most elementary concepts were skipped and that he focused on the most substantial matters.
Angela DeLaMora - ADT, LLC
Kurs - Python and Spark for Big Data (PySpark)
practice tasks