Vielen Dank für die Zusendung Ihrer Anfrage! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Vielen Dank, dass Sie Ihre Buchung abgeschickt haben! Eines unserer Teammitglieder wird Sie in Kürze kontaktieren.
Schulungsübersicht
Einführung
- Apache Beam vs. MapReduce, Spark Streaming, Kafka Streaming, Storm und Flink
Installieren und Konfigurieren Apache Beam
Überblick über Apache Beam Funktionen und Architektur
- Beam Modell, SDKs, Beam Pipeline Läufer
- Verteilte Verarbeitung von Backends
Verstehen des Apache Beam Programming Modells
- Wie eine Pipeline ausgeführt wird
Ausführen einer Beispiel-Pipeline
- Vorbereiten einer WordCount-Pipeline
- Ausführen der Pipeline vor Ort
Entwerfen einer Pipeline
- Planung der Struktur, Auswahl der Transformationen und Festlegung der Eingabe- und Ausgabemethoden
Erstellen der Pipeline
- Schreiben des Treiberprogramms und Definieren der Pipeline
- Verwendung von Apache Beam-Klassen
- Datensätze, Transformationen, E/A, Datenkodierung usw.
Ausführen der Pipeline
- Ausführen der Pipeline lokal, auf entfernten Rechnern und in einer öffentlichen Cloud
- Auswählen eines Runners
- Läuferspezifische Konfigurationen
Testen und Fehlersuche Apache Beam
- Verwendung von Typ-Hinweisen zur Emulation der statischen Typisierung
- Verwalten Python von Pipeline-Abhängigkeiten
Verarbeitung begrenzter und unbegrenzter Datensätze
- Fensterung und Auslöser
Pipelines wiederverwendbar und pflegbar machen
Neue Datenquellen und -senken erstellen
- Apache Beam Quelle und Senke API
Integration von Apache Beam mit anderen Big Data Systemen
- Apache Hadoop, Apache Spark, Apache Kafka
Fehlersuche
Zusammenfassung und Fazit
Voraussetzungen
- Erfahrung mit Python Programming.
- Erfahrung mit der Linux-Befehlszeile.
Zielgruppe
- Entwickler
14 Stunden
