Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Plan Szkolenia
Przegląd Apache Airflow Podstawy
- Podstawowe pojęcia: DAG, zadania i operatorzy
- Architektura i komponenty przepływu powietrza
- Podsumowanie typowych przypadków użycia i przepływów pracy
Optymalizacja wydajności przepływu pracy
- Identyfikacja wąskich gardeł w potokach Airflow
- Techniki optymalizacji na poziomie zadań
- Wykorzystanie ponawiania zadań, równoległości i współbieżności
Zarządzanie złożonymi zależnościami
- Definiowanie dynamicznych zależności w przepływach pracy
- Obsługa warunkowych i rozgałęzionych przepływów pracy
- Efektywne korzystanie z grup zadań i podrzędnych grup DAG
Zaawansowane funkcje w Apache Airflow
- Tworzenie niestandardowych operatorów i haków
- Implementowanie czujników dla zewnętrznych wyzwalaczy
- Integracja usług i wtyczek innych firm
Skalowanie wdrożeń Apache Airflow
- Podejścia do skalowania poziomego i pionowego
- Używanie executorów Celery do wykonywania rozproszonego
- Najlepsze praktyki skalowania w środowiskach chmurowych
Monitorowanie i debugowanie przepływów pracy
- Konfigurowanie rejestrowania i alertów na potrzeby monitorowania przepływów pracy
- Korzystanie z interfejsu użytkownika Airflow i interfejsu CLI do rozwiązywania problemów
- Identyfikowanie i rozwiązywanie typowych problemów we wdrożeniach Airflow
Zabezpieczanie Apache Airflow
- Uwierzytelnianie i kontrola dostępu w Airflow
- Ochrona wrażliwych danych i konfiguracji środowiska
- Wdrażanie ścieżek audytu dla przepływów pracy
Enterprise Use Case i najlepsze praktyki
- Projektowanie solidnych przepływów pracy dla środowisk produkcyjnych
- Wykorzystanie Airflow do inżynierii danych i potoków ETL
- Zapoznanie się z rzeczywistymi studiami przypadków skalowalnych wdrożeń Airflow
Podsumowanie i kolejne kroki
Wymagania
- Podstawowa znajomość Apache Airflow
- Znajomość Python programowania i koncepcji orkiestracji przepływu pracy
- Doświadczenie w zarządzaniu i wdrażaniu aplikacji w środowiskach Linux
Uczestnicy
- Inżynierowie danych
- Specjaliści DevOps
- Programiści
21 godzin
Opinie uczestników (1)
Umiejetnośc przekazania wiedzy, dobrze dobrana ilośc ćwiczeń,