Plan Szkolenia

Przegląd Apache Airflow Podstawy

  • Podstawowe pojęcia: DAG, zadania i operatorzy
  • Architektura i komponenty przepływu powietrza
  • Podsumowanie typowych przypadków użycia i przepływów pracy

Optymalizacja wydajności przepływu pracy

  • Identyfikacja wąskich gardeł w potokach Airflow
  • Techniki optymalizacji na poziomie zadań
  • Wykorzystanie ponawiania zadań, równoległości i współbieżności

Zarządzanie złożonymi zależnościami

  • Definiowanie dynamicznych zależności w przepływach pracy
  • Obsługa warunkowych i rozgałęzionych przepływów pracy
  • Efektywne korzystanie z grup zadań i podrzędnych grup DAG

Zaawansowane funkcje w Apache Airflow

  • Tworzenie niestandardowych operatorów i haków
  • Implementowanie czujników dla zewnętrznych wyzwalaczy
  • Integracja usług i wtyczek innych firm

Skalowanie wdrożeń Apache Airflow

  • Podejścia do skalowania poziomego i pionowego
  • Używanie executorów Celery do wykonywania rozproszonego
  • Najlepsze praktyki skalowania w środowiskach chmurowych

Monitorowanie i debugowanie przepływów pracy

  • Konfigurowanie rejestrowania i alertów na potrzeby monitorowania przepływów pracy
  • Korzystanie z interfejsu użytkownika Airflow i interfejsu CLI do rozwiązywania problemów
  • Identyfikowanie i rozwiązywanie typowych problemów we wdrożeniach Airflow

Zabezpieczanie Apache Airflow

  • Uwierzytelnianie i kontrola dostępu w Airflow
  • Ochrona wrażliwych danych i konfiguracji środowiska
  • Wdrażanie ścieżek audytu dla przepływów pracy

Enterprise Use Case i najlepsze praktyki

  • Projektowanie solidnych przepływów pracy dla środowisk produkcyjnych
  • Wykorzystanie Airflow do inżynierii danych i potoków ETL
  • Zapoznanie się z rzeczywistymi studiami przypadków skalowalnych wdrożeń Airflow

Podsumowanie i kolejne kroki

Wymagania

  • Podstawowa znajomość Apache Airflow
  • Znajomość Python programowania i koncepcji orkiestracji przepływu pracy
  • Doświadczenie w zarządzaniu i wdrażaniu aplikacji w środowiskach Linux

Uczestnicy

  • Inżynierowie danych
  • Specjaliści DevOps
  • Programiści
 21 godzin

Liczba uczestników


cena netto za uczestnika

Opinie uczestników (1)

Propozycje terminów

Powiązane Kategorie