Programa del Curso
Introducción
Descripción general de Spark Streaming Características y arquitectura
- Fuentes de datos admitidas
- API principales
Preparación del entorno
- Dependencias
- Spark y el contexto de streaming
- Conexión con Kafka
Procesamiento de mensajes
- Análisis de mensajes entrantes como JSON
- Procesos ETL
- Inicio del contexto de streaming
Realización de una ventana Stream Processing
- Intervalo de deslizamiento
- Configuración de entrega de puntos de control
- Lanzamiento del entorno
Prototipado del código de procesamiento
- Conexión con un tema de Kafka
- Recuperación de JSON de la fuente de datos mediante Paw
- Variaciones y procesamiento adicional
Transmisión del código
- Variables de control de trabajos
- Definición de valores que deben coincidir
- Funciones y condiciones
Adquisición de salida de flujo
- Contadores
- Salida de Kafka (coincidente y no coincidente)
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia con Python y Apache Kafka
- Familiaridad con las plataformas de procesamiento de flujos
Audiencia
- Ingenieros de datos
- Científicos de datos
- Programadores
Testimonios (5)
Compromiso con el Trainer Una serie de ejercicios y laboratorios relevantes Exámenes Prácticos
Salim - SICPA SA
Curso - Administration of Kafka Message Queue
Traducción Automática
Los laboratorios y las diapositivas combinan bien con el conocimiento y el amor de Jorge por Kafka.
Willem - BMW SA
Curso - Apache Kafka for Developers
Traducción Automática
Sufficient hands on, trainer is knowledgable
Chris Tan
Curso - A Practical Introduction to Stream Processing
Habilidades de rejilla, ejemplos, muy buenos ejercicios
Marek Konieczny - G2A.COM Limited
Curso - Kafka for Administrators
Traducción Automática
Recalling/reviewing keypoints of the topics discussed.