Airflow

Statut actuel

Non-inscrit

Tarif

29,90 €

Commencer

Maîtrisez Apache Airflow, l’outil d’orchestration de workflows de bout en bout. Cette formation vous guide à travers la création, gestion et exécution de workflows complexes, de l’installation à la mise en production. Vous apprendrez à définir et planifier des DAGs (graphs acycliques dirigés), utiliser des Operators, gérer des connexions et des variables, et intégrer Airflow à divers systèmes externes. Vous découvrirez également les meilleures pratiques pour le débogage, le suivi des exécutions, et le déploiement en environnement de production sur des plateformes telles que Kubernetes et le Cloud.

À la fin de cette formation, vous serez capable de créer des workflows automatisés efficaces, d’assurer la scalabilité de vos pipelines, et de surveiller et optimiser leur performance, tout en garantissant une sécurité optimale.

Ce cours contient :

- Une version écrite et très détaillée de tous les chapitres ;

- Une vidéo de chaque chapitre de la formation ;

- Des quiz après chaque chapitre pour tester la compréhension ;

- Des exercices et travaux pratiques corrigés ;

- Des projets et cas réels ;

- Un quiz final pour tester et valider la maitrise du module.

 

Un Certificat qui atteste de la bonne maitrise de ce cours est délivré à l'apprenant qui a réussi les différentes évaluations.

 

Un suivi régulier par un collaborateur progcours est possible moyennant des frais supplémentaires.

Contenu Cours

Introduction à Apache Airflow
Présentation, comparaison avec d’autres outils
Architecture : DAG, Task, Operator, Scheduler
Webserver, Scheduler, Worker, Metadata Database
Installation avec pip, Docker, Kubernetes
Création d’un projet Airflow simple
Création et Gestion de DAGs
Concepts fondamentaux des DAGs
Structure des Tasks dans un DAG
Planification et fréquence d’exécution
Dépendances entre les tâches
BranchOperators, TriggerRules, SubDAGs
Gestion des erreurs et retries
Les Operators dans Airflow
Personnalisation des Operators
Sensors : FileSensor, TimeSensor, ExternalTaskSensor
Hooks et Connections : PostgresHook, HttpHook…
Gestion des Variables et des Connexions
Variables dans Airflow
Configuration des Connexions pour les services externes
Gestion des secrets (HashiCorp Vault, AWS Secrets Manager)
Planification et Exécution des DAGs
Créer des Schedules avec la syntaxe cron
Exécutions manuelles et automatiques
1 de 2