Domine Apache Airflow: Pipelines de Engenharia de Dados

Aprenda com aulas práticas uma das principais ferramentas da engenharia de dados moderna!

4.76 (489 reviews)

Udemy

platform

Português

language

Data Science

What you will learn

Entender a Arquitetura do Airflow

Configurar Dags com Operadores, Gatilhos e Branchs

Criar Pools, Datasets e Sensors

Extrair e Tratar Dados com Airflow

Criar Diversos Tipos de Operadores, como Python, TriggerDag e Outros

Realizar Operações em Banco de Dados

Utilizar Hooks do Airflow

Configurar o Airflow

Operar o Airflow pela CLI

Why take this course?

Bem vindo ao nosso moderno curso de Airflow, desenvolvido e lançado em 2023!

O Airflow é uma plataforma que permite o gerenciamento, a programação e a monitoração de fluxos de trabalho de processamento de dados (pipelines), usado por empresas como Netflix, Airbnb, Paypal, Twitter e outras.

Através de uma abordagem baseada em Directed Acyclic Graphs (DAGs), o Airflow facilita a definição de tarefas e suas dependências, permitindo a execução paralela e sequencial das etapas do processo.

O Airflow pode ser utilizado para automatizar e orquestrar uma ampla gama de fluxos de trabalho de processamento de dados. Um exemplo é a extração, transformação e carga (ETL) de dados de uma API para um banco de dados.

Neste curso você vai aprender de forma prática como criar seus próprios Pipelines de Dados utlizando esta ferramenta incrível e moderna. Entre outras coisas você vai:

Conhecer a Arquitetura do Airflow
Aprender Fundamentos de Dags e Tasks
Construir suas Próprias Dags
Implementar Dags com Operadores com PythonOperator, PostgresOperator entre muitos outros
Entender e aplicar conceitos como Pools, Variáveis, branchs e Dataset
Criar Sensores em Airflow
Conhecer e Implementar regras de Triggers
Trocar dados utilizando XCom
Enviar emails em caso de Falhas ou mesmo em uma Task
Entender e Criar Hooks
Compreender as principais configurações do Airflow
Estudar os tipos de Executers e seus características
Conectar e atualizar bancos de dados

O curso ainda inclui acesso a todos os códigos e slides utlizados.

Bons estudos!

Reviews

Lays

January 10, 2024

Ótimo curso como sempre o professor Fernando demonstra muito dominio sobre o assunto aplicado. Senti falta de um exemplo usando uma Cloud, mas já da pra ter uma noção e utilizar os recursos das aulas aplicadas para projetos pequenos. Tive dificuldade na configuração do docker, me bati uns dias até conseguir descobrir o que era, mas no fim deu tudo certo!! Mais um pro bolso.

Robson

January 7, 2024

Caro Professor Amaral, Quero expressar minha gratidão pela metade do curso. Sua paixão pelo ensino é inspiradora, proporcionando uma compreensão profunda da matéria. Sua atmosfera positiva e apoio constante têm sido fundamentais para meu desenvolvimento. Chegar à metade do curso é um marco que reflete o impacto significativo que você tem em sua turma. Obrigado por sua dedicação excepcional. Atenciosamente, Robson

James

December 15, 2023

O curso foi muito bom pelo fato de ser muito prático. A carga horária não foi tão grande, mas nos entregou o conhecimento necessário para sermos flexíveis em resolver problemas reais.

Jamesson

November 17, 2023

Um excelente curso para quem deseja aprender do zero, o instrutor tem muito conhecimento e tem uma ótima didática, recomendo, o curso me ajudou a iniciar dentro da ferramenta, agora é avançar nos estudos.

Gustavo

November 3, 2023

Curso excelente. top demais. Único detalhe é que provavelmente vão sentir dificuldades, como na chamada de algumas libs ou instalações, isso se estiver usando a versão mais atualizada do airflow, mas dai é só ler a lib e pronto. de resto curso é top

Lucas

September 19, 2023

Curso muito bom para iniciantes, explora várias areas do Airflow. Professor com ótima didática, explica muito bem e em uma boa velocidade, não perde tempo. Bem satisfeito com o curso!

Renan

August 29, 2023

Acredito ser um bom curso introdutório, principalmente para aqueles que querem saber por onde começar, isso porque o curso alia a teoria com prática. Entretanto senti falta de exemplos de casos de uso ou problemas de negócios durante o decorrer do curso, exemplos que geralmente encontramos no dia a dia.

Rodrigo

August 14, 2023

Muito bom excelente...estou gostando muito, muito esclarecedor, era leigo em airflow, agora consigo discutir com alguma autoriedade o assunto em calls.

Ricardo

August 9, 2023

Curso muito bem ministrado, o professor aparenta ter o domínio da ferramenta, o professor em todas as aulas "faz" as dags com os alunos e isso é melhor do que começar a aula com o script pronto, senti falta apenas de aplicações nos ambientes empresariais.

Charlis

June 21, 2023

muito bom. vários exemplos e material disponível das aulas para acompanhar e fazer o curso mais rápido. excelente

Paulo

June 17, 2023

Muito bom. Prático na medida certa pra mim, e teórico quando precisa. Não será um curso de 7h que vai te tornar um engenheiro de dados, mas é uma excelente opção pra sair do 0 nos seus estudos

Guilherme

June 12, 2023

muito tempo basicamente passando a documentação da ferramenta. falta de utilização mais real e complexa.

Danilo

April 24, 2023

Conteúdo muito bem estruturado e o instrutor demonstra domínio da solução, além de trazer vários exemplos práticos

Leandro

April 17, 2023

Curso maravilhoso. Superou em muito as minhas expectativas. Fico feliz de ter estudado através dele e de ter conhecido mais sobre está ferramenta incrível.

Michael

April 7, 2023

Curso muito bom. Atende perfeitamente ao que é proposto. Um ótimo ponto de partida para quem não conhece nada da ferramenta e quer dar os primeiros passos, dando uma boa visão da ferramenta e possibilidades.

Charts

Price

Rating

Enrollment distribution

Domine Apache Airflow: Pipelines de Engenharia de Dados - Distribution chart