DP-203: Data Engineering on Azure

O público-alvo principal deste curso são profissionais de dados, arquitetos de dados e profissionais de business intelligence que querem saber mais sobre a engenharia de dados e a criação de soluções analíticas usando tecnologias de plataforma de dados que existem no Microsoft Azure. O público-alvo secundário deste curso inclui analistas de dados e cientistas de dados que trabalham com soluções analíticas criadas Microsoft Azure.

Ter participado dos cursos DP-900: Fundamentos de Dados no Azure e AZ-900: Microsoft Azure Fundamentals ou possuir conhecimentos equivalentes.

Preparatório para o exame DP-203: Data Engineering on Microsoft Azure, exigido na conquista da credencial Microsoft Certified Azure Data Engineer Associate.

* O exame não está incluso na contratação.

1. Introdução à engenharia de dados no Azure

• O que é a engenharia de dados
• Conceitos importantes sobre engenharia de dados
• Engenharia de dados no Microsoft Azure

2. Introdução ao Azure Data Lake Storage Gen2

• Entender o Azure Data Lake Storage Gen2
• Habilite o Azure Data Lake Storage Gen2 no Armazenamento do Azure
• Comparar o Azure Data Lake Storage com o Armazenamento de Blobs do Azure
• Entenda as etapas do processamento de big data
• Use o Azure Data Lake Storage Gen2 em cargas de trabalho de análise de dados

3. Introdução ao Azure Synapse Analytics

• O que é o Azure Synapse Analytics
• Como o Azure Synapse Analytics funciona
• Quando usar o Azure Synapse Analytics

4. Usar o pool de SQL sem servidor do Azure Synapse para consultar arquivos em um data lake

• Entender as funcionalidades e os casos de uso do pool de SQL sem servidor do Azure Synapse
• Consultar arquivos usando um pool de SQL sem servidor
• Criar objetos de banco de dados externos

5. Usar pools de SQL sem servidor do Azure Synapse para transformar dados em um data lake

• Transformar arquivos de dados com a instrução create external table as select
• Encapsular transformações de dados em um procedimento armazenado
• Incluir um procedimento armazenado de transformação de dados em um pipeline

6. Criar um banco de dados Lake no Azure Synapse Analytics

• Entender os conceitos do banco de dados Lake
• Explorar modelos de banco de dados
• Criar um banco de dados Lake
• Usar um banco de dados Lake

7. Analisar dados com o Apache Spark no Azure Synapse Analytics

• Conhecer o Apache Spark
• Usar o Spark no Azure Synapse Analytics
• Analisar dados com o Spark
• Visualizar os dados com o Spark

8. Transformar dados com o Spark no Azure Synapse Analytics

• Modificar e salvar dataframes
• Particionar arquivos de dados
• Transformar dados com o SQL

9. Usar o Delta Lake no Azure Synapse Analytics

• Compreender o Delta Lake
• Criar tabelas do Delta Lake
• Criar tabelas de catálogo
• Usar o Delta Lake com tipo de dados de streaming
• Usar o Delta Lake em um pool de SQL

10. Analisar dados em um data warehouse relacional

• Criar um esquema de data warehouse
• Criar tabelas de data warehouse
• Carregar tabelas de data warehouse
• Consultar um data Warehouse

11. Carregar dados em um data warehouse relacional

• Carregar tabelas de preparo
• Carregar tabelas de dimensões
• Carregar tabelas de dimensões temporais
• Carregar dimensões variáveis lentas
• Carregar tabelas de fatos
• Executar a otimização pós-carregamento

12. Criar um pipeline de dados no Azure Synapse Analytics

• Entender os pipelines no Azure Synapse Analytics
• Criar um pipeline no Azure Synapse Studio
• Definir fluxos de dados
• Executar um pipeline

13. Usar notebooks do Spark em um pipeline do Azure Synapse

• Noções básicas sobre notebooks e pipelines do Synapse
• Usar uma atividade de notebook do Azure Synapse em um pipeline
• Use parâmetros em um notebook

14. Planejar o processamento transacional e analítico híbrido usando o Azure Synapse Analytics

• Entender os padrões do processamento transacional e analítico híbrido
• Descrever o Link do Azure Synapse

15. Implementar o Link do Azure Synapse com o Azure Cosmos DB

• Habilitar a conta do Cosmos DB para usar o Link do Azure Synapse
• Criar um contêiner habilitado para repositório analítico
• Criar um serviço vinculado para Cosmos DB
• Consultar dados do Cosmos DB com o Spark
• Consultar o Cosmos DB com o SQL do Synapse

16. Implementar Link do Azure Synapse para SQL

• O que é o Link do Azure Synapse para SQL?
• Configurar o Link do Azure Synapse para Banco de Dados SQL do Azure
• Configurar o Link do Azure Synapse para SQL Server 2022

17. Introdução ao Azure Stream Analytics

• Reconhecer fluxos de dados
• Reconhecer o processamento de eventos
• Entender as funções de janela

18. Ingerir dados de streaming usando o Azure Stream Analytics e o Azure Synapse Analytics

• Cenários de ingestão de fluxo
• Configurar entradas e saídas
• Definir uma consulta para selecionar, filtrar e agregar dados
• Executar um trabalho para ingerir dados

19. Visualizar dados em tempo real com o Azure Stream Analytics e o Power BI

• Usar uma saída do Power BI no Azure Stream Analytics
• Criar uma consulta para a visualização em tempo real
• Criar visualizações de dados em tempo real no Power BI

20. Introdução ao Microsoft Purview

• O que é o Microsoft Purview?
• Como o Microsoft Purview funciona
• Quando usar o Microsoft Purview

21. Integrar o Microsoft Purview e o Azure Synapse Analytics

• Catalogar ativos de dados do Azure Synapse Analytics no Microsoft Purview
• Conectar o Microsoft Purview a um workspace do Azure Synapse Analytics
• Pesquisar um catálogo do Purview no Synapse Studio
• Acompanhar linhagem de dados nos pipelines

22. Explorar o Azure Databricks

• Introdução ao Azure Databricks
• Identificar cargas de trabalho do Azure Databricks
• Entender os principais conceitos

23. Usar Apache Spark no Azure Databricks

• Conhecer o Spark
• Criar um cluster Spark
• Usar o Spark em notebooks
• Usar o Spark para trabalhar com arquivos de dados
• Visualizar dados

24. Executar os Notebooks do Azure Databricks com o Azure Data Factory

• Entenda os notebooks e pipelines do Azure Databricks
• Criar um serviço vinculado para o Azure Databricks
• Use uma atividade do Notebook em um pipeline
• Use parâmetros em um notebook

* os conteúdos podem sofrer alterações, visando melhorias e atualizações, sem prévio aviso

Ao contratar esse treinamento você ganhará a videoaula do curso DP-900: Fundamentos de Dados no Azure (8h).

Inclui: 

• Aulas ao vivo com Instrutor credenciado e laboratórios oficiais;
• Apostila digital oficial e certificado de participação;
• Acesso a nossa plataforma de ensino imersiva e interativa com: videoaulas para revisão, acompanhamento do seu progresso e avaliação das aulas;

– Se precisar faltar, não se preocupe, pois disponibilizamos a gravação da sua turma por 30 dias.

– Após a contratação, você já terá acesso aos conteúdos e videoaulas completas disponíveis na nossa plataforma. 

O prazo máximo é de 6 meses para realizar a totalidade dos cursos e exames adquiridos, contados a partir da contratação. Exceto a cortesia (videoaula) cujo prazo de acesso é de 30 dias.