Elastic Stack: Fundamentos para Ingestão, Análise e Visualização de Dados

Administradores de sistemas, analistas de suporte, DevOps, analistas de segurança (SOC) e desenvolvedores que precisam trabalhar com grandes volumes de dados, logs e buscas.

Conhecimento básico de linha de comando Linux e conceitos de arquivos de log. Noções de JSON são um diferencial.

1. Introdução ao Elastic Stack e Arquitetura do Ecossistema

• Compreender a função de cada componente do Elastic Stack, seus principais casos de uso e configurar um ambiente de laboratório funcional.
• Visão Geral do Elastic Stack (ELK):
• Elasticsearch: Motor de busca e analytics distribuído.
• Kibana: Interface de visualização e gerenciamento.
• Logstash: Servidor de processamento de dados de pipeline.
• Beats: Agentes de coleta de dados leves.
• Casos de Uso Principais:
• Centralização de Logs: Agregar logs de servidores, aplicações e dispositivos.
• SIEM (Security Information and Event Management): Detecção e investigação de ameaças.
• Busca Empresarial: Implementar motores de busca em aplicações e websites.
• Arquitetura e Topologias:
• Discussão sobre deployments simples (all-in-one) versus distribuídos e escaláveis.
• O papel de cada componente no fluxo de dados: Beats/Logstash -> Elasticsearch -> Kibana.

2. Ingestão de Dados com Logstash e Beats

• Dominar a criação de pipelines no Logstash para ingestão, filtro e enriquecimento de dados, e entender o papel dos Beats.
• Fundamentos do Logstash:
• Estrutura de um pipeline: Input -> Filter -> Output.
• Inputs comuns: file, beats, http.
• Outputs primários: elasticsearch, stdout (para debug).
• Processamento e Enriquecimento de Dados (Filter):
• Filtro grok: Uso de padrões para fazer parsing e extrair campos estruturados de logs não estruturados (ex.: logs de Apache/Nginx).
• Filtros adicionais: date (para timestamp), mutate (para modificar campos).
• Introdução aos Beats:
• Filebeat: Agente leve para enviar arquivos de log.
• Vantagens de usar Beats vs. Logstash para coleta.

3. Explorando Dados com o Kibana Discover e Dashboards

• Aprender a navegar, investigar e visualizar os dados indexados no Elasticsearch utilizando a interface do Kibana.
• Interface do Kibana:
• Navegação pelos principais menus: Discover, Visualize, Dashboards, Dev Tools.
• Investigação com o Discover:
• Pesquisa livre por termos específicos.
• Aplicação de filtros por campos e intervalos de tempo.
• Visualização e inspeção de documentos brutos.
• Linguagem de Consulta KQL (Kibana Query Language):
• Sintaxe básica para buscas eficientes: termos, campos, operadores lógicos (AND, OR, NOT) e intervalos.
• Criação de Visualizações e Dashboards:
• Criando visualizações básicas: Data Table, Bar Vertical, Pie Chart, Metric.
• Montando um dashboard combinando múltiplas visualizações.
• Realizar buscas nos logs ingeridos na aula anterior usando a barra de busca e KQL.
• Criar um dashboard de monitoramento de servidor web com visualizações de: Códigos de Status HTTP, Top URLs acessadas, Tráfego por hora.

4. Fundamentos do Elasticsearch para Administração

• Entender os conceitos fundamentais do Elasticsearch para realizar operações básicas de administração e consulta.
• Conceitos Básicos da Arquitetura:
• Índices (Indices): Coleções de documentos semelhantes.
• Documentos (Documents): Unidade básica de informação (JSON).
• Shards e Réplicas: Como o Elasticsearch distribui e replica os dados para escalabilidade e resiliência.
• Kibana Dev Tools:
• Utilização do console para executar APIs REST do Elasticsearch.
• Operações Básicas de CRUD:
• Criar (Index), Ler (Get), Atualizar (Update) e Deletar (Delete) documentos.
• Introdução à API de Busca:
• Consulta simples usando match_all e match.
• Introdução à DSL (Domain Specific Language) de Query do Elasticsearch.
• Executar comandos no Console do Kibana para criar um índice manualmente.
• Indexar, recuperar e atualizar documentos via API.
• Realizar buscas simples por termos em campos específicos.

5. Construindo uma Solução Completa de Logs

• Consolidar todo o conhecimento em um projeto prático que simula um cenário real de centralização e análise de logs.
• Revisão Arquitetural: Revisão do fluxo completo de dados: Coleta -> Ingestão -> Indexação -> Visualização.
• Definição do Cenário de Projeto:
• Monitorar uma aplicação distribuída composta por: um servidor web (Nginx) e uma aplicação (gerando logs em JSON).
• Coleta: Configurar o Filebeat para coletar logs do access.log do Nginx e do arquivo JSON da aplicação.
• Ingestão e Parsing: Criar um pipeline no Logstash com dois inputs (Beats).
• Configurar filtros grok para o log do Nginx.
• Configurar um filtro json para o log da aplicação.
• Criação do Index: Verificar a criação automática dos índices no Elasticsearch.
• Análise e Visualização: No Kibana:
• Criar um padrão de índice (index pattern) para os novos dados.
• Usar o Discover para investigar os logs.
• Construir um dashboard unificado com métricas de ambos os serviços (ex.: requests vs. errors da aplicação).

• Aulas ao vivo com Instrutor especialista;
• Certificado de participação;
• Acesso a nossa plataforma de ensino imersiva e interativa com: videoaulas para revisão, acompanhamento do seu progresso e avaliação das aulas;

– Se precisar faltar, não se preocupe, pois disponibilizamos a gravação da sua turma por 30 dias.

– Após a contratação, você já terá acesso aos conteúdos e videoaulas completas disponíveis na nossa plataforma.

O prazo máximo é de 6 meses para realizar a totalidade dos cursos adquiridos, contados a partir da contratação.