Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana

Guide pratique Elastic Stack par des exemples

3.50 (54 reviews)

Udemy

platform

Français

language

Other

What you will learn

Comprendre et mettre en place la chaine d'interconnexion des composants Elastic (Agents Beats, Elasticsearch, Logstash, Kibana) et l'exploiter pour visualiser

Installer un agent Beats(Filebeat, Winlogbeat, Metricbeat, ...) sur un serveur pour ingérer les logs

Ingérer les données log d'un serveur ou d'un fichier, les indexer avec Elasticsearch et les visualiser sur Kibana

Utiliser Elastic pour visualiser les données structurées (CSV, JSON) et non structurées( logs en texte brut)

Utiliser Elastic pour ingérer et visualiser les données d'une base de données relationnelle (exemple avec MySQL)

Comprendre la notion de GROK PATTERN et l'utiliser pour transformer les données non structurées en données structurées

Comprendre l'indexation des données avec Elasticsearch

Créer des index patterns sur Kibana, visualiser les filtrer les logs

Créer les visualisations avec Kibana

Créer des Dashboard avec Kibana

Description

Ce cours pratique est un moyens pour vous d'apprendre Elastic Stack pas à pas en partant de zéro et de devenir opérationnel, apte à vous engager sur un projet. Elastic Stack est une technologie populaire à travers son puissant moteur de recherche Elasticsearch et d'autres outils qui l'accompagne depuis l'ingestion de données jusqu'à la visualisation.

Les Beats (Metricbeat, Filebeat, Winlogbeat, etc.) sont des agents légers installés sur des hôtes pour collecter divers types de données à transférer dans la pile.

Logstash est un pipeline côté serveur. Il assure le traitement des données (type ETL). Il ingère des données provenant de multitude de sources (beats, fichiers, etc.), les transforme et les envoie vers un système de stockage comme Elasticsearch. Les données envoyées par Logstash sont stockées dans Elasticsearch sous forme de documents JSON.

Elasticsearch est un moteur de recherche et d'analyse. Il dispose d’une API REST pour interroger les données à travers les méthodes PUT, POST, DELETE…Mais les données qui y sont stockées peuvent aussi être visualisées et interrogées par l’outil Kibana.

Kibana est une couche de visualisation qui fonctionne au-dessus d'Elasticsearch, offrant aux utilisateurs la possibilité d'analyser et de visualiser les données.

Vous comprendrez l'utilité de ces outils, vous serez en mesure de les configurer pour qu'ils fonctionnent ensemble, vous apprendrez des concepts clés et surtout vous apprendrez le traitement des logs de diverses sources, depuis l'ingestion jusqu'à la visualisation sur Kibana à travers des Dashboard.

Content

Introduction

Capsule de présentation et objectifs du cours

Introduction à Elastic Stack et plan du cours

Information importante

Installation des outils

Installation d'Elasticsearch

Installation de Logstash

Installation de Kibana

Installation de Filebeat

Ingestion et Traitement de logs avec Filebeat

Téléchargement du fichier log

Configuration de Filebeat pour l'ingestion des logs

Configuration du pipeline Logstash pour le connecter à Filebeat et Elasticsearch

Comprendre la notion de filtre Grok et de Grok pattern

Exécution du pipeline Logstash et résultats

Créer un index pattern et visualiser les logs sur Kibana

Configuration du path/chemin d’accès aux logs depuis le pipeline Logstash

Comprendre/utiliser le pipeline sur Elasticsearch: Notion d'Ingest Node Pipeline

Notion de Ingest Pipeline: Définition et utilité

Notion de Ingest Pipeline: Création et utilisation d’un pipeline Elasticsearch

Notion de Ingest Pipeline: Associer le Pipeline créé à un index pattern

Créer graphiquement un Pipeline Elasticsearch et l'associer à un index pattern

Applications pour quelques types spécifiques de logs

Traitement de logs IIS (serveur Web des systèmes d'exploitation Windows)

Lecture de logs de fichiers JSON et CSV avec le pipeline Logstash

Collecte et traitement des logs Windows (event logs): Utilisation de Winlogbeat

Collecte des métriques d'un serveur (CPU, mémoire disque, etc.): Metricbeat

Collecte de données d'une base de données: Exemple d'une base de données Mysql

Créer des Dashboards et importer les données structurées/statiques sur Kibana

Création pas à pas de Dashboard

Importer les données structurées et statiques sur Kibana

Compléments et autres notions importantes

Associer le pipeline à l'Index Template lors de sa création

La réindexation après création d'un pipeline elasticsearch

Notion de Life Policy d'un index

Notion de Replicas

Notion de Shard

Notion de Snapshot: définition, création, exécution et restauration

Ressources

Ebook gratuit

Présentation

Reviews

Vincent

September 11, 2023

Il est écrit dans la description "...devenir opérationnel, apte à vous engager sur un projet" et bien clairement ce n'est pas le cas. Des aspects théoriques sont expliqués mais la pratique n'est pas du tout convaincante, c'est trop brouillons. On ne sent pas une maîtrise de l'outil, la formatrice cherche beaucoup ces mots, c'est lent. Les cas démontrés sont basiques, les commandes sont copiés depuis un document et ne semblent pas être maîtrisées. Cela se voit par exemple lors de la création d'un grok pattern ou d'un ingest pipeline depuis Elastisearch... Pour créer un Ingest Pipeline, il n'est pas indiqué que le node (serveur) doit avoir le rôle ingest. On a juste l'impression que la documentation a été parcourru dans les grandes lignes pour ensuite sortir une "formation". De plus plusieurs points importants ne sont pas abordés : - mise en cluster, - gestion des nodes et des rôles, - sécurité de l'application, - gestion des utilisateurs et des rôles, C'est vraiment léger, c'est une initiation, cela nécessite beaucoup de travail en dehors pour être apte à s'engager sur un projet utilisant la suite Elastic.

DIALLO

August 25, 2023

je voulais avoir plus d'exemple l'api rest d'elasticsearch pour la manipulation des données; une formation pour débuter

Emmanuel

May 11, 2023

Cours très intéressant. Quelques modifications sont cependant à réaliser si l'on travail depuis la version 8.

Soidridine

February 26, 2023

La suite Elastic expliquée de bout en bout de façon pédagogique en français, avec des conseils d'exploitation pertinents. Le tout permet de mieux comprendre le fonctionnement d'une architecture existante ou de commencer le déploiement d'une architecture Elastic à partir de zéro.

Thomas

October 2, 2022

Concernant l'installation sur linux, je trouve qu'elle a pas mal changé ... Sinon les explications restent claires

Charts

Price

Rating

Enrollment distribution

Elastic de A à Z : Beats, Logstash, Elasticsearch, Kibana - Distribution chart