Introduction

Il ya de cela quelques mois que je suis entrain de travailler sur un project en utilisant les techonlogies ELK Elasticsearch, Logstash et Kiban. j'ai pensé à écrire un blog sur l'installation du stack Elasticsearch, Logstash, Kibana dans un système Windows. Dans les scénarios reel, vous utiliseriez principalement des solutions Linux ou basées sur des conteneurs. Cependant, la plupart d'entre nous utilisent un ordinateur portable Windows à des fins d'apprentissage. Par conséquent, ce didacticiel se concentre sur l'installation du stack ELK sur Windows. Installez ELK sur votre ordinateur portable Windows 10 et apprenez !

 

Qu'est-ce que le stack ELK(Elasticsearch, Logstash, Kibana) ?

Il existe trois produits open source populaires différents : Elasticsearch, Logstash et Kibana. L'acronyme ELK stack est utilisé pour décrire une pile technologique comprenant ces trois produits mise ensemble. Vous devez penser à la raison de l'association de ces trois projets open source ensemble? Eh bien, la réponse est que ces produits se gèlent finement et nous offrent une excellente solution pour la gestion des logs, l'analyse des logs, le monitoring(et bien d'autres fonctionnalités) dans une entreprise.
Dans le Stack Elastic, il existe un autre produit clé appelé Beats. Il existe différents types d'agents Beats et ces agents Beats sont configurés dans les serveurs, les conteneurs ; ils collectent différents types de données (selon les besoins et configurations) et les transmettent à au stack ELK pour un traitement ultérieur.
Jetons un coup d'œil aux brèves fonctionnalités des différents composants du Elastic.

 

Beats : les beats sont des agents légers d'expédition/transmission de logs. Ces agents sont installés sur les serveurs et configurés pour lire le contenu du fichier logs et le transmettre (dans ce cas à logstash).

Logstash : Logstash est un outil open source qui collecte des données, les analyse, les transforme et les envoie à la cible (dans ce cas, la cible est Elasticsearch).

Elasticsearch : Elasticsearch est une base de données RESTful sans schéma basée sur Apache Lucene.

Kibana : Un outil de visualisation open source qui facilite la recherche des données stockées dans la base de données Elasticsearch et fournit également des outils simples pour créer des visualisations, un tableau de bord, etc. et bien d'autres fonctionnalités.

Prérequis système

Dans cet article, nous verrons comment installer ELK dans Windows 10 Pro. Veuillez vous assurer que la dernière version de JAVA est installée sur votre système. Au moment de la rédaction de cet article, la version suivante est installée sur mon système.

PS C:\Users\BprooDev> java -version
java version "16.0.2" 2021-07-20
Java(TM) SE Runtime Environment (build 16.0.2+7-67)
Java HotSpot(TM) 64-Bit Server VM (build 16.0.2+7-67, mixed mode, sharing)

Vous pouvez la telecharger ici: https://www.oracle.com/java/technologies/downloads/

Versions ELK

J'ai pris les dernières versions du stack Elastic lors de la rédaction de cet article.

Elasticsearch V 7.15.0
Logstash
Kibana
Beats
Vous pouvez télécharger tous ces produits à partir de la page officielle de téléchargement des produits d'Elasticsearch https://www.elastic.co/downloads/

Page de téléchargement d'Elasticsearch
Je couvrirai les étapes détaillées pour l'installation de chacun des composants.

Installer Elasticsearch sous Windows

Rendez-vous sur https://www.elastic.co/downloads/elasticsearch
Cliquez sur le lien Windows (surligné dans l'image ci-dessous) et téléchargez le fichier .zip

• Créez un dossier avec la structure suivante : C:\elk\elasticsearch.

• Bien que vous pouvez créer n'importe quelle structure de dossiers, j'utilise cette structure de dossiers pour faciliter l'utilisation.

  Une fois téléchargé, dezipper le contenu dans le dossier créé ci-dessus. Après extraction, cela ressemble à ceci :

• 

Maintenant, modifiez la Variable System Environment PATH pour ajouter le chemin du répertoire : C:\elk\elasticsearch\bin

Maintenant, ouvrez une invite de commande(powershell entant que administrateur) et exécutez la commande suivante pour exécuter Elasticsearch: elasticsearch.bat

Dans quelques secondes, l'instance Elasticsearch démarrera.
Vous verrez l'adresse IP et le numéro de port dans les dernières lignes de l'invite de commande de connexion.

Pour vérifier que l'instance Elasticsearch est réellement en cours d'exécution, ouvrez le navigateur et appelez http://localhost:9200/. Il affichera une page similaire à l'extrait ci-dessous. Cette adresse est cruciale pour la configuration du composant logstash et kibana. Par conséquent, gardez-en une copy.

 

Elasticsearch a démarré avec succès
Super!! Nous avons donc installé avec succès Elasticsearch dans notre système Windows.

Install Logstash in Windows

Rendez-vous sur https://www.elastic.co/downloads/logstash
Cliquez sur le lien ZIP (en bleue surligné ci-dessous) et téléchargez le fichier zip.

Télécharger Logstash
Créez un dossier avec le nom logstash dans C:\elk\.
Extrayez le contenu du fichier zip dans le dossier créé ci-dessus. Après extraction, cela ressemble à ceci :

Maintenant, modifiez la Variable System Environment PATH pour ajouter le chemin du répertoire : C:\elk\logstash\bin
Ouvrez le fichier c:\elk\logstash\conf\logstash-sample.conf et assurez-vous que l'adresse de l'hôte Elasticsearch est correcte. Il devrait s'agir de la même adresse que nous avons reçue après avoir exécuté Elasticsearch [veuillez vérifier les étapes d'installation d'Elasticsearch ci-dessus si vous ne vous retrouvez pas]
Maintenant, ouvrez une invite de commande (powershell) et exécutez la commande suivante pour exécuter logstash
logstash.bat -f c:\elk\logstash\config\logstash-sample.conf

Pour demarrer logstash

Dans quelques secondes, l'instance de logstash démarrera.
Vous verrez une déclaration comme celle-ci "Point de terminaison de l'API Logstash démarré avec succès {:port=>9600}". Veuillez vérifier la capture d'écran ci-dessous pour référence.

• Pour vérifier que l'instance logstash est en cours d'exécution, ouvrez le navigateur et appelez http://localhost:9600/. Il affichera une sortie similaire à l'extrait ci-dessous.

  

 

Logstash a démarré avec succès
Super!! Nous avons donc installé avec succès Logstash dans notre système Windows.

Installer Kibana sous Windows

Rendez-vous sur https://www.elastic.co/downloads/kibana

Cliquez sur le lien WINDOWS (en bleue surligné ci-dessous) et téléchargez le fichier zip.

Télécharger Kibana

Créez un dossier avec le nom kibana dans C:\elk\.

Extrayez le contenu du fichier zip dans le dossier créé ci-dessus. Après extraction, cela ressemble à ceci :

Maintenant, modifiez la Variable System Environment PATH pour ajouter le chemin du répertoire : C:\elk\kibana\bin
Ouvrez le fichier c:\elk\kibana\config\kibana.yml et décommentez la ligne elasticsearch.hosts en supprimant le #. Assurez-vous également que l'adresse de l'hôte Elasticsearch est correcte. Il devrait s'agir de la même adresse que nous avons reçue après avoir exécuté Elasticsearch [veuillez vérifier les étapes d'installation d'Elasticsearch ci-dessus]
Maintenant, ouvrez une invite de commande et exécutez la commande suivante pour exécuter la commande suivante: kibana.bat

Dans quelques instants, l'instance Kibana démarrera
Vous verrez une déclaration comme celle-ci : . Veuillez vérifier la capture d'écran ci-dessous pour référence.

IP et numéro de port de Kibana
Pour vérifier que l'instance kibana est en cours d'exécution, ouvrez le navigateur et appelez http://localhost:5601/. Il ouvrira le portail kibana comme ci-dessous.

L'instance Kibana a démarré avec succès

Vous pouvez cliquer sur Explorer sur mon propre bouton. Si vous souhaitez essayer avec des exemples de données, vous pouvez cliquer sur le bouton Essayer nos exemples de données.

Super!! Ainsi, avec cela, nous avons également installé avec succès kibana dans notre système Windows.

 

• Installer Filebeat sous Windows

• Eh bien, jusqu'à présent, nous avons installé Elasticsearch Logstash et Kibana du stack Elastic. Maintenant, nous allons nous concentrer sur l'expéditeur de données appelé beat. Il existe de nombreux types d'agents de beat à des fins différentes. Dans ce tutoriel, nous allons installer Filebeat. Jetons un coup d'œil à ce qu'est Filebeat ?

  
  Filebeat est un expéditeur léger pour le transfert et la centralisation des données de logs. Installé en tant qu'agent sur vos serveurs, Filebeat surveille les fichiers logs ou les emplacements que vous spécifiez, collecte les événements de logs et les transmet à Elasticsearch ou Logstash pour l'indexation.

• Cliquez sur le lien WINDOWS ZIP 64-BIT (en blue surligné ci-dessous) et téléchargez le fichier zip.

Créez un dossier avec le nom filebeat dans C:\elk\.

Extrayez le contenu du fichier zip dans le dossier créé ci-dessus. Après extraction, cela ressemble à ceci :

Ouvrir un terminal PowerShell en tant qu'administrateur
Exécutez la commande suivante pour parcourir le répertoire filebeat
cd C:\elk\filebeat\

Ensuite, exécutez la commande suivante pour installer le service filebeat dans le système

PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1

La sortie ressemblera à quelque chose comme ci-dessous :

installer le service filebeat
Avec ce filebeat est installé en tant que service Windows. Vous pouvez également vérifier ce service dans les services Windows(gestionaire des taches et l'onglet service).
Maintenant, nous allons apporter quelques modifications au fichier c:\elk\filebeat\filebeat.yml. Ouvrez ce fichier dans n'importe quel éditeur de texte et modifiez la section filbeat.inputs ; commentez le chemin du répertoire Linux et modifiez le chemin du répertoire Windows à l'emplacement souhaité. Il s'agit de l'emplacement du répertoire à partir duquel l'agent filbeat lira les fichiers logs et les poussera vers logstash. Dans mon cas, j'ai fait la configuration suivante:

Ensuite, nous décommenterons les entrées dans output.logstash. Veuillez vous référer à l'extrait ci-dessous pour référence:

Veuillez noter que vous devez fournir la bonne IP et le bon PORT de l'instance de logstash. Dans mon cas, comme vous l'avez remarqué, il s'agit du numéro de port 5044.
À ce stade, vous pouvez exécuter la commande suivante dans PowerShell pour tester la configuration:

.\filebeat.exe -e test config

Vous pouvez également exécuter la commande suivante pour exécuter le Filebeat au premier plan et vous assurer que tout fonctionne correctement et affichera également les logs en continu. Vous pouvez utiliser Ctrl+C pour quitter ce processus.

.\filebeat.exe -c filebeat.yml -e -d “*”

Pour démarrer le service Windows que nous avons installé dans les étapes ci-dessus, vous pouvez soit exécuter la commande suivante, soit démarrer le service en accédant à la fenêtre services (services.msc à partir de Windows + r).

start-service filebeat

Pour arrêter le service Windows que nous avons démarré dans les étapes ci-dessus, vous pouvez soit exécuter la commande suivante, soit arrêter le service en accédant à la fenêtre services (services.msc à partir de Windows + r).

stop-service filebeat

Avec cela, nous avons également terminé la configuration de filebeat dans notre système.

Prochaine Etape

Eh bien, je vais conclure cet article ici car nous avons terminé toutes nos installations et configurations basic. Dans le prochain tutoriel, je vais prendre un exemple de données de log et montrer les données chargées dans Elasticsearch. Nous verrons les mêmes données en utilisant le portail Kibana.