Exploitants, architectes BigData, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData.
Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.
Connaissance générale des systèmes d'informations et des bases de données.
Supervision : définitions
Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.
Objets supervisés. Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.
Définition des ressources à surveiller. Journaux et métriques.
Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB
Mise en oeuvre
Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits : Prometheus, Graphite, Influxdb, Loki, ElasticSearch.
Présentation, architectures.
Les sur-couches : Kibana, Grafana.
Présentation de Graphite
Composants, architecture
Modèle de données et mesures
Format des données stockées, notion de timestamp
Calculs de l'espace disque nécessaire
Architecture de production.
Présentation d'InfluxDB
Présentation, structure, évolution, installation
Bucket, token, organisation
Plugin Telegraph, architecture
Langage InfluxQL, compatibilité SQL
Atelier: Démonstration avec InfluxDB3, Jolokia2 et Cassandra.
Protocole JMX
Principe des accès JMX. MBeans. Visualisation avec jconsole.
Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...
Présentation de Prometheus
Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Types de mesures : compteurs, jauges, histogrammes, résumés.
Notions d'instances, de jobs.
Démarrage du serveur Prometheus
Premiers pas dans la console web, et l'interface graphique.
Node Exporter. JMX Exporteur. Autres exporteurs.
Le langage PromQL
Atelier: Supervision d'un serveur avec Node exporter.
Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
Requêtage. Visualisation des données
Comparaison avec Graphite et InfluxDB.
Atelier: Supervision de Cassandra avec JMX exporter.
Exploration et visualisation des données avec Grafana
Mise en oeuvre. Installation, configuration.
Pose de filtres sur Prometheus et remontée des données.
Etude des différents types de graphiques disponibles,
Agrégation de données. Appairage des données entre Prométheus et Grafana.
Visualisation et sauvegarde de graphiques,
création de tableaux de bord à partir des graphiques.
Atelier: Création d'un tableau de bord complet de supervision des écritures dans Cassandra.
Présentation de Loki
Principe, architecture.
Installation monolithique et évolutive simple. Configuration.
Utilisation de Promtail et Alloy. Configuration.
Le langage LogQL.
Atellie: Supervision des logs Cassandra avec Grafana, mise en place d'un tableau de bord de suivi des logs
Présentation de la pile Elastic
Architectures, paramétrages.
Dimensionnement du cluster Elasticsearch.
Installation, configuration du mapping avec Elasticsearch.
Mapping automatique ou manuel.
Injection des données avec Filebeat, Metricbeat. Agents Elastic intégrés.
Atelier: Supervision de Cassandra avec Elasticsearch et différentes méthodes d'ingestion des logs et des métriques.
Configuration des indexes. Les Dataview.
Exploration des données,création de graphiques, de tableaux de bord avec Kibana
Atelier: Supervision de Mongodb avec Elasticsearch, les agents Beats et Kibana
