Exploitants, architectes BigData, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme BigData.
Connaître les outils et mécanismes permettant de superviser des fermes BigData. Identifier les critères de choix.
Connaissance générale des systèmes d'informations et des bases de données.
|
| Supervision : définitions |
Durée : 3h
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Les objectifs de la supervision, les techniques disponibles. La supervision d'une ferme BigData.
Objets supervisés. Les services et ressources. Protocoles d'accès. Exporteurs distribués de données.
Définition des ressources à surveiller. Journaux et métriques.
Application aux fermes BigData : Hadoop, Cassandra, HBase, MongoDB
|
|
| Mise en oeuvre |
Durée : 3h
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
Produits : Prometheus, Graphite, Influxdb, ElasticSearch.
Présentation, architectures.
Les sur-couches : Kibana, Grafana.
|
|
| Graphite |
Durée : 3h
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Composants, architecture
Modèle de données et mesures
Format des données stockées, notion de timestamp
Calculs de l'espace disque nécessaire
Architecture de production.
|
|
| InfluxDB |
Durée : 2h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Présentation, structure, évolution, installation
Bucket, token, organisation
Plugin Telegraph, architecture
Interface graphique, alertes, langage flux
Démonstration avec Jolokia2 et Cassandra.
|
|
| JMX |
Durée : 2h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Principe des accès JMX. MBeans. Visualisation avec jconsole et jmxterm.
Suivi des performances cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...
|
|
| Prometheus |
Durée : 2h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Installation et configuration de base
Définition des ressources supervisées, des intervalles de collecte
Types de mesures : compteurs, jauges, histogrammes, résumés.
Notions d'instances, de jobs.
Démarrage du serveur Prometheus
Premiers pas dans la console web, et l'interface graphique.
Le langage PromQL
Node Exporter. JMX Exporteur. Mongodb Exporteur.
Démonstration avec Cassandra
Configuration des agents sur les noeuds de calculs. Agrégation des données JMX. Expressions régulières.
Requêtage. Visualisation des données
Comparaison avec Graphite et InfluxDB.
|
|
| Exploration et visualisation des données |
Durée : 2h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Mise en oeuvre de Grafana. Installation, configuration.
Pose de filtres sur Prometheus et remontée des données.
Etude des différents types de graphiques disponibles,
Agrégation de données. Appairage des données entre Prométheus et Grafana.
Visualisation et sauvegarde de graphiques,
création de tableaux de bord à partir des graphiques.
|
|
| Kibana, installation et configuration |
Durée : 2h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Architectures, paramétrages
Installation, configuration du mapping avec Elasticsearch.
Mapping automatique ou manuel
Démonstration avec Cassandra
Injection des données avec Logstash, Filebeat et Metricbeat.
Configuration des indexes
Exploration des données,création de graphiques, de tableaux de bord
|
