Chefs de projets, développeurs, et toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant.
Faire le point sur les différents éléments de l'écosystème Hadoop et leurs rôles respectifs. Comprendre l'architecture des applicatifs hadoop et savoir quels sont les apports et les cas d'usage des solutions hadoop.
Connaissances générales des systèmes d'information.
|
| Introduction |
Durée : 1h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Rappels sur NoSQL. Le théorème CAP. Historique du projet hadoop. Fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ... Exemples de cas d'utilisation sur des grands projets. Les principaux composants : HDFS pour le stockage et YARN pour les calculs. Les distributions et leurs caractéristiques (HortonWorks, Cloudera, MapR, EMR, Apache, ...)
|
|
| L'architecture |
Durée : 1h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Terminologie : NameNode, DataNode, ResourceManager. Rôle et interactions des différents composants. Présentation des outils d'infrastructure : ambari, avro, zookeeper;de gestion des données : pig, oozie, tez, falcon, sqoop, flume;d'interfaçage avec les applications GIS;de restitution et requêtage : webhdfs, hive, hawq, impala, drill, stinger, tajo, mahout, lucene, elasticSearch, kibana
Les architectures connexes : spark, cassandra
|
|
| Exemples interactifs |
Durée : 3h
Méthodes pédagogiques : alternance de théorie et de travaux pratiques
Matériels et moyens : vidéo-projecteur en présentiel, tableau partagé en classe virtuelle, infrastructure distribuée serveurs Linux | Démonstrations sur une architecture Hadoop multi-noeuds. Mise à disposition d'un environnement pour des exemples de calcul. Atelier : intégration de données avec Flume, calculs map/reduce avec Pig, Hive, et Impala.
|
|
| Applications |
Durée : 1h30
Méthodes pédagogiques : exposé/échanges
Matériels et moyens : video-projecteur en présentiel, tableau partagé en classe virtuelle | Cas d'usages de hadoop. Calculs distribués sur des clusters hadoop.
|
