Phare : logo phirio Phirio  : apprendre à apprendre

Phare : logo phiriopuzzle pour les serious games Phirio

Phare : logo phirioDataCenter de Phirio

Phare : logo phirioIllustration des Serious Games Phirio

PrecedentSuivant
  • Formations
    • Catalogue
    • Cloud
    • Big Data
    • Applicatif
    • DataScience
    • Infrastructures
    • Accompagnement
    • Sur mesure
  • Cheat sheets & labs
    • Présentation des technologies
    • Le Laboratoire
    • Blockchain
    • Big Data
    • Liens utiles
  • Informations pratiques
    • Phirio Team
    • Prestations
    • Qualité
    • Centre de formation
    • Nos références
  • Contact
    • Plan d'accès
    • Contact post-formation
    • Recrutement
    • Demande d'informations
  1. Vous êtes ici : Accueil
  2. Presentations produits
  3. Bigdata technologies

Création d'un lac de données

Quels types de données seront stockés ? Documents à structure statique, documents à structure variable, relations, modèles structurés ?

Quelle utilisation sera faite des données ? Lac de données statique, mise à jour permanente, stockage intermédiaire ?

Quels types de traitements seront réalisés ? Requêtes simples, analyses statistiques ?

Dans quel environnement va s'intégrer le système ? Autonome, en lien avec des serveurs JEE, PHP, dans un cloud OpenStack ?

Quels types de performances sont attendues ? Temps réel, calculs à long terme, flux continus ?

De manière générale, une base NoSQL n'a pas vocation à remplacer une base SQL existante et stable. Il est important de considérer les technologies utilisées par chaque outil et la capacité à intégrer un nouvel élément dans un environnement existant.

Critères

On peut ensuite identifier quatre critères qui permettront d'affiner le choix fonctionnel :

  • La performance
  • L'évolutivité
  • La flexibilité
  • La complexité

Outils

Les outils existants sont nombreux :

  • Stockage
    • Séries temporelles (time-series) : InfluxDB, OpenTSDB, Kafka
    • Fichiers : HDFS, Ceph
    • Clés/valeurs : Cassandra, Accumulo, HBase
  • Calculs
    • YARN
    • Spark
    • Dask
    • Storm

Le projet Hadoop regroupe un ensemble d'outils permettant d'exploiter des volumes importants de données : système de stockage, outils d'extraction, de conversion (ETL), d'analyse, systèmes d'organisation des tâches, interfaces de pilotage, etc. HDFS pour le stockage, YARN pour la répartition des tâches, Pig pour simplifier l'écriture de tâches MapReduce, ...

Les différents ateliers permettent de comprendre l'écosystème Hadoop, de savoir installer et configurer les outils, de développer avec MapReduce dans l'environnement Hadoop.

Liens

  • Cassandra
  • Accumulo
  • HBase
  • Apache Hadoop
  • Apache Spark
  • Apache Storm
  • Dask
  • Apache Kafka
  • InfluxDB
  • OpenTSDB
  • Apache Pig
  • Apache YARN
  • OpenStack
  • MongoDB


quelques une de nos réalisations

Phirio

+33 1 55 33 52 10
info@phirio.fr

Plus de 30 ans d'expertise

Formations

  • Calendrier
  • Présentations de technologies
  • Plan d'accès
  • Contact
Data Docklogo Data Dock
logo Qualiopi
La certification qualité a été délivrée par Proneo Certification au titre de la catégorie d'action suivante : ACTIONS DE FORMATION.

2025 Phirio Paris
Protection des données personnelles
Mentions légales et crédits
Conditions générales de vente