Objectifs

Faire le point sur les différents éléments de l'écosystème Hadoop et leurs rôles respectifs.

Public

Chefs de projets, développeurs, et toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant.

Pré-requis

Connaissances générales des systèmes d'information.

Post-Formation

Méthodes

50% Pratique 50% Théorique

Programme

Introduction

• Les fonctionnalités apportées par Hadoop.
• Les principaux composants.
• Les distributions et leux caractéristiques (HortonWorks, Cloudera, MapR, GreenPlum, Apache, ...)

L'architecture

• Terminologie : NameNode, DataNode, ResourceManager
• Rôle et interactions des différents composants
• Présentation des outils :
• d'infrastructure : ambari, avro, zookeeper
• de gestion des données : pig, oozie, falcon, pentaho, sqoop, flume,
• d'interfaçage avec les applications GIS,
• de restitution et requêtage : webhdfs, hive,
• hawq, impalla, drill, stinger, tajo
• mahout, lucene, elasticSearch, Kibana

Exemples interactifs

• Démonstrations sur une architecture Hadoop multi-noeuds.
• Mise à disposition d'un environnement pour des exemples de calcul
• Recherches dans des données complexes.

Environnement

Hadoop sur Linux

Mot-clés

CB015_Hadoop-ecosysteme_CB015