Objectives

Faire le point sur les différents éléments de l'écosystème Hadoop et leurs rôles respectifs.

Public

Chefs de projets, développeurs, et toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant.

Prerequisites

Connaissances générales des systèmes d'information.

Post-Training

Methods

50% Pratique 50% Théorique

Program

Introduction

• Les fonctionnalités apportées par Hadoop.
• Les principaux composants.
• Les distributions et leux caractéristiques (HortonWorks, Cloudera, MapR, GreenPlum, Apache, ...)

L'architecture

• Terminologie : NameNode, DataNode, ResourceManager
• Rôle et interactions des différents composants
• Présentation des outils :
• d'infrastructure : ambari, avro, zookeeper
• de gestion des données : pig, oozie, falcon, pentaho, sqoop, flume,
• d'interfaçage avec les applications GIS,
• de restitution et requêtage : webhdfs, hive,
• hawq, impalla, drill, stinger, tajo
• mahout, lucene, elasticSearch, Kibana

Exemples interactifs

• Démonstrations sur une architecture Hadoop multi-noeuds.
• Mise à disposition d'un environnement pour des exemples de calcul
• Recherches dans des données complexes.

Environment

Hadoop sur Linux

Tags

CB015_Hadoop-ecosysteme_CB015