Objectives

Connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données.

Public

Chefs de projets, développeurs, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.

Prerequisites

Connaissance d'un langage de programmation objet comme Java.

Post-Training

Methods

50% Pratique 50% Théorique

Program

Introduction

• Les fonctionnalités du framework Hadoop
• Le projet et les modules :
• Hadoop Common, HDFS, YARN, MapReduce

MapReduce

• Principe et objectifs du modèle de programmation MapReduce.
• Fonctions map() et reduce().
• Couples (clés, valeurs).
• Implémentation par le framework Hadoop.
• Etude de la collection d'exemples.
• Rédaction d'un premier programme et exécution avec Hadoop.

Programmation

• Les interfaces principales : mapper, reducer,
• partitioner, reporter, outputcollector.
• Format des entrées et sorties d'un job MapReduce :
• InputFormat et OutputFormat.
• Configuration des jobs avec jobconf.
• Interaction avec le JobTracker par JobClient.

Optimisation

• Gestion de la mémoire, des accès disque.
• Utilisation de la JVM.
• Mise en oeuvre du cache distribué.

Securité

• Configuration des ACLs.
• Gestion de l'authentification.

Environment

Hadoop sur Linux

Tags

CB014_Hadoop-developpement-MapReduce_CB014