Logo Esic
Formation hadoop - développement

Formation hadoop - développement

Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information. 

5 Jours (35 Heures)

DébutantA partir de2 666.67 €
Cliquez iciInscrivez-vous à cette formationEn 2 minutes et avec votre cpf

En ligne ou Dans nos locaux ou Dans vos locaux

Dernière mise à jour: Lundi, 17 Juin 2024

S'inscrire

Objectifs de la formation

À l’issue de la formation, le participant sera en mesure de :
  • Construire un programme à base de Map Reduce
  • Intégrer Hadoop HBase dans un workflow d'entreprise
  • Travailler avec Apache Hive et Pig depuis HDFS
  • Utiliser un graphe de tâches avec Hadoop

Equipe pédagogique

Nos formations sont animées par des experts reconnus dans leur domaine possédant une expérience sur le terrain significative et des compétences pédagogiques reconnues,

Pré requis pour cette formation

connaissances big data - bac+4

Programme de la formation

Le Big Data

  • Définition du périmètre du Big Data.
  • Le rôle du projet Hadoop.
  • Les concepts de base des projets Big Data.
  • Présentation du Cloud Computing.
  • Différence entre Cloud Computing privé et public.
  • Les architectures Big Data à base du projet Hadoop.

Démonstration

Usage d'Hadoop et de GoogleApp.

Collecte de données et application de Map Reduce

  • Analyse des flux de données dans l'entreprise.
  • Données structurées et non-structurées.
  • Les principes de l'analyse sémantique des données d'entreprise.
  • Graphe des tâches à base de MapReduce.
  • La granularité de cohérence des données.
  • Transfert de données depuis un système de persistance dans Hadoop.
  • Transfert de données d'un Cloud dans Hadoop.

Travaux pratiques

Gérer la collecte d'informations clientèles par Map Reduce. Configuration de l'implémentation YARN. Développement d'une tâche basée sur Map Reduce.

Le stockage des données avec HBase

  • Plusieurs types de base de données XML.
  • Patterns d'usages et application au Cloud.
  • Application de Hadoop database au sein d'un workflow.
  • Utilisation des projets Hive/Pig.
  • Utilisation du projet HCatalog.
  • L'API Java HBase.

Travaux pratiques

Gérer les modifications d'un catalogue de données fournisseur.

Le stockage des données sur HDFS

  • Patterns d'usages et application au Cloud.
  • Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
  • Opérations, commandes et gestion des commandes.
  • L'API HDFS Java.
  • Analyse de données avec Apache Pig.
  • Le langage Pig Latin. Utiliser Apache Pig avec Java.
  • Requêtage avec Apache Hive.
  • Réplication de données. Partage de données sur une architecture HDFS.

Travaux pratiques

Administrer un référentiel client partagé sur Hadoop. Utilisation de la console de visualisation.

Spring Data Hadoop

  • Introduction à Spring et Spring Data.
  • Le namespace Hadoop pour Spring.
  • Utiliser Spring pour simplifier la configuration Hadoop.
  • Configuration du cache distribué.
  • Définition des Jobs et dépendance entre Jobs.
  • Intégration des outils (Pig, Hive...).

Travaux pratiques

Refondre la gestion du catalogue de données fournisseur via Spring Data.

 

Votre profil pour cette formation

Développeurs, Chefs de projets, Data-scientists, Architectes

Modalités et délais d'accès

  • Le délai d'accès moyent pour cette formation est de 2 Semaines
  • Merci d’utiliser le formulaire de contact ou nous joindre par téléphone ou mail pour l’organisation de votre formation.

Ressources pédagogiques

  • Accueil des apprenants dans une salle dédiée à la formation.
  • Documents supports de formation projetés.
  • Exposés théoriques
  • Etude de cas concrets
  • Quiz en salle
  • Mise à disposition en ligne de documents supports à la suite de la formation.

Moyens d'évaluation

  • Feuilles de présence.
  • Questions orales ou écrites (QCM).
  • Mises en situation.
  • Formulaires d'évaluation de la formation.
  • Certificat de réalisation de l’action de formation.

Pour les personnes à mobilité reduite

Les personnes atteintes de handicap souhaitant suivre cette formation sont invitées à nous contacter directement, afin d’étudier ensemble les possibilités de suivre la formation.

Prérequis techniques

Pour suivre cette formation à distance vous aurez besoin

  • D'un Mac ou d'un PC
  • Une Connexion internet stable
  • Un Navigateur Web récent
  • De Teams ou de Zoom
  • Du logiciel enseigné ou à utiliser installé

Dans nos locaux nous mettrons à votre disposition tout le nécessaire.

Dans vos locaux nous conviendrons du nécessaire à mettre en place pour le bon déroulé de cette formation.

Méthodes et moyens pédagogiques

Pour le suivi de l'exécution et d'évaluation vous serez accompagnés par notre équipe pédagogique et technique sous la supervision de Madame Michèle ELBAZ.

 

En amont de la formation, notre conseiller formation réalise avec vous un entretien permettant de déterminer vos attentes concernant la formation.

 

Les horaires et le rythme sont à votre convenance ou à convenir avec notre équipe pédagogique.

 

Si nécessaire, pendant la formation vous aurez des exercices pratiques et/ou mises en situation.

 

A la fin de la formation nous vous mettons à disposition en ligne des documents et supports. Vous aurez un certificat de réalisation de la formation.

 

Nous vous transmettrons un questionnaire de satisfaction à chaud en fin de formation, et à froid à 3 mois. 
Nous vous transmettrons un  questionnaire d’auto-évaluation en fin de formation) et/ou passage de la certification (en conditions d’examens ou en télésurveillance après la formation)

 

Pour toute formation certifiante, vous aurez à la plateforme de certification. 

Formation asp.net mvc core, développement d'applications web

Formation asp.net mvc core, développement d'applications web
DébutantA partir de2 800 €

Formation asp.net mvc core, développement d'applications web

Formation DevOps en ligne

Formation DevOps en ligne
DébutantA partir de1 400 €

Formation devops en ligne

Formation apache - perfectionnement
DébutantA partir de2 100 €

Formation apache - perfectionnement

Formation django - développements web en python

Formation django - développements web en python
DébutantA partir de2 800 €

Formation django - développements web en python

Formation ergonomie des applications et sites mobiles, améliorer l'expérience utilisateur
DébutantA partir de1 400 €

Formation ergonomie des applications et sites mobiles, améliorer l'expérience utilisateur

Formation html5 & css3, création de pages web

Formation html5 & css3, création de pages web
DébutantA partir de1 990 €

Formation html5 & css3, création de pages web

Formation java swing

Formation java swing
DébutantA partir de2 090 €

Formation java swing

Formation java - 3 jours

Formation java - 3 jours
DébutantA partir de1 650 €

Formation java - 3 jours

Formation php orienté objet - distance
DébutantA partir de2 520 €

Formation php orienté objet - distance

Voir toutes nos formations

Bienvenue sur le site

esic online

Nous utilisons plusieurs services de mesure dàaudience et de comportement sur notre site. Ces services nous permettent d'améliorer celui-ci.

Lire notre politique de confidentialité