Devenez opérationnel

Hadoop – Développer des applications pour le Big Data

Cette formation de 28 heures permet de comprendre l’architecture Hadoop et de développer des applications pour le traitement distribué de données massives. Les participants manipulent HDFS, conçoivent des traitements MapReduce, et utilisent Hive et Pig pour exploiter les données avec efficacité.

Objectifs de la formation

  • Comprendre le fonctionnement du système de fichiers HDFS
  • Comprendre le fonctionnement du système de fichiers HDFS
  • Développer des traitements MapReduce (Java ou Python)
  • Développer des traitements MapReduce (Java ou Python)
  • Exploiter les données via Hive et Pig
  • Exploiter les données via Hive et Pig
  • Structurer un pipeline Big Data sous Hadoop
  • Structurer un pipeline Big Data sous Hadoop

Public

  • Développeurs, data engineers, analystes ou profils IT souhaitant exploiter Hadoop pour des traitements distribués à grande échelle

Prérequis

  • Connaissance de Java ou Python
  • Maîtrise de SQL
  • Notions de base sur les architectures distribuées utiles

Contenu de la formation

Jour 1 – Architecture Hadoop et HDFS

  • Introduction au Big Data
  • Fonctionnement du cluster Hadoop
  • Principe et structure de HDFS
  • Chargement de données, commandes HDFS

Jour 2 – Développement MapReduce

  • Comprendre MapReduce (Mapper, Reducer, Combiner)
  • Implémentation Java et Hadoop Streaming (Python)
  • Tests de performances (partitions, shuffle)
  • TP : traitement de fichiers volumineux

Jour 3 – Hive et Pig

  • Hive : SQL sur HDFS, DDL, DML, UDF
  • Pig : langage de transformation déclaratif
  • Comparaison avec MapReduce classique
  • TP : requêtes sur jeux de données textuels

Jour 4 – Projet et cas concrets

  • Pipeline complet (stockage, traitement, analyse)
  • Traitement de logs, fichiers CSV, JSON
  • Audit du flux et mise en qualité
  • Perspectives vers Spark, HBase, YARN

Equipe pédagogique

Les formateurs intervenant dans cette formation sont des experts reconnus dans leur domaine. Sélectionnés avec soin, ils répondent à des critères stricts définis par nos équipes pédagogiques, tant sur le plan de l’expertise métier que sur celui des compétences pédagogiques. Chaque formateur : Possède au minimum 5 à 10 ans d’expérience professionnelle dans son domaine d’activité. A occupé ou occupe encore des postes à responsabilité en entreprise, apportant une vision concrète et actualisée des réalités du terrain. Est formé à des méthodes pédagogiques interactives pour garantir un apprentissage efficace et adapté aux besoins des participants.

Référent pédagogique et technique
Haciba, responsable pédagogique, est à votre disposition pour toute question relative au contenu, aux objectifs ou à l’organisation de la formation. Vous pouvez la joindre par téléphone au 01 53 90 15 20 ou par mail : esic(@)esic-online.com.  Nous encourageons les apprenants à prendre contact pour toute précision ou pour discuter d’éventuels besoins spécifiques liés à leur parcours.

Suivi de l'exécution et évaluation des résultats

Dispositions spécifiques à cette formation

  • QCM sur l’architecture Hadoop
  • Évaluation via le mini-projet
  • Feuille de présence
  • Questionnaire de satisfaction

Dispositions relatives à l’ensemble des formations

Nous mettons en place un suivi rigoureux et une évaluation complète des résultats pour garantir la qualité et l’efficacité de nos formations.

  • Avant la formation:
    • Entretien individuel ou questionnaire de positionnement: Permet d’analyser les besoins spécifiques des participants et d’ajuster les contenus pédagogiques en conséquence.
  • Pendant la formation:
    • Exercices pratiques et mises en situation: Ces activités sont intégrées tout au long de la formation pour valider les acquis en temps réel.
    • Feuilles de présence: Chaque participant émarge une feuille de présence par demi-journée, également signée par le formateur, assurant le suivi administratif.
  • Après la formation:
    • Questionnaire de satisfaction à chaud: Administré immédiatement après la formation pour recueillir un retour sur la qualité des contenus et de l’animation.
    • Questionnaire de satisfaction à froid: Envoyé trois mois après la formation pour évaluer l’impact réel sur les pratiques professionnelles.
    • Questionnaire d’auto-évaluation possible: Permet aux participants de mesurer leurs progrès à l’issue de la formation.
    • Certification(optionnelle) : Passage de la certification en conditions d’examen ou via télésurveillance, selon le dispositif retenu.
    • Certificat de réalisation: Remis à l’issue de la formation, attestant de la participation effective des apprenants.

 

Nous veillons à accompagner les participants avant, pendant et après la formation pour maximiser leur progression et mesurer les retombées concrètes dans leur environnement professionnel.

Ressources techniques et pédagogiques

  • Support PDF
  • Scripts MapReduce (Java, Python)
  • Scripts Hive et Pig
  • Jeux de données et VM Hadoop si nécessaire

Accessibilité

Nous accordons une attention particulière à l’accueil des personnes en situation de handicap. Si vous êtes concerné(e) et souhaitez suivre cette formation, nous vous invitons à nous contacter dès que possible. Ensemble, nous étudierons vos besoins spécifiques et mettrons en place les adaptations nécessaires pour garantir votre accès à la formation dans les meilleures conditions.

Délai d'accès

L’inscription à cette formation est possible dans un délai de 2 semaines avant le début de la session. Ce délai permet de finaliser les démarches administratives, de confirmer la prise en charge éventuelle des frais de formation et d’assurer une préparation optimale des participants.

Pour toute demande spécifique ou situation particulière, nous vous invitons à nous contacter afin d’étudier ensemble les possibilités d’adaptation.

Prérequis technique

Pour suivre cette formation dans de bonnes conditions, les moyens techniques suivants sont requis :

  • En présentiel:
    • Tableau blanc ou paperboard, et un vidéoprojecteur pour les présentations.
    • Outils pour le partage de documents avec les formateurs et autres participants.
  • À distance:
    • Un logiciel de visioconférencecompatible (Teams, Zoom ou équivalent) pour participer aux sessions en ligne.
    • Possibilité de partage d’écran entre le formateur et les participants.
    • Accès à une plateforme pour le partage des documents pédagogiques et supports de formation.
    • Connexion internet haut débit pour garantir une expérience fluide et interactive.

 

Nous vous recommandons de vérifier la disponibilité et la fonctionnalité de ces moyens techniques avant le début de la formation. En cas de difficulté, n’hésitez pas à nous contacter pour trouver une solution adaptée.

Actualisation du programme