Devenez opérationnel

Modern Data Engineering avec Hadoop, Hive, et alternatives Cloud (BigQuery, Snowflake)

Formation complète pour traiter des données massives avec Hadoop et découvrir les solutions analytiques cloud modernes comme BigQuery et Snowflake.

Objectifs de la formation

  • Comprendre les bases du traitement distribué avec Hadoop et son écosystème (Hive, HDFS, Pig)
  • Comprendre les bases du traitement distribué avec Hadoop et son écosystème (Hive, HDFS, Pig)
  • Identifier les limites d’Hadoop et les alternatives cloud modernes (BigQuery, Snowflake)
  • Identifier les limites d’Hadoop et les alternatives cloud modernes (BigQuery, Snowflake)
  • Mettre en œuvre des chaînes de traitement Big Data batch et hybrides (on-prem/cloud)
  • Mettre en œuvre des chaînes de traitement Big Data batch et hybrides (on-prem/cloud)
  • Déployer des workflows efficaces intégrés dans des pipelines analytiques actuels
  • Déployer des workflows efficaces intégrés dans des pipelines analytiques actuels

Public

  • Développeurs, data engineers, architectes IT, chefs de projet data

Prérequis

  • Maîtrise de SQL
  • Connaissances générales en systèmes distribués ou cloud

Contenu de la formation

Introduction au Big Data & écosystème Hadoop

  • Historique, cas d’usage, architecture HDFS
  • Hive, Pig, HBase : rôles, forces, limites
  • MapReduce et Spark : traitements batch et mémoire
  • Démonstration : exécution d’un job Hadoop simple

Pratique Hadoop & Hive

  • Installation d’un mini-cluster (VM ou Docker)
  • Utilisation de HDFS : chargement, transformation, export
  • Langage HiveQL : requêtes SQL sur HDFS
  • Cas pratique : traitement de fichiers logs massifs

Au-delà d’Hadoop : Cloud & plateformes modernes

  • Présentation de BigQuery (GCP), Snowflake, Redshift
  • Comparatif architecture, performance, coût
  • Ingestion de données dans un entrepôt cloud
  • Atelier : transformation SQL à grande échelle dans BigQuery

Construction de pipelines hybrides

  • Intégration avec Talend / Airflow / dbt
  • Cas d’usage moderne : reporting, IA, dashboards
  • Bonnes pratiques de maintenance et sécurité

Equipe pédagogique

Nos formations sont animées par des experts reconnus dans leur domaine possédant une expérience sur le terrain significative et des compétences pédagogiques reconnues,

Référent pédagogique et technique
Haciba, responsable pédagogique, est à votre disposition pour toute question relative au contenu, aux objectifs ou à l’organisation de la formation. Vous pouvez la joindre par téléphone au 01 53 90 15 20 ou par mail : esic(@)esic-online.com.  Nous encourageons les apprenants à prendre contact pour toute précision ou pour discuter d’éventuels besoins spécifiques liés à leur parcours.

Suivi de l'exécution et évaluation des résultats

Dispositions spécifiques à cette formation

  • Feuilles de présence.
  • Formulaires d'évaluation de la formation.
  • Certificat de réalisation de l’action de formation.
  • Projet final comparatif (Hadoop vs BigQuery)

Dispositions relatives à l’ensemble des formations

Nous mettons en place un suivi rigoureux et une évaluation complète des résultats pour garantir la qualité et l’efficacité de nos formations.

  • Avant la formation:
    • Entretien individuel ou questionnaire de positionnement: Permet d’analyser les besoins spécifiques des participants et d’ajuster les contenus pédagogiques en conséquence.
  • Pendant la formation:
    • Exercices pratiques et mises en situation: Ces activités sont intégrées tout au long de la formation pour valider les acquis en temps réel.
    • Feuilles de présence: Chaque participant émarge une feuille de présence par demi-journée, également signée par le formateur, assurant le suivi administratif.
  • Après la formation:
    • Questionnaire de satisfaction à chaud: Administré immédiatement après la formation pour recueillir un retour sur la qualité des contenus et de l’animation.
    • Questionnaire de satisfaction à froid: Envoyé trois mois après la formation pour évaluer l’impact réel sur les pratiques professionnelles.
    • Questionnaire d’auto-évaluation possible: Permet aux participants de mesurer leurs progrès à l’issue de la formation.
    • Certification(optionnelle) : Passage de la certification en conditions d’examen ou via télésurveillance, selon le dispositif retenu.
    • Certificat de réalisation: Remis à l’issue de la formation, attestant de la participation effective des apprenants.

 

Nous veillons à accompagner les participants avant, pendant et après la formation pour maximiser leur progression et mesurer les retombées concrètes dans leur environnement professionnel.

Ressources techniques et pédagogiques

  • Démonstrations techniques
  • Mini-projet fil rouge comparant Hadoop et solution cloud
  • Exercices pratiques sur jeux de données volumineux
  • Théorie appliquée, cas concrets
  • Mise à disposition en ligne de documents supports à la suite de la formation.

Accessibilité

Nous accordons une attention particulière à l’accueil des personnes en situation de handicap. Si vous êtes concerné(e) et souhaitez suivre cette formation, nous vous invitons à nous contacter dès que possible. Ensemble, nous étudierons vos besoins spécifiques et mettrons en place les adaptations nécessaires pour garantir votre accès à la formation dans les meilleures conditions.

Délai d'accès

L’inscription à cette formation est possible dans un délai de 2 semaines avant le début de la session. Ce délai permet de finaliser les démarches administratives, de confirmer la prise en charge éventuelle des frais de formation et d’assurer une préparation optimale des participants.

Pour toute demande spécifique ou situation particulière, nous vous invitons à nous contacter afin d’étudier ensemble les possibilités d’adaptation.

Prérequis technique

Pour suivre cette formation dans de bonnes conditions, les moyens techniques suivants sont requis :

  • En présentiel:
    • Tableau blanc ou paperboard, et un vidéoprojecteur pour les présentations.
    • Outils pour le partage de documents avec les formateurs et autres participants.
  • À distance:
    • Un logiciel de visioconférencecompatible (Teams, Zoom ou équivalent) pour participer aux sessions en ligne.
    • Possibilité de partage d’écran entre le formateur et les participants.
    • Accès à une plateforme pour le partage des documents pédagogiques et supports de formation.
    • Connexion internet haut débit pour garantir une expérience fluide et interactive.

 

Nous vous recommandons de vérifier la disponibilité et la fonctionnalité de ces moyens techniques avant le début de la formation. En cas de difficulté, n’hésitez pas à nous contacter pour trouver une solution adaptée.

Actualisation du programme