Développement big data avec Hadoop
Développez des applications pour le Big Data avec Apache Hadoop et Python
Description de la Template formation courte
Description de la formation Développement big data avec Hadoop
Cette formation vous apprendra à développer des applications de traitement de big datas distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop et Python afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.
Objectifs
A l'issue de cette formation, vous serez en mesure de
Cette formation vous apprendra à développer des applications de traitement de big datas distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop et Python afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.
Objectifs
A l'issue de cette formation, vous serez en mesure de
Programme
Présentation du framework Hadoop
- Installation d’Hadoop
- Objectif du projet Hadoop
- Les principes de base du framework
- Les fonctionnalités essentielles
- Cas d’utilisation dans les domaines différents
- Les plateformes Cloudera et Hortonworks
L'écosystème Hadoop
- Vue d’ensemble d’écosystème
- Fonctionnalités Hadoop vue d’ensemble
- Architecture d’Hadoop : HDFS, MapReduce, FIL
- Nœud de nom, Nœud de données et Nœud de nom secondaire
- Blocs
Le stockage HDFS
- Comprendre HDFS (Principe & les Services)
- Configurer et Administrer HDFS
- Le Stockage de Fichiers HDFS
- Mise en œuvre et utilisation HDFS (utilisation des commandes)
MapReduce
- Présentation du MapReduce & Hadoop
- Fonctionnement de MapReduce
- Développer un MapReduce en Python
- Suivi d’un MapReduce
- Mise en application / TP
HBASE
- Découverte & Comprendre le modèle de HBASE
- Administrer HBASE
- Concevoir une base de données dans HBASE
- Filtrer et Lire des données dans HBASE
- Utilisation dans le terminal HBASE
- Mise en application / TP
Sqoop
- Présentation de Sqoop
- Collecter, importer et exporter avec Sqoop
- Mise en application / TP
Oozie
- Présentation de l’ordonnanceur Oozie
- Mise en place d’un WorkFlow Oozie
- Lancer une WorkFlow Oozie
- Mise en application / TP
Bilan de fin de formation et évaluation des acquis