Hadoop: Deploiement + Administration

Lieu

Paris

Prix

3875,00€

Prérequis

Connaissances en administration système, préférablement Java

Objectifs

Comprendre le Big Data et ses enjeux - Savoir déployer Hadoop et son écosystème - Comprendre HDFS, MapReduce - Structurer les données avec HBase - Ecrire des requêtes avec HiveQL - Installer les services d'un nœud Hadoop - Assembler plusieurs nœuds Hadoop - Déployer une nouvelle application sur un cluster existant - Effectuer une restauration de données suite à une reprise sur incident.

Contenu

Introduction au Big Data

Qu'est-ce que le Big Data?
Source des données: l'homme, la machine
La problématique de taille
Position de Hadoop dans le paysage

Introduction à Hadoop

L'origine du projet
Le système de fichiers HDFS
Comprendre l'algorithme MapReduce
L'environnement d'Hadoop: HBase, ZooKeeper, Hive, Pig…
L'API YARN

Mettre Hadoop en place: HDFS

Du mode autonome au mode complètement distribué en cluster
Pré-requis, distributions Hadoop
Cluster Hadoop: NameNode, ResourceManager, DataNode, NodeManager
Les fichiers de configuration
Opérations de base sur le cluster HDFS: formatage, démarrage, arrêt

Atelier pratique: installer Hadoop sur 2 nœuds, formater et manipuler HDFS

Travailler avec MapReduce

L'intérêt de MapReduce
Mappers, reducers, parallélisme et indépendance des traitements
Entrées, sorties
Soumission d'un job à Hadoop

Atelier pratique: exécuter une tâche via MapReduce, avec sortie dans HDFS

Une base de données distribuée: HBase

L'accès aléatoire, temps réel, lecture-écriture au Big Data
Fonctionnalités de HBase, NoSQL
Pré-requis, configuration
Manipulation via le shell HBase

Atelier pratique: mettre en place HBase sur Hadoop, créer et manipuler une table

Et pourquoi pas un peu de SQL avec Hive?

Présentation de Hive
Gérer le schéma: bases, tables, vues, partitions
Manipulation des données, requêtes et map-reduce avec HiveQL
Audits et journal d'erreurs

Atelier pratique: chargement de données massives dans Hive, requêtes

Aller plus loin avec Hadoop

Gérer les logs et l'audit de tâches Hadoop
Découvrir MRUnit pour les test unitaires dans Hadoop
Débogage en local
Surveillance des perfomances

Atelier pratique: mise en place d'un job MapReduce plus complexe avec traces et tests unitaires

Administration de Hadoop

Présentation d’un nœud existant
Organisation des services et étude du séquencement avec YARN

Atelier: modifier la taille des blocs HDFS pour diminuer le nombre de Map/Reduce

Mettre Hadoop en place

Relation entre la plateforme installée et les framework de développement
Proposer de frameworks indépendants pour assurer la compatibilité: Spring Data

Atelier: déployer une application d’accès à HBase au travers d’un mapping O/R Spring Data

Travailler avec MapReduce

Déployer un programme Map/Reduce sur un cluster de nœuds Hadoop
Recherche des logs
Remonter les anomalies aux développeurs
Proposer l’usage de file Kafka

Atelier: utilisation de file d’entrée sortie pour un programme Map/Reduce

Routage de données

Définition de routes logicielles
Mettre en place un cas de calcul où les données déclenchent les programmes

Atelier: faire un routage de données depuis un répertoire HDFS vers une file Kafka qui est l’entrée d’un programme Map/Reduce

Utilisation des vues

Utilisation des vues Ambari
Visualisation de l’état des nœuds d’un cluster
Importer/exporter des fichiers de configuration

Atelier: relancer une grappe de services, utilisation des vues YARN et Tez

Gestion des droits

Gestion des comptes utilisateurs
Gestion des droits de fichier sur un système de fichier distribué
Utilisation de certificat

Atelier: configurer les services Knox et Ranger

Méthodes pédagogiques

Méthodologie basée sur l'Active Learning : 75% de pratique minimum. Chaque point théorique est systématiquement suivi d'exemples et exercices.

Évaluation

Contrôle continu

Certificat, diplôme

Attestation de fin de stage mentionnant le résultat des acquis

Prochaine session

Date

Ville

Language & prix

02.12.2024

06.12.2024

Paris

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Horaires

Date limite d'inscription

02.12.2024

Informations supplémentaires

02.12.2024

06.12.2024

A distance

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Distance

Nos formateurs sont habitués à travailler en classe virtuelle (visio-conférence). Au préalable, nous réalisons un audit afin de s’assurer systématiquement en amont de la possibilité pour les stagiaires de suivre à distance (équipement, qualité de la connexion, etc...).

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le(s) logiciel(s) installé(s) sur le poste du participant,
Une connexion internet stable,
Idéalement 2 écrans (dont 1 pour interactivité et 1 pour poste de travail et prise en main éventuelle à distance par le formateur),
Un micro et haut-parleur ou kit mains-libres (pour interagir avec le formateur) et en option une webcam

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Horaires

Date limite d'inscription

02.12.2024

Informations supplémentaires

06.01.2025

10.01.2025

Strasbourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Strasbourg

Strasbourg: A 7 minutes à pied depuis Gare Centrale de Strasbourg: 600m

Locaux accessibles PMR

Horaires

Date limite d'inscription

06.01.2025

Informations supplémentaires

13.01.2025

17.01.2025

Bruxelles

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Bruxelles

Bruxelles: A 14 minutes en tramway depuis gare du Midi: lignes 2 et 6 - arrêt Madou

Locaux accessibles PMR

Horaires

Date limite d'inscription

13.01.2025

Informations supplémentaires

13.01.2025

17.01.2025

Luxembourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Luxembourg

Luxembourg: A 8 minutes à pied depuis Gare de Luxembourg: 750m (proximité Parcs de Pétrusse)

Locaux accessibles PMR

Horaires

Date limite d'inscription

13.01.2025

Informations supplémentaires

03.03.2025

07.03.2025

Paris

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Horaires

Date limite d'inscription

03.03.2025

Informations supplémentaires

03.03.2025

07.03.2025

A distance

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Distance

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Horaires

Date limite d'inscription

03.03.2025

Informations supplémentaires

24.03.2025

28.03.2025

Strasbourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Strasbourg

Strasbourg: A 7 minutes à pied depuis Gare Centrale de Strasbourg: 600m

Locaux accessibles PMR

Horaires

Date limite d'inscription

24.03.2025

Informations supplémentaires

31.03.2025

04.04.2025

Bruxelles

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Bruxelles

Bruxelles: A 14 minutes en tramway depuis gare du Midi: lignes 2 et 6 - arrêt Madou

Locaux accessibles PMR

Horaires

Date limite d'inscription

31.03.2025

Informations supplémentaires

31.03.2025

04.04.2025

Luxembourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Luxembourg

Luxembourg: A 8 minutes à pied depuis Gare de Luxembourg: 750m (proximité Parcs de Pétrusse)

Locaux accessibles PMR

Horaires

Date limite d'inscription

31.03.2025

Informations supplémentaires

09.06.2025

13.06.2025

Paris

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Horaires

Date limite d'inscription

09.06.2025

Informations supplémentaires

09.06.2025

13.06.2025

A distance

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Distance

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Horaires

Date limite d'inscription

09.06.2025

Informations supplémentaires

30.06.2025

04.07.2025

Strasbourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Strasbourg

Strasbourg: A 7 minutes à pied depuis Gare Centrale de Strasbourg: 600m

Locaux accessibles PMR

Horaires

Date limite d'inscription

30.06.2025

Informations supplémentaires

04.08.2025

08.08.2025

Bruxelles

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Bruxelles

Bruxelles: A 14 minutes en tramway depuis gare du Midi: lignes 2 et 6 - arrêt Madou

Locaux accessibles PMR

Horaires

Date limite d'inscription

04.08.2025

Informations supplémentaires

04.08.2025

08.08.2025

Luxembourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Luxembourg

Luxembourg: A 8 minutes à pied depuis Gare de Luxembourg: 750m (proximité Parcs de Pétrusse)

Locaux accessibles PMR

Horaires

Date limite d'inscription

04.08.2025

Informations supplémentaires

01.09.2025

05.09.2025

Paris

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Horaires

Date limite d'inscription

01.09.2025

Informations supplémentaires

01.09.2025

05.09.2025

A distance

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Distance

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Horaires

Date limite d'inscription

01.09.2025

Informations supplémentaires

29.09.2025

03.10.2025

Strasbourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Strasbourg

Strasbourg: A 7 minutes à pied depuis Gare Centrale de Strasbourg: 600m

Locaux accessibles PMR

Horaires

Date limite d'inscription

29.09.2025

Informations supplémentaires

03.11.2025

07.11.2025

Bruxelles

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Bruxelles

Bruxelles: A 14 minutes en tramway depuis gare du Midi: lignes 2 et 6 - arrêt Madou

Locaux accessibles PMR

Horaires

Date limite d'inscription

03.11.2025

Informations supplémentaires

03.11.2025

07.11.2025

Luxembourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Luxembourg

Luxembourg: A 8 minutes à pied depuis Gare de Luxembourg: 750m (proximité Parcs de Pétrusse)

Locaux accessibles PMR

Horaires

Date limite d'inscription

03.11.2025

Informations supplémentaires

24.11.2025

28.11.2025

Paris

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Paris

Paris, rue Antoine Bourdelle:

A 24 minutes en métro depuis gare de l'Est: ligne 4 arrêt Montparnasse
A 27 minutes depuis gare du Nord: ligne 4 arrêt Montparnasse

Locaux accessibles PMR

Horaires

Date limite d'inscription

24.11.2025

Informations supplémentaires

24.11.2025

28.11.2025

A distance

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Distance

Cela vous permet d'interagir pleinement lors de la session.

Pour un déroulement optimal en visioconférence (et après test de connexion en amont) nous vous suggérons de prévoir:

Le participant devra être dégagé de ses contraintes professionnelles et/ou personnelles durant la formation.

Plus d'informations sur le déroulement de nos formations à distance: https://youtu.be/GsZhStn1OgI

Horaires

Date limite d'inscription

24.11.2025

Informations supplémentaires

15.12.2025

19.12.2025

Strasbourg

FR 3875,00€

PROMO -0% Hors taxes

Lieu de la formation

Strasbourg

Strasbourg: A 7 minutes à pied depuis Gare Centrale de Strasbourg: 600m

Locaux accessibles PMR

Horaires

Date limite d'inscription

15.12.2025

Informations supplémentaires