Big Data Haddop

1. Introduction

Hadoop part du principe :

• Que les approches informatiques classiques, qui consistent à développer des systèmes centralisés toujours plus puissants, disposant de plus de mémoire (ce que les anglophones nomment scaling up), comportent des limites à la fois techniques et financières.
• Que le développement de systèmes répartis, composés de machines, ou nœuds, relativement abordables financièrement (commodity hardware) et pouvant évoluer par ajout de nouveaux nœuds (ce que les anglophones nomment scaling out), peut constituer une alternative intéressante, à la fois d’un point de vue technique et financier.
• Qu’un système distribué comportant des dizaines, centaines ou milliers de nœuds sera régulièrement confronté à des pannes matérielles et/ou logicielles.

Yahoo! gère actuellement le plus grand cluster connu au monde : il comprendrait plus de 40000 nœuds.

2. Google File System et MapReduce

C’est après avoir constaté que les approches informatiques classiques peinaient à répondre de manière satisfaisante à ses besoins que Google a développé :

• Le Google File System (GFS), ancêtre du Hadoop Distributed File System (HDFS).
• L’approche MapReduce.

Lesquels constituent le cœur de Hadoop.

GFS est un système de gestion de fichiers conçu spécifiquement pour opérer en environnement distribué avec des applications traitant des volumes de données très importants. GFS s’adapte automatiquement aux évolutions matérielles (ajout ou suppression de machines) et est tolérant aux pannes. GFS est toujours utilisé par Google, de préférence à HDFS.

MapReduce est un modèle de programmation conçu spécifiquement pour lire, traiter et écrire des volumes de données très importants. Un programme Hadoop met généralement en œuvre à la fois des tâches de type map et des tâches de type reduce (cf. chapitre MapReduce)

Doug Cutting, actuellement Chief Architect de Cloudera, a été, au début des années 2000, à l’origine du projet Apache Hadoop, fondé sur les travaux de Google. Hadoop est 100% open source, et le code source est téléchargeable sur le site http://hadoop.apache.org/.

3. Hadoop

Hadoop est un système matériel et logiciel distribué capable de répondre aux besoins du Big Data, tant au plan technique qu’économique. Hadoop est capable de stocker et de traiter de manière séquentielle, et à des coûts "raisonnables", des volumes de données de plusieurs péta-octets.

Hadoop offre une grande flexibilité (possibilité d’enlever ou d’ajouter des machines à chaud) et ses performances évoluent de manière quasi linéaire en fonction du nombre de machines constituant le cluster.

Hadoop a été écrit en Java, qui demeure le langage de prédilection pour développer des programmes Hadoop "natifs" (voir chapitre Développer des programmes Hadoop). Il est cependant possible, dans certaines limites, d’écrire des jobs Hadoop en Perl, Python, Ruby…

Dans le sillage de Hadoop, d’autres outils Big Data sont apparus, parmi lesquels les bases de données NoSQL (qu’il conviendrait d’ailleurs plutôt d’appeler bases de données non relationnelles). Sans entrer dans les détails, car ce n’est pas l’objet de cet ouvrage, on peut par exemple citer les bases de données orientées graphe, particulièrement adaptées pour gérer les données de réseaux sociaux.

Le nom "Hadoop" était initialement celui d’un éléphant en peluche, jouet favori du fils de Doug Cutting.

Les différents modes de fonctionnement de Hadoop

Hadoop peut fonctionner :

• en mode local (local mode) ;
• en mode pseudo-distribué (pseudo-distributed mode) ;
• en mode totalement distribué (fully-distributed mode).

1. Le mode local

En mode local, Hadoop fonctionne sur une seule station de travail et les cinq daemons de Hadoop (NameNode, SecondaryNameNode, DataNode, JobTracker et TaskTracker) s’exécutent tous dans la même JVM (Java Virtual Machine). De ce fait, la portée des variables est très différente de ce qu’elle est dans le mode pseudo-distribué ou dans le mode totalement distribué. De plus, en mode local le système de gestion de fichiers utilisé est celui de Linux (ext3, ext4 ou xfs le plus souvent) et non HDFS.

Si l’on ne prête pas attention à ces points, un programme fonctionnant parfaitement en mode local pourra ne pas fonctionner du tout en mode pseudo-distribué ou totalement distribué.

Le fonctionnement en mode local est donc très éloigné du fonctionnement d’un vrai cluster Hadoop et donc rarement utilisé, sauf pour une première approche de Hadoop, des tests très simples, ou pour déboguer un programme.

Le mode local n’est pas utilisé dans cet ouvrage.

2. Le mode pseudo-distribué

En mode pseudo-distribué, Hadoop fonctionne toujours sur une seule station de travail, mais :

• Chacun des cinq daemons s’exécute dans sa propre JVM.
• Le système de gestion des fichiers utilisé est HDFS.

Le mode pseudo-distribué est souvent utilisé par les développeurs Hadoop car il permet de développer et tester les programmes dans un environnement simulant assez fidèlement un vrai cluster Hadoop.

Le mode pseudo-distribué est celui utilisé dans cet ouvrage, car il est à la fois facile à mettre en œuvre (une seule station de travail est nécessaire contre quatre ou cinq au minimum pour le mode totalement distribué) et son fonctionnement est très proche de celui d’un vrai cluster Hadoop.

3. Le mode totalement distribué

Le mode totalement distribué correspond au fonctionnement d’un vrai cluster Hadoop, avec plusieurs stations de travail interconnectées en réseau. Chacun des  daemons de Hadoop s’exécute dans sa propre JVM, souvent sur une machine dédiée. Le système de gestion de fichiers utilisé est HDFS.

Le mode totalement distribué n’est pas utilisé dans cet ouvrage.

4. Les clusters Hadoop virtualisés

Il est aussi possible d’exploiter des clusters Hadoop virtualisés (cf. chapitre Mettre en œuvre un cluster Hadoop). Le mode virtualisé n’est pas utilisé dans cet ouvrage.

Installer Hadoop en mode pseudo-distribué

1. Pré-requis matériels

Pour pouvoir tester Hadoop en mode pseudo-distribué, un micro-ordinateur de milieu de gamme (6 Go à 8 Go de RAM, disque dur de 500 Go ou 750 Go, et quatre ou six cœurs) est suffisant.

À titre indicatif, les exemples de programmes Hadoop présentés dans cet ouvrage ont été mis en œuvre sur un MacBook datant de fin 2008, disposant de 4 Go de RAM et d’un disque dur de 160 Go. Cette configuration est toutefois très limite en termes de performances.

2. Pré-requis logiciels

a. Système d’exploitation

Hadoop a initialement été développé en Java dans un environnement Linux. Linux demeure le système d’exploitation de prédilection de Hadoop.

Il est aussi possible d’installer Hadoop sous Microsoft Windows (cf. chapitre Les apports de la version 2 de Hadoop).

b. Machine virtuelle

Enfin, il est également possible d’utiliser une machine virtuelle, sous VMware ou VirtualBox par exemple, pour tester Hadoop. Cette option est celle qui a été retenue dans cet ouvrage, car elle permet de réduire les risques d’interférence entre Hadoop et le reste du système d’exploitation et est simple et rapide à mettre en œuvre.

La solution de virtualisation retenue est VirtualBox.

Cloudera propose un paquet spécifique pour VirtualBox.

Installer Hadoop pas-à-pas sur une station de travail

1. Installation de VirtualBox

L’installation de VirtualBox est considérée comme acquise et n’est pas détaillée dans cet ouvrage.

2. Installation de Hadoop (distribution CDH4)

 Connectez-vous sur le site de Cloudera à l’adresse : www.cloudera.com/content/support/en/downloads.html

 Descendez au bas de la page et recherchez le paragraphe Cloudera Quick-Start VM.

 Cliquez sur le bouton Downloads & Instructions. Dans la liste déroulante Version : choisissez VirtualBox, puis cliquez sur le bouton Download.

 Lisez et acceptez les Terms & Conditions.

Le téléchargement commence (compter une heure environ avec une "box" Internet grand public).

 Décompressez le fichier téléchargé et sauvegardez le dossier cloudera-quickstart-vm-4.3.0-virtualbox dans un répertoire ad hoc. Nous avons choisi ici de sauvegarder ce dossier sur le bureau du Macintosh (le Finder).

 Lancez VirtualBox. Une nouvelle fenêtre, nommée Oracle VM VirtualBox - Gestionnaire de machines, s’affiche. Cliquez sur le bouton Nouvelle en haut et à gauche de la fenêtre, saisissez le nom que vous souhaitez donner à votre nouvelle machine dans le champ Nom (CDH4 dans cet exemple), sélectionnez Linux dans la première liste déroulante et Ubuntu (64 bit) dans la deuxième (en fait c’est la distribution CentOS 64 bits de Linux qui sera installée). Cliquez sur le bouton Suivant.

 Une nouvelle fenêtre s’affiche. Choisissez une taille de mémoire vive de 1 024 Mo. Cliquez sur le bouton Suivant.

 Une nouvelle fenêtre, intitulée Disque dur, s’affiche. Sélectionnez le bouton radio Utiliser un fichier de disque dur virtuel existant, puis cliquez sur l’icône de dossier au-dessus du bouton Créer. Une boîte de dialogue s’affiche. Sélectionnez le répertoire cloudera-quickstart-vm-4.3.0-virtualbox que vous avez sauvegardé précédemment, puis sélectionnez le fichier cloudera-quickstart-vm-4.3.0-virtualbox-disk1.vmdk. Cliquez ensuite sur le bouton Ouvrir. Pour finir, cliquez sur le bouton Créer.

 La fenêtre principale de VirtualBox s’affiche à nouveau. Une machine virtuelle, intitulée CDH4, apparaît à gauche de la fenêtre dans la liste des machines disponibles.

 Sélectionnez la machine virtuelle CDH4 et cliquez sur la flèche verte intitulée Démarrer pour la lancer. Un message apparaît indiquant comment passer de l’environnement OS X à l’environnement CentOS en utilisant la touche cmd du Macintosh. Cliquez sur le bouton OK.

 Après 1 à 2 minutes environ, le bureau de CentOS s’affiche, rapidement suivi par une fenêtre Firefox affichant le message "Hadoop, made easy." en plein écran.

 Fermez la fenêtre Firefox en cliquant sur le bouton de fermeture, en haut à droite de la fenêtre : la fenêtre du bureau de CentOS s’affiche.

 Nous allons maintenant vérifier que Hadoop est bien installé sur votre station de travail. Lancez le Terminal en cliquant sur l’icône à gauche dans la barre de menus.

 Une fenêtre du Terminal s’affiche. À l’invite :

[Cloudera@localhost ~]$

tapez tout d’abord hadoop et validez.

[Cloudera@localhost ~]$hadoop

Si l’installation s’est correctement déroulée, le texte suivant s’affiche :

[Cloudera@localhost ~]$hadoop 
Usage : hadoop [--config confdir] COMMAND  
        where COMMAND is one of :  
  fs                    run a generic filesystem user client  
  version               print the version  
  jar                   run a jar file    … 
 
[Cloudera@localhost ~]$hadoop

 Tapez maintenant bigdata qui n’est pas une commande reconnue, puis validez. Le texte suivant doit s’afficher :

[Cloudera@localhost ~]$bigdata 
bash: bigdata: command not found   
[Cloudera@localhost ~]$bigdata

 Pour quitter la machine virtuelle CDH4, cliquez sur Quit VirtualBox VM dans le menu VirtualBox VM.

 Choisissez l’option Save the machine state : elle vous permet de retrouver la machine virtuelle CentOS exactement dans l’état dans lequel vous l’avez quittée.

Bravo ! Vous venez d’installer Hadoop sur votre station de travail.