Qui serait dix fois plus performant que celui de Hadoop :

De nombreuses entreprises comme Facebook dépendent du Big data. Dans le domaine, on compte la paire Hadoop/Hive parmi les références. Pour rappel, Hive c’est le moteur de requêtes populaire pour Hadoop.

Cependant, il se pourrait que le MapReduce élément essentiel sur lequel repose Hive ne soit pas optimisé pour des situations ou la quantité de données excède un certain seuil. En effet, la latence deviendrait ainsi élevée pour les requêtes effectuées avec Hive.

Les ingénieurs de Facebook, ayant cherché sans succès une solution de remplacement de Hive, en sont venus à créer leur propre moteur de requêtes open source écrit en Java, qu’ils ont baptisé « Presto ».

Presto diffère de Hive sur plusieurs points, bien que leurs clusters présentent tous les deux des architectures assez similaires (il y a toujours au moins un nœud maître et des nœuds esclaves).

Presto implémente une méthode personnalisée de distribution de tâche au sein de son cluster, qui n’est pas basée sur MapReduce. De plus, il utilise un langage de requête compatible ANSI SQL.

Selon les ingénieurs du réseau social, Presto serait dix fois plus performant qu’Hive en termes de réduction de charge sur le CPU, ainsi que la diminution de la latence pour les requêtes (raison pour laquelle il a d’ailleurs été conçu).

Pour les mois à venir, l’équipe de développement de Presto annonce travailler pour la création de connecteurs pour les solutions Hbase, Scribe et bien d’autres.