spark-logo

Dans les précédents posts, nous avons utilisé Apache Spark avec un exécuteur unique. Spark étant un framework de calcul distribué, nous allons maintenant monter un cluster en mode standalone. Topologie Un cluster Spark se compose d’un master et d’un ou plusieurs workers. Le cluster doit être démarré et rester actif pour pouvoir exécuter des applications. Le master a pour seul […]

Nous avons vu dans le post précédent qu’Apache Spark permettait de réaliser des opérations d’agrégation sur l’ensemble des valeurs d’un RDD. Nous allons maintenant réaliser des agrégations ainsi que d’autres manipulations par clés. La théorie Une opération de réduction par clés effectue une agrégation des valeurs pour chaque clé du RDD. Ce type d’opération ne […]

Si vous développez en Java et que vous exploitez une base de données relationnelle, vous connaissez JPA et son implémentation la plus répandue, Hibernate. L’expérience montre que la performance des applications basées sur une architecture n-tiers réside dans la maîtrise de la couche de persistance. Certaines utilisations plombent nos applications ou génèrent des comportements inattendus. […]

Lors du “Hand’s on” ECMAScript6 au BDX IO (http://www.bdx.io), Philippe Charrière nous a présenté les nouveautés de cette version “Harmony” qui est le futur de Javascript. ECMAScript est un langage de type script standardisé par Ecma International dans le cadre de la spécification ECMA-262. Il s’agit donc d’un standard, dont les spécifications sont mises en […]

metrics-hat

Le 29 septembre dernier avait lieu une soirée JUG Nantes sur Metrics et Docker. La présentation Lucy in the sky with Docker par David Gageot méritait le déplacement. Elle a également été proposée lors d’un Ippevent dont la vidéo sera bientôt en ligne. Je ne reviendrai pas sur celle-ci, il existe déjà plusieurs articles de présentation de Docker sur ce blog. Codahale Metrics nous a été présenté par Damien Raude-Morvan, que nous connaissons bien à Ippon Nantes.