intro

Vendredi 7 novembre avait lieu le DevFest Nantes. J’y faisais une présentation sur l’expérience utilisateur. Voici les diapositives de ma présentation : Pour ceux qui n’étaient pas présents, ce support ne sera pas très parlant, mais rassurez-vous, la conférence a été filmée et sera disponible prochainement. Pour ceux qui y ont assisté, voici un rappel […]

spark-logo

Dans les précédents posts, nous avons utilisé Apache Spark avec un exécuteur unique. Spark étant un framework de calcul distribué, nous allons maintenant monter un cluster en mode standalone. Topologie Un cluster Spark se compose d’un master et d’un ou plusieurs workers. Le cluster doit être démarré et rester actif pour pouvoir exécuter des applications. Le master a pour seul […]

Nous avons vu dans le post précédent qu’Apache Spark permettait de réaliser des opérations d’agrégation sur l’ensemble des valeurs d’un RDD. Nous allons maintenant réaliser des agrégations ainsi que d’autres manipulations par clés. La théorie Une opération de réduction par clés effectue une agrégation des valeurs pour chaque clé du RDD. Ce type d’opération ne […]

Si vous développez en Java et que vous exploitez une base de données relationnelle, vous connaissez JPA et son implémentation la plus répandue, Hibernate. L’expérience montre que la performance des applications basées sur une architecture n-tiers réside dans la maîtrise de la couche de persistance. Certaines utilisations plombent nos applications ou génèrent des comportements inattendus. […]