Mar 02, 2020
Nous avons vu dans l’article précédent les principales notions liées aux formats de données. La théorie c’est bien, la pratique c’est encore mieux. Voici donc une liste non-exhaustive des formats que l’on rencontre couramment dans les environnements Data. CSV (Comma Separated Values) Commençons doucement … Sûrement un
Lire la suite...
Feb 24, 2020
Être Data Engineer c’est beaucoup de développement, mais ce n’est pas que ça ! Une partie du travail consiste à optimiser les traitements, aussi bien sur leur temps d’exécution que sur l’espace requis. Pour ce faire, on peut amener des améliorations sur le hardware, en scalant horizontalement
Lire la suite...
Dec 20, 2019
Cette douce matinée de novembre s’annonce comme un matin de Noël : la preview de Spark 3.0 est sortie ! Je me demandais justement quand Spark allait sortir des nouveautés qui révolutionneraient le monde de la Data ! Ni une ni deux, je m’empresse d’aller sur la page annonçant
Lire la suite...
Feb 26, 2019
Dans la continuité de l'article précédent, je vais cette fois-ci montrer comment il est possible de superviser les métriques d'un ordinateur, plus proprement. La brique Kafka est enlevée afin de se concentrer sur Elastic. Cette fois-ci nous écrirons par Elastic Beats pour la collecte des données, afin de créer une
Lire la suite...
Feb 12, 2019
Cet article est un tutoriel ayant pour objectif de créer une application qui supervise les métriques disponibles d'un ordinateur, "Activity Monitor" sur MacOS, ou bien "Task Manager" sur Windows. Si vous souhaitez visualiser le projet dans son intégralité, le repo Github est disponible ici. Il n'est
Lire la suite...
