Quand on regarde la quantité de librairies open-source il est très rare de trouver, caché, des librairies impactant autant la manière de penser le “compute”. Une de ces librairies dont je voudrais vous parler aujourd’hui est Apache Arrow. Il est temps de la mettre en lumière !…
Lire la suite

Rémy Olivet

Data

6 min read

28 Oct 2020

Delta Lake et AWS : mariage forcé

Delta Lake apporte de nombreux avantages aux projets Data basés sur Spark. Il peut considérablement…
Lire la suite

Boris Perevalov

Data

6 min read

12 Oct 2020

Koalas, quand Spark déclare sa flamme à Pandas !

Koalas est une librairie open source développée par Databricks annoncée en mars 2019. Elle implémente les API Pandas pour Apache Spark. Elle unifie les API Pandas et Spark afin de rendre efficace Pandas dans la jungle du Big Data.…
Lire la suite

Rémy Olivet

Data

8 min read

03 Feb 2020

Spark 3.0 : Évolution ou révolution ?

Cette douce matinée de novembre s’annonce comme un matin de Noël : la preview de…
Lire la suite

Lucas Landry

Data

6 min read

20 Dec 2019

Cluster Spark éphémère avec Terraform et AWS EMR

Cluster permanent VS Cluster éphémère à la demande La démocratisation des services Cloud type “Hadoop…
Lire la suite

Lucien Fregosi

Data

11 min read

16 Apr 2019

Comment structurer un dataset client à l’aide de la théorie des graphes pour la prédiction d’achat : retour d’expérience

Contexte Notre client, spécialisé dans le marketing, dispose d'un historique de plusieurs centaines de millions…
Lire la suite

Stéphane Trou

Data

7 min read

29 Jun 2018

Métriques et Logs sur Apache Spark

Après un premier article consacré au data lineage pour les Jobs Spark, nous continuons cette…
Lire la suite

Lucien Fregosi

Data

10 min read

05 Apr 2018

REX - Industrialisation de jobs Spark dans le cadre d'un datalake

Cet article présente un retour d’expérience sur une industrialisation de jobs Spark dans le…
Lire la suite

Nicolas Martin

Data

6 min read

22 Mar 2018

Data Lineage sur Apache Spark avec Spline

Cet article de blog présente une solution de Data Lineage nommé Spline qui permet de…
Lire la suite

Lucien Fregosi

Data

7 min read

19 Feb 2018