Objectif : Comprendre comment articuler les avantages d’un orchestrateur
autour de ses jobs Spark dans…
Lire la suite
11 min read
09 janv. 2023
Si vous avez correctement suivi le walkthrough Delta Lake & CDC
[https://blog.ippon.fr/2020/…
Lire la suite
13 min read
19 sept. 2022
Il m’arrive souvent de me lancer dans un débat sur l’API Dataset où…
Lire la suite
6 min read
23 févr. 2022
Delta Lake [https://delta.io/] nous offre le confort d’un niveau d’abstraction
similaire…
Lire la suite
7 min read
07 févr. 2022
Apprenez tout ce dont vous avez besoin pour passer la certification Apache Spark 3.0 Associate Developer de Databricks !…
Lire la suite
9 min read
18 oct. 2021
L’opération merge
[https://docs.databricks.com/delta/delta-update.html#upsert-into-a-table-using-merge]
de l’API Delta…
Lire la suite
11 min read
21 déc. 2020
Quand on regarde la quantité de librairies open-source il est très rare de trouver, caché, des librairies impactant autant la manière de penser le “compute”.
Une de ces librairies dont je voudrais vous parler aujourd’hui est Apache Arrow.
Il est temps de la mettre en lumière !…
Lire la suite
6 min read
28 oct. 2020
Delta Lake [https://docs.delta.io/latest/index.html] apporte de nombreux
avantages aux projets…
Lire la suite
6 min read
12 oct. 2020
Koalas est une librairie open source développée par Databricks annoncée en mars 2019. Elle implémente les API Pandas pour Apache Spark. Elle unifie les API Pandas et Spark afin de rendre efficace Pandas dans la jungle du Big Data.…
Lire la suite
8 min read
03 févr. 2020
Cette douce matinée de novembre s’annonce comme un matin de Noël : la preview de…
Lire la suite
6 min read
20 déc. 2019
Cluster permanent VS Cluster éphémère à la demande
La démocratisation des services Cloud type “Hadoop…
Lire la suite
11 min read
16 avr. 2019
Contexte
Notre client, spécialisé dans le marketing, dispose d'un historique de plusieurs
centaines de millions…
Lire la suite
7 min read
29 juin 2018
Après un premier article consacré au data lineage pour les Jobs Spark
[https://blog.ippon.…
Lire la suite
10 min read
05 avr. 2018
Cet article présente un retour d’expérience sur une industrialisation de jobs
Spark dans le…
Lire la suite
6 min read
22 mars 2018
Cet article de blog présente une solution de Data Lineage nommé Spline
[https://absaoss.github.…
Lire la suite
7 min read
19 févr. 2018
