Data : ce qui va changer d'ici 3 ans
L’intelligence artificielle générative, l’orchestration cloud-native, le text-to-SQL, le lakehouse... Dans quelques années, notre métier va profondément changer.
Et ce n’est que le début.
Chez Ippon, nous avons pris le temps de nous poser une question simple : à quoi ressemblera notre quotidien de Data Analyst, Engineer ou Architect dans trois ans ?
Voici notre vision. Pas une prédiction à dix ans, mais un cap à trois ans. Suffisamment proche pour agir dès maintenant.
Ce qui s’impose déjà
L'IA générative redéfinit nos méthodes de travail
L'intégration de l'IA générative dans notre quotidien est déjà une réalité. Le prompt engineering devient une compétence essentielle, au même titre que la maîtrise SQL ou Python.
Il ne s'agit plus seulement de discuter avec ChatGPT, mais de savoir :
- structurer un prompt efficace selon le contexte,
- choisir le bon modèle (LLM, RAG, RLM...),
- intégrer l'IA dans des chaînes de traitement (agent),
- valider et affiner les résultats obtenus.
Le développement assisté devient la norme
Les IDE "AI-native" comme Cursor, Windsurf, nous permettent de coder plus vite, mais aussi de franchir des barrières de compétences.
Un Data Engineer peut prototyper une API, un Analyst créer une app en Streamlit, un Architect valider des templates IaC.
La contrepartie ? Nos responsabilités évoluent et nous devons renforcer notre sens critique pour maîtriser ce qu’on délègue à l’IA afin de garantir : efficacité, rigueur, sécurité et maintenabilité.
Ce qui va évoluer
Plus de souveraineté
La dépendance à un écosystème cloud unique - vendor lock-in - est un risque : coûts, souveraineté, interopérabilité, contraintes réglementaires et géopolitiques.
Nous misons sur trois piliers pour rester maîtres de nos architectures et des données :
1. Infrastructure as Code
Terraform, Pulumi deviennent la base d’une stratégie cloud-agnostique. Dopés l’IA générative, construire et adapter une infrastructure devient plus rapide, plus souple. Passer d’un fournisseur unique à une architecture multi-cloud devient plus facile.
2. Kubernetes et orchestration conteneurisée
Kubernetes s’impose comme standard pour orchestrer des pipelines et des workloads data en batch ou en streaming. Il offre un socle unifié pour déployer par exemple, Airflow, Airbyte, des modèles de machine learning, des data apps, sans dépendre d’un cloud provider.
3. Lakehouse et formats de tables ouverts
L’adoption des lakehouse supportés par des formats ouverts comme Iceberg ou Delta Lake permettent de découpler stockage, calcul et exposition.
Nous gagnons en :
- flexibilité : “compute” adapté à chaque usage (Trino, Flink, Snowflake...) sans dépendance à un fournisseur unique
- souveraineté : la donnée peut rester dans un environnement contrôlé avec la possibilité d’un déploiement on-premise
Vers de nouvelles formes d'exposition de la donnée
Nos pratiques de développement ont évolué vers celles déjà en place chez les Software Engineer : usage de dbt, versionning, tests automatisés, CI/CD.
Pourtant, la visualisation reste souvent figée dans des outils fermés.
Trois tendances :
- des outils plus simples : comme Metabase pour des besoins de reporting rapide, avec moins d’effort de modélisation
- des data apps as code : avec Streamlit ou Dash elles permettent d’appliquer les pratiques de Software Engineering à la Data Vizualisation
- le text-to-SQL : pour répondre à des besoins simples directement via des assistants conversationnels
Le but est de diminuer le temps de déploiement des produits data et laisser la main aux utilisateurs quand il n’y a pas de complexité.
Une spécialisation des rôles plus nette
Le profil hybride Analytics Engineer a montré son intérêt, mais la tendance est à la spécialisation.
Les architectes de plateforme
Des Data Engineers qui endossent le rôle de Platform Engineer.
Ils :
- conçoivent des architectures robustes, modulaires, interopérables (Kubernetes, dbt, Airflow, Terraform...),
- définissent les standards de développement,
- industrialisent les bonnes pratiques.
Leur mission : garantir une donnée fiable, accessible, et gouvernée tout en préservant la souveraineté.
La standardisation des développements permet de tirer le meilleur des agents IA et limite la dette technique.
Les développeurs de data apps
Des Data Analysts qui font des applications.
Orientés Produit, ils livrent des applications analytiques : simulateurs, dashboards, moteurs de décision. Ils travaillent avec Streamlit, Dash, et intègrent l’IA pour aller plus vite.
Les requêtes simples sont automatisées par l’IA.
Le reporting global reste accessible dans des dashboards plus facile à déployer.
Les produits analytiques, eux, se construisent comme du logiciel.
Les fondamentaux restent intacts
Quelle que soit l’évolution des outils ou des organisations, les principes fondamentaux ne changent pas :
- données fiables et traçables
- tests systématiques
- documentation à jour et partagée
- exposition claire et utile
Les outils changent mais les bonnes pratiques restent. Ce sont elles qui permettent d’exploiter une IA avec confiance, d’exposer une data fiable, de livrer un produit utile.
Conclusion
Les outils changent mais les bonnes pratiques restent : la donnée n’a de valeur que si elle est bien maîtrisée, bien exposée et bien gouvernée.
Dans les trois prochaines années, nous allons :
- intégrer l’IA dans nos workflows,
- déployer des architectures cloud-agnostique pour plus de flexibilité,
- repenser la façon dont nous construisons et exposons la donnée.
Ces transformations sont déjà en cours. Prendre un temps de recul nous a permis de mettre des mots sur des évolutions que nous vivons sans toujours les formaliser et se donner un cap.
Ce cap s’élargira aussi d’enjeux plus globaux : réduction de l’empreinte environnementale, renforcement de la sécurité, intégration de principes éthiques dans nos usages de l’IA. Des sujets qu'il faudra aborder avec la même exigence que les questions techniques et opérationnelles.
Références:
https://getdx.com/blog/data-platform-engineering/
https://link.springer.com/article/10.1007/s42452-025-06545-w?utm_source=chatgpt.com
https://www.nature.com/articles/s41746-024-01029-4
https://dagster.io/blog/rise-of-the-data-platform-engineer?utm_source=chatgpt.com
https://www.thoughtspot.com/data-trends/ai/ai-statistics-and-trends?utm_source=chatgpt.com
