Alors qu’obligé de faire un re:Ivent “virtuel” en 2020 du fait du contexte pandémique mondial, AWS ne pouvait pas ne pas profiter de la relance de l’activité mondiale pour réitérer, à Las Vegas, son célèbre événement le “re:Invent”. D’autant plus, qu’il s’agissait de la 10eme édition.
Pour marquer cet anniversaire particulier, le Dr Werner Vogels, le CTO d’AWS, a tenu, dans sa keynote, à revenir sur les 15 ans d’innovations apportées par leur fameux credo “we are customer centrics”.
Que de chemin parcouru depuis 2006, avec l’ouverture de leur 1ere région “North-Viginia” et de leur offre “ec2” en “m1.small”, sans vpc, avec uniquement la possibilité de communiquer via une adresse ip publique !!
Alors, que nous apporte cette année AWS en termes d’annonces retentissantes ?
Un des messages de Werner Vogels, c’est qu’on a atteint un point d’inflexion dans la technologie, que l’innovation va se faire surtout dans la simplification des opérations pour leurs clients. Certains articles sur le sujet parlent d’année “incrémentale” et non pas “d’innovante” … Je vous en laisse seul juge.
Tout d'abord, pour les entreprises souhaitant migrer ou s’étendre sur le cloud, AWS annonce la création de 30 nouvelles AWS Local Zones, et cette fois sur les 5 continents. Ceci est complété par un nouveau service AWS Cloud WAN, un service de monitoring de réseau permettant de construire, gérer et surveiller plus rapidement et plus facilement un réseau mondial unifié, à la fois sur le cloud et sur les datacenters.
Comme le dit Werner Voegels dans sa keynote, AWS n’a cessé de repousser les limites techniques pour l’accès au cloud. Avec les offres “ECS Anywhere” & “EKS Anywhere”, les AWS Outposts, les AWS Local Zones, il ne restait plus qu'une dernière limite à faire tomber : l’espace ! Avec le programme Kuiper de lancement de satellites LEO (Low Earth Orbit) et les AWS Ground Station, il sera possible de joindre depuis quasiment n’importe quel point dans le monde, le cloud AWS. Ce seront pas moins de 1500 satellites de ce type dans les 5 prochaines années qui seront mis en orbite, et, en plus de la connectivité au cloud, apporteront de précieuses informations pour aider à prévenir ou contrôler les catastrophes naturelles, des marées noires aux ruptures de barrages, en passant par l'activité volcanique et les événements météorologiques extrêmes.
Parfaite transition pour parler d’un domaine pour lequel nous sommes tous acteurs et responsables : l’écologie et le défi de l’humanité pour les 30 prochaines années : le réchauffement climatique et la réduction de notre empreinte carbone. Comme tous les grands acteurs du cloud, très gros consommateurs d’énergie, AWS fait partie des entreprises qui ont un poids certain dans la réduction de nos émissions de carbone. En devenant la 1ere entreprise utilisatrice d'énergie renouvelable (détails ici), AWS annonce passer à une utilisation 100% renouvelable de son énergie d’ici 2025 (au lieu de 2030). Mais, comme tout le monde doit être impliqué dans ce défi, AWS souhaite responsabiliser ses clients et leurs équipes.
AWS introduit dans son fameux framework “Well Architected Framework” un nouveau pilier “sustainability” pour permettre de suivre, lors des revues d'architecture, les bonnes pratiques en terme de durabilité et de rationalisation énergétique.
Sur le sujet du “compute”,
malgré les 475 types d’instances disponibles, AWS nous propose encore des nouveautés cette année :
- la sortie d’une nouvelle famille de machine C7g utilisant les nouveaux processeurs “graviton 3”, qui permettent d’économiser 60% d’énergie tout en multipliant les performances, notamment 2x plus rapide pour les calculs scientifiques en virgule flottante, 2x plus rapide pour les traitements cryptographiques et 3x plus rapide pour les traitements de machine learning.
- les “EC2 M1 Mac Instances” (en preview), vous permettant d'accéder à des machines construites autour du système M1 conçu par Apple sur Chipk. Un bon moyen pour construire et tester vos applications spécifiques Apple depuis AWS.
- De nouvelles instances storage-optimized “lm4gn et ls4gen”, construites avec les processeurs Graviton2, vous offrant jusqu'à 30 Tb de stockage NVMe avec la technologie AWS Nitro SSD.
- Les instances “EC2 M6a” architecturées avec la 3eme génération AMD EPYC, cadencées à 3,6 Ghz, offrant 35% de performance supplémentaire par rapport à la génération précédente.
- Les instances EC2 G5g, architecturées avec les processeurs AWS Graviton2 et les cartes GPU NVIDIA T4G Tensor Core GPUs permettant d’augmenter significativement les performances pour les applications graphiques et le machine learning.
Pour finir avec l’infrastructure, AWS propose désormais des “petits” serveurs outposts aux formats 1U et 2U pouvant accueillir respectivement l’équivalent d’une instance c6gd.16xlarge en graviton2 (64 vCPU/128 GiB de RAM) et d’une c6id.32xlarge ( 128 vCPU/255 GiB de RAM).
Rappelons qu'auparavant, il fallait partir directement sur un rack en 42U. Cela ouvre de nouveaux cas d’usage pour Outpost avec des déploiements en mode “Edge”: Magasin, Usine, Établissement de santé…. L’idée est bien sûr de toujours bénéficier de services AWS "on Premise" ( EC2, RDS, S3, ECS, bientôt EKS, ...) tout en adressant des problématiques comme la latence, la localisation des données ou l’optimisation du transfert des données en permettant du traitement local.
Côté “Développement”,
notons l’annonce faite durant la keynote de la sortie du “AWS Amplify Studio” permettant de développer rapidement des applications mobiles basées sur la technologie AWS Amplify.
AWS annonce également une nouvelle fonctionnalité sur les “private Repository” : les dépôts de type “Pull Through Cache Repositories”. En cachant, à travers ECR, des “repositories” publics, ce nouveau type de dépôt offre aux développeurs les performances, la sécurité et la disponibilité d’ECR, pour les containers récupérés depuis des registres publics.
Avec le succès grandissant de AWS CDK, cet outil d’infra as code ne pouvait pas ne pas faire l’objet d’une annonce : La généralisation du “Construct Hub” ainsi que du AWS Cloud Development Kit (CDK) dans sa version 2. Le Construct Hub regroupe des milliers de patterns de type “Construct” permettant de démarrer rapidement le déploiement de vos éléments d'infrastructure.
AWS annonce également le support pour les langages Swift, Kotlin & Rust du SDK d’AWS.
Terminons par l’intégration d'EventBridge avec les S3 Event Notifications, ce qui permettra de rendre les applications événementielles nativement “responsive” à des notifications s3.
Côté “Data”,
AWS uniformise ses offres “serverless” sur le domaine de l’analytique, en annonçant respectivement, Amazon Redshift Serverless, Amazon MSK Serverless (Kafka) et Amazon Kinesis Data Streams On-Demand, ce qui donnera le loisir aux équipes data de monter des clusters analytiques scalables ainsi que des applications de gestion de streams, sans se soucier de gérer l’infrastructure sous-jacente, et en maîtrisant ses coûts !
Concernant le service AWS Lake Formation, AWS annonce les fonctionnalités de “Cell-Level Security” et “Governed Tables with Automatic Compaction”, permettant de simplifier la mise en œuvre des datalakes, aussi bien en terme de déploiement, d’optimisation du stockage ou d’accès aux données.
On ne peut pas parler de data sans bien sûr évoquer l’IA et les modèles de machine learning.
AWS Annonce “SageMaker Ground Truth”, regroupant plus de 30 workflows pre-construits, une centaine de templates de déploiement. Ceci permettra de prendre en main plus rapidement vos cas d’utilisation avec un aspect coûts réduits. AWS SageMaker est complété également par une série de nouveaux outils comme,
- SageMaker Training Compiler permettant d'accélérer jusqu'à 50% l'entrainement des modèles de deep Learning, grâce à une utilisation plus efficace des instances GPUs. Intégré aux dernières versions de PyTorch et TensorFlow dans SageMaker, cette fonctionnalité vous permettra de compiler votre modèle en instructions optimisées pour votre matériel.
- La gestion de vos clusters EMR et de vos Jobs Spark directement depuis le SageMaker Studio,
- SageMaker Canvas permettant aux business analystes de construire des modèles de machine learning de manière visuelle, sans écrire de code.
Côté DynamoDB, AWS annonce un cas d’utilisation demandé par bon nombre de ses clients : une nouvelle classe de stockage : “Infrequently Access Data”. Conserver la haute disponibilité fournie par DynamoDB tout en profitant d’un prix réduit (60%) pour les données accédées rarement.
On se doit également de noter la preview de l’intégration de S3 au service AWS Backup. Cela présente un avantage considérable pour nos clients qui utilisent AWS Backup pour centraliser et automatiser leurs sauvegardes sur AWS. En intégrant s3 à AWS Backup, plus besoin de définir une stratégie de sauvegarde différente pour gérer ses buckets S3. Gérable au niveau du service AWS Organizations, l’ajout du support des ressources de type S3 est une vraie bonne nouvelle. De l’homogénéité dans la technologie, ça fait toujours du bien ! Restons patients pour sa disponibilité globale qui ne nous a toujours pas été communiquée cependant.
Côté RDS, AWS annonce le support de “RDS Custom SQL Server”, permettant de mettre en place de la configuration / customisation spécifique au niveau de la base de données. Cela permettra d’étendre le support sur le cloud pour les applications comme les plateformes eCommerce, les plateformes CMS ou Microsoft SharePoint.
Toujours sur l’aspect RDS, notons également la sortie de “Amazon Devops Guru for RDS”, un outil d’aide au diagnostic pour les problèmes liés aux bases de données. Conçu grâce à l'expérience acquise autour de "l’excellence opérationnelle" des bases de données, ce service vous fournira une base de connaissances des erreurs et de propositions d’actions correctives, ainsi que de la remédiation automatique (si vous l’y autorisez).
Enfin, si dans votre stratégie de "Move to Cloud" ou de "Cloud Hybride", vous souhaitez privilégier les bases de données managées, en preview, AWS annonce le service “AWS Database Migration Service Fleet Advisor”, permettant de gérer à l’échelle d’une transformation cloud, la migration de vos bases de données on-premises, vers des bases de données managées par AWS.
Toujours sur le sujet de la migration vers le cloud, pensez à AWS Migration Hub Refactor Spaces (en preview), qui facilite le refactoring d’une application monolithique vers un ensemble de microservices. Pour cela, après avoir déclaré une application et lister l’ensemble des services exposés par celle-ci dans le migration hub, Refactor Space va automatiquement mettre en place une architecture basée sur sur une API Gateway, une Transit Gateway et des NLB permettant le switch, service par service, de l’application monolithique vers les nouveaux services, par exemple déployés en Lambda.
Concernant la gestion de vos infrastructures,
Répondant au constat que Werner Voegels fait dans sa keynote, sur l’explosion de l’utilisation des objets connectés, les fameux “Internet Of Things”, AWS annonce l'intégration de votre flotte AWS IoT Greengrass Edge devices dans AWS System Manager, ce qui simplifiera la maintenance au quotidien de votre flotte.
Concernant les landing Zones, et le fameux service AWS Control Tower, notons qu’il s’enrichit de nouveaux guardrails (preventive & detective) permettant d’implémenter des contrôles autour de la localisation de vos données. Il est complété par une librairie terraform (AFT), maintenue par AWS, permettant de provisionner et customiser la création des comptes depuis un pipeline. Cela renforce encore la tendance de ce service à maturer et à répondre à des cas d’usages plus larges qu’à son début.
Pour terminer, sur l’aspect sécurité, AWS annonce de nouvelles fonctionnalités dans l’offre AWS Shield Advanced, notamment sur les protections de la couche 7 pour les attaques de type DDOS. AWS Inspector fait également l’objet d’une nouvelle fonctionnalité, notamment la possibilité d’automatiser les “scans” lorsqu’un changement est détecté sur la machine. Enfin, Amazon CodeGuru Reviewer offre désormais la possibilité de détecter les secrets dans votre code, et de les sécuriser en utilisant AWS Secrets Manager.
Pour conclure ce tour d’horizon des annonces du re:Invent 2021, j'aimerai revenir sur les 2 annonces qui m'ont le plus marquées :
d’une part, l’accélération dans la réduction des émissions de CO2, d’un acteur comme AWS ne peut qu’être gage d’optimisme. Le fameux modèle de responsabilités partagées évolue : si notre fournisseur de cloud s'occupe de gérer la pérennité de ses datacenters, à nous, devops, développeurs, ingénieurs data, de transformer l’essai en nous réinventant dans nos manières de concevoir nos applications pour limiter notre propre impact sur la planète. Évaluer notre consommation énergétique en terme de code ou d'infrastructure, sera une métrique importante dans un futur proche. Des initiatives dans ce domaine existent, notamment la librairie “scaphandre”, développée par l’un de nos anciens collègues, Benoît Petit, qui vous permettra d’évaluer la consommation énergétique de vos serveurs et de vos applicatifs.
d'autre part, le déploiement des nouveaux satellites LEA : Je suis un vrai “fan” des technos qu’AWS nous propose. Bien que je comprenne la réticence de certaines sociétés à mettre leur données chez ce provider américain, je n’ai pas, déontologiquement parlant, de problème avec ça. Par contre, je suis un peu plus mitigé sur cette annonce de mise en orbite de plusieurs milliers de satellites. Espérons que le but noble de réduire les zones blanches, sans accès internet, ne sera pas altéré par l’usage détourné des images de “monitoring” continu de ces satellites. On parle souvent de “gouvernance” dans le cloud, je serai assez curieux de savoir comment cela va être géré. La question mérite d’être posée.
Merci à tous mes collègues, @Alexis Renard, @Tristan Miche, @Christophe Grall, @Damien Rollet, @Amine Ait Aazizi pour l'aide à la rédaction de cet article.
Pour terminer, retrouver l'intégralité des annonces ici :
https://github.com/zoph-io/awscon-onepager/blob/master/reinvent/reinvent-2021.md
et d'autres pointeurs qui nous ont aidé à écrire ce blog ...
https://aws.amazon.com/fr/blogs/aws/top-announcements-of-aws-reinvent-2021/
https://www.techradar.com/news/live/aws-reinvent-2021-keynote-live-blog
https://www.aboutamazon.com/news/aws/aws-re-invent-2021-what-you-need-to-know
https://www.techradar.com/news/amazon-is-now-the-worlds-largest-buyer-of-renewable-energy
