Projets « DataOps » : le guide ultime – méthode, process et techno
Sommaire Le DataOps, contraction des mots « data » et « opérations », est une méthodologie consistant en une gestion collaborative des données. Il est axé sur l’amélioration de la communication entre les équipes, l’intégration et l’automatisation des flux de données entre les métiers de données et les consommateurs de données. 1. Le DataOps est avant tout une méthode […]
Comment créer un pipeline de détection de sentiments sur Saagie avec Python, Bash, AWS Glue, VSCode, MLflow et Dash
Pour accompagner nos nouveaux utilisateurs dans leurs premiers pas sur Saagie, nos équipes ont développé un projet complet de détection de sentiments exprimés au sein de critiques de films. Celui-ci repose sur une interaction forte entre des jobs en Python, Bash, AWS Glue et des applications Docker comme VSCode, MLflow et Dash pour démontrer comment […]
Le CI/CD en DataOps : le développement continu et la mise en place de pipeline
Les données sont de plus en plus présentes dans les entreprises et on voit émerger les projets Big Data. D’autre part, on observe une diminution du temps de développement. La livraison en production et le déploiement doivent être réalisés rapidement et fréquemment par les équipes de développement et les équipes data pour faire face aux besoins. […]
Réinventer les métiers de l’immobilier par la data
Pour ce nouvel édito, nous sommes partis à la rencontre de Florent Seine, CDO chez Foncia ! Foncia est leader européen des services résidentiels, 1er syndic et 1er loueur de France, l’ambition de l’entreprise est d’être reconnue pour sa qualité de service et pour le développement de services innovants. L’activité principale, l’administration de biens, se […]
Votre hiérarchie est sceptique ? 5 bonnes raisons de passer au DataOps
Vous connaissez le DataOps de nom, mais vous voulez en savoir plus sur ses plus-values ? Quelles sont les bonnes raisons pour convaincre votre hiérarchie de passer au DataOps ? En quoi le DataOps augmente-t-il la productivité ? Le DataOps, contraction des mots « data » et « opérations », est une pratique consistant en une gestion collaborative des […]
Quelles priorités le DataOps met-il en avant pour mener un projet efficacement ?
La data est à la mode ces dernières années et beaucoup d’entreprises investissent des moyens et des ressources dans ce domaine. Cependant, ce sont des projets souvent complexes et innovants, autant d’un point de vue technique que managérial. Par conséquent, des méthodes ont été développées pour gérer ces projets, c’est le cas notamment du DataOps. […]
Isoler ses environnements de développements par projet et assurer la reproductibilité des jobs : un must do pour vos projets data
Cet article fait partie d’une série d’articles sur les bonnes pratiques à destination du Data Engineer. Une version synthétique de cette série a été présentée lors d’un webinar que vous pourrez retrouver ici ! Vous trouverez les autres articles de cette série ici et là : Le monitoring : la clé pour superviser vos projets […]
Comment industrialiser un projet via la CI/CD GitHub ?
Cette semaine, Julien Fricou, Data Engineer chez Saagie, a pu interroger Alain Hélaïli, Principal Solutions Engineer chez GitHub, sur l’utilisation de la plateforme. La CI/CD GitHub n’aura plus de secret pour vous ! Comment créer un workflow (fichier yaml, éditeur graphique) ? Avec GitHub Actions, nous avons décidé que la philosophie serait de faire du […]
Pourquoi et comment mettre en place une politique de CI/CD ?
Avec l’arrivée des nouvelles méthodes de travail comme l’Agile, le DevOps et maintenant le DataOps, les mises en production sont devenues beaucoup plus fréquentes. Ces nouvelles pratiques amènent toutes un lot d’avantages : flexibilité, efficacité des équipes, qualité des livraisons ; mais également leur lot de problématiques auxquelles il faut répondre en optant pour des […]
Qu’est-ce que le MLOps ?
Le récent engouement autour de la data science, et du Big Data, a permis le développement d’un écosystème extrêmement riche et dynamique autour de l’analyse des données collectées. Des outils open source, et toujours plus faciles à utiliser, permettent ainsi à de nombreuses organisations de se lancer dans l’analyse de leurs données. Cependant, la multiplication des projets data, et des […]
Quel Outil d’Intégration Continue Choisir (CI/CD) ?
L’organisation d’une équipe de Data Science est très complexe. En plus du facteur humain, il faut prendre en compte l’organisation technique. Pour coordonner ce type d’équipe, le paradigme DevOps/DataOps propose un ensemble d’outils d’intégration continue essentiels ainsi qu’une chaîne de traitement pour réunir dans une seule équipe plusieurs profils qui étaient isolés auparavant. Ceci dit, on vit actuellement une […]
