{"version":1,"type":"rich","provider_name":"Libsyn","provider_url":"https:\/\/www.libsyn.com","height":90,"width":600,"title":"#6.4 Observabilit\u00e9 : attitude et outils du data steward","description":"L\u2019observabilit\u00e9 : attitude et outil du data steward Observer vient de la racine latine observare, qui signifie \u00ab\u2009noter ou consid\u00e9rer\u2009\u00bb, mais aussi \u00ab\u2009garder en s\u00e9curit\u00e9 ou prot\u00e9ger\u2009\u00bb. Quelle belle proximit\u00e9 avec la fonction de data steward\u2009! Or aujourd\u2019hui le r\u00f4le du data steward n\u2019est plus simplement de se pr\u00e9occuper de qualit\u00e9 des donn\u00e9es, mais r\u00e9ellement de mettre en \u0153uvre l\u2019observabilit\u00e9. Plut\u00f4t qu\u2019un steward, il est plut\u00f4t d\u2019ailleurs un contr\u00f4leur a\u00e9rien de vos data. Il ne pilote pas mais surveille et organisme le trafic et reporte les incidents. \u00c0 sa disposition, des outils d\u2019observabilit\u00e9, \u00e0 chaque version plus complets, et demain des agents qui lui remonteront l\u2019information. Mais avant m\u00eame les outils, c\u2019est cette attitude d\u2019observation qu\u2019il mettra en \u0153uvre. Observer n\u2019est pas faire\u2009! Il est crucial qu\u2019il le comprenne. Le data steward n\u2019est pas l\u00e0 pour faire \u00e0 la place des data owners et data consumers, mais pour apporter une supervision transverse des principes de gouvernance. C\u2019est l\u2019observabilit\u00e9, et elle s\u2019appuie sur les outils du m\u00eame nom. Observer l\u2019ensemble de la chaine de traitement de la donn\u00e9e La data observability vise \u00e0 donner une vision continue et intelligente de la \u00ab\u2009sant\u00e9\u2009\u00bb des donn\u00e9es : leur fra\u00eecheur, leur volume, leur distribution (anomalies), les changements de sch\u00e9ma, les d\u00e9pendances (data lineage), et la capacit\u00e9 \u00e0 diagnostiquer rapidement les racines des incidents. On peut voir la data observability comme l\u2019\u00e9volution du monitoring de donn\u00e9es (alertes statiques) vers un syst\u00e8me plus proactif, pilot\u00e9 par des m\u00e9tadonn\u00e9es et des techniques analytiques. Une donn\u00e9e circule\u2009; le data steward en a une vision globale, au travers des m\u00e9tadonn\u00e9es d\u2019usage collect\u00e9es automatiquement : les flux pr\u00e9vus ont-ils \u00e9t\u00e9 honor\u00e9s, l\u2019usage des outils de s\u00e9curisation (data platform) est-il respect\u00e9, la coh\u00e9rence est-elle maintenue d\u2019un bout \u00e0 l\u2019autre du syst\u00e8me. Dans une architecture centralis\u00e9e, mais surtout dans une architecture f\u00e9d\u00e9ralis\u00e9e autour de data products, sa mission de supervision des processus est indispensable. Si votre data mesh pr\u00e9voit la mise en place de data contracts, le data steward supervisera leur ex\u00e9cution, et remontera les incidents. Observer plusieurs dimensions Initialement focalis\u00e9 sur la qualit\u00e9 des donn\u00e9es, le data steward voit ses missions \u00e9voluer. La qualit\u00e9 en reste le c\u0153ur, mais il lui revient d\u2019observer l\u2019ensemble des circulations de donn\u00e9es. Son attention d\u00e9bute lors de l\u2019entr\u00e9e des donn\u00e9es dans le syst\u00e8me d\u2019information. Il se pr\u00e9occupera alors de v\u00e9rifier que les contraintes de s\u00e9curit\u00e9 et de conformit\u00e9 des donn\u00e9es sont respect\u00e9es. Lors de chaque mouvement d\u2019une donn\u00e9e, il surveillera la tra\u00e7abilit\u00e9 (le lineage). En cas d\u2019alimentation d\u2019outils d\u2019IA, il s\u2019assurera du respect des usages de la charte et de la r\u00e8glementation. Qualit\u00e9, conformit\u00e9, s\u00e9curit\u00e9 et usages sont les principales dimensions de son action. Travaillant au plus proche des m\u00e9tiers, le data steward et ses outils d\u2019observabilit\u00e9 permettront de remonter la temp\u00e9rature de la plateforme de donn\u00e9es au comit\u00e9 de gouvernance. En cas de d\u00e9rive d\u2019un des indicateurs, il est susceptible de faire remonter l\u2019incident pour arbitrage. Sifflet, Soda.ai\u2026 des startups qui montent Montecarlo, Acceldata, Bigeye, Validio, Metaplane, Sifflet, Soda, figurent parmi les principaux acteurs sp\u00e9cialis\u00e9s de l\u2019observabilit\u00e9 des donn\u00e9es. Les grandes plateformes telles que Collibra, Datadog, New Relic, Splunk, Elastic, proposent \u00e9galement des fonctions ad hoc. Peu de solutions open source semblent disponibles \u00e0 l\u2019exception de OpenTelemetry, mais qui n\u00e9cessite de gros efforts de d\u00e9veloppement. De l\u2019observabilit\u00e9 des donn\u00e9es \u00e0 celle de l\u2019IA L\u2019IA est au service de l\u2019observabilit\u00e9, au travers des agents que les outils envoient pour capter les informations tout au long de la chaine de la donn\u00e9e. Mais l\u2019observabilit\u00e9 est \u00e9galement au service de l\u2019IA car, tout comme les donn\u00e9es, les mod\u00e8les et usages de l\u2019IA doivent respecter des r\u00e8gles de gouvernance, et donc \u00eatre observ\u00e9s. Les meilleurs outils d\u2019observabilit\u00e9 incluront donc des fonctions de suivi des mod\u00e8les, de d\u00e9tection des biais, des discriminations, des hallucinations, des usages non \u00e9thiques ou non conformes \u00e0 la politique ESG de l\u2019entreprise. L\u2019IA sera \u00e9galement mise \u00e0 contribution pour d\u00e9tecter les usages non officiels, le shadow AI, le shadow BI, etc. Du data au AI steward Cela am\u00e8nera naturellement notre data steward \u00e0 \u00e9largir ses comp\u00e9tences. Il est pass\u00e9 du monitoring de la qualit\u00e9 \u00e0 l\u2019observabilit\u00e9 globale. Il passera \u00e9galement de la donn\u00e9e \u00e0 l\u2019intelligence artificielle. Le Data & AI Steward, une fonction indispensable pour impl\u00e9menter de mani\u00e8re pratique, et contr\u00f4ler l\u2019application des principes de gouvernance. En r\u00e9sum\u00e9, voici quelques id\u00e9es pour comprendre comment \u00e9voluera en 2026 le march\u00e9 des outils et techniques d\u2019observabilit\u00e9 : -              Consolidation des plateformesOn observe une tendance \u00e0 int\u00e9grer les capacit\u00e9s de data observability dans des plateformes plus larges (analytique, gouvernance, monitoring g\u00e9n\u00e9ral). Mais les solutions sp\u00e9cialis\u00e9es et interop\u00e9rables proposent plus de fonctionnalit\u00e9s. -              Approche \u00ab\u2009AI-driven observability\u2009\u00bb Les outils int\u00e8grent des algorithmes pour automatiser la d\u00e9tection d\u2019anomalies, pr\u00e9voir les incidents ou sugg\u00e9rer des correctifs dans les mod\u00e8les d\u2019IA. -              Bring-Your-Own Storage \/ backends interchangeables Permettre aux utilisateurs d\u2019utiliser leurs propres lacs de donn\u00e9es ou entrep\u00f4ts comme stockage (plut\u00f4t que d\u2019imposer un stockage \u00ab\u2009shadow\u2009\u00bb) pour r\u00e9duire les silos. Attention cependant \u00e0 la cr\u00e9ation de nouveaux silos qui ne respecteraient pas les r\u00e8gles de s\u00e9curit\u00e9, de conformit\u00e9 et de gouvernance. -              Observabilit\u00e9 \u00ab\u2009pipelined\u2009\u00bb (observabilit\u00e9 de pipelines m\u00e9tadonn\u00e9es vs t\u00e9l\u00e9m\u00e9tries classiques) La surveillance non seulement des r\u00e9sultats (donn\u00e9es) mais du comportement des pipelines eux-m\u00eames (dur\u00e9e, erreurs, retards) devient centrale. -              Focus sur les co\u00fbts, l\u2019\u00e9volutivit\u00e9 et le \u00ab\u2009data observability FinOps\u2009\u00bb \u00c0 mesure que les volumes de donn\u00e9es augmentent, les organisations veulent ma\u00eetriser le co\u00fbt de surveillance (stockage, calcul, alertes). -              Extension vers l\u2019observabilit\u00e9 des mod\u00e8les\/IA\/ML Comme les pipelines de donn\u00e9es alimentent de plus en plus des mod\u00e8les ML\/IA, l\u2019observabilit\u00e9 s\u2019\u00e9tend vers le suivi des performances des mod\u00e8les, la d\u00e9rive, etc. ","author_name":"Decideo - Data Science, Big Data, Intelligence Augment\u00e9e","author_url":"https:\/\/sites.libsyn.com\/85569\/decideo","html":"