Comment moderniser votre Data Stack

Au cours des trois dernières années, Hanalytics a travaillé avec des entreprises de diverses industries telles que l'assurance, la finance, les transports, la santé et les Start Ups Tous ces projets étaient uniques et ont commencé avec nos clients à différents niveaux de maturité des données. Certaines entreprises avaient déjà une infrastructure de données de base en place, tandis que d'autres ne faisaient que récupérer occasionnellement des données manuellement à partir de leurs différentes instances Fastmag , Prestashop ou encore les des outils médias ( Facebook, Google Ads ). Dans l'ensemble, cela a permis à notre équipe de comprendre comment aborder la modernisation et l'optimisation de l'infrastructure de données. Que vous cherchiez à améliorer vos processus d'ingénierie des données, à mettre en œuvre un entrepôt de données ou à créer un modèle de Machine Learning, notre équipe a probablement déjà travaillé sur l'un de ces trois domaines.

Par où commencer

Avant d'avancer davantage dans votre stratégie de données, évaluez votre situation actuelle et définissez vos objectifs avec confiance. Il est facile de se laisser emporter par les possibilités qu'offrent la Data.

Il existe des milliers d'articles qui présentent des cas d'utilisation réussis de données. Il peut être tentant de vouloir aller trop vite, mais la première étape de tout projet, pas seulement en matière de données, est de savoir où vous voulez aller avec assurance.

Quels sont vos objectifs

Avant de commencer vos projets d'infrastructure de données ou de science des données, il est important de définir clairement vos objectifs commerciaux.

Posez-vous les questions suivantes :

• Qu'est-ce que vous cherchez à améliorer ou à changer dans votre entreprise ?
• Avez-vous besoin de données pour atteindre ces objectifs ?
  

Il est important de garder à l'esprit que les données et les tableaux de bord peuvent être très utiles, mais aussi très distrayants. En tant que consultant en données, j'ai souvent été confronté à des entreprises où il fallait passer beaucoup de temps à aligner les objectifs de chacun. Il peut être tentant de vouloir aborder plusieurs initiatives à la fois, mais cela n'est pas efficace si personne n'est chargé de les mettre en place. Il est donc primordial de comprendre vos objectifs avant de vous lancer. Cela vous permettra d'évaluer les données de votre entreprise de manière plus efficace et de les utiliser pour atteindre vos objectifs.

Vos sources de données

Il est étonnant que malgré les améliorations des outils de données tels que ETL et les logiciels de pipeline de données, tels que Airflow, Fivetran, Stitch et Talend, les ingénieurs de données continuent de rencontrer des difficultés pour intégrer toutes les sources de données dans les entrepôts de données de l'entreprise.

La raison est simple : il y a tellement de sources de données possibles. Pour cette raison, lorsque nous développons et modernisons une stratégie de données, nous commençons toujours par identifier quelles données existent et quelles données nous prévoyons de collecter.

Le choix des composants d'infrastructure dépend des données existantes, qui peuvent provenir d'outils tels que Zendesk, Workday, Salesforce et Commerce7, pour n'en citer que quelques-uns.

Il est donc important de passer du temps à comprendre quelles données sont disponibles et quelles données sont nécessaires. Pour cela, la création d'une feuille de calcul Google rapide avec des sources de données, des POC et quelques notes rapides peut s'avérer très utile, que ce soit en interne ou lorsque l'entreprise travaille avec des consultants externes en ingénierie des données.

Comment utiliser vos données

Une fois que vous avez identifié les données dont vous disposez, vous pouvez commencer à examiner les cas d'utilisation de ces données pour votre entreprise.En d'autres termes, il s'agit de définir ce que vous souhaitez faire avec ces données. Dans l'étape précédente, nous avons organisé toutes les différentes sources de données. Dans cette étape, nous cherchons à organiser et éventuellement hiérarchiser les cas d'utilisation de données à traiter en priorité.

Cela commence par examiner tous vos différents flux de travail et où les équipes utilisent actuellement les données.Les entreprises créent probablement déjà des rapports en utilisant des fichiers Excel manuels sur une base quotidienne ou mensuelle, donc l'objectif est de répertorier toutes ces tâches, qu'il s'agisse de tableaux de bord, de rapports ou de tâches futures possibles comme la création de modèles, puis de déterminer leur impact et les décisions qu'elles entraînent.

Dans l'ensemble, il est essentiel de comprendre de manière générale ce que votre équipe souhaite faire avec les données. Cela garantira que vous choisissez le bon stockage de données, les pipelines et les couches analytiques de données. Par ailleurs, votre équipe dispose probablement de sources de données supplémentaires et de cas d'utilisation qui peuvent être réalisés en peu de temps.

En général, la plupart des entreprises ont plus d'objectifs et de cas d'utilisation que ce qui peut être automatisé en quelques sprints. De plus, certains cas d'utilisation pourraient ne pas valoir la peine d'être automatisés ou de développer une infrastructure pour. Ce n'est pas parce que la tâche elle-même est sans valeur, mais il y a tellement d'autres tâches précieuses. Cette étape vous permettra de commencer à définir votre feuille de route des données, qui contiendra tous les objectifs de données de votre entreprise.

La clé ici est de ne pas se précipiter, mais de prendre en compte que chaque étape prend du temps et que les objectifs finaux doivent être alignés sur votre stratégie globale d'entreprise.

Comment stocker vos données

Une fois que vous avez une bonne compréhension de vos données et de leur utilisation, vous pouvez commencer à répondre à votre question de stockage de données. En d'autres termes, comment allez-vous stocker vos données ?

Il existe de nombreuses options pour stocker des données. Les outils de stockage de données tels que Snowflake, Bigquery et Firebolt sont très populaires et ont prouvé leur puissance et leur robustesse, mais de nombreuses start-ups se concentrent sur la création d'une couche virtuelle pour gérer toutes vos sources de données.

Moderniser un socle Data peut paraitre fastidieux et representer un certain volume de travail, notre équipe d'expert sur le sujet peut vous aider à avancer rapidement sur les différentes phases de cette transformation et vous permettre d'activer les données nécessaires à votre croissance.

‍