L’architecte data préconise les solutions techniques à mettre en œuvre dans les projets nécessitant la collecte, le stockage ou l’utilisation de données en masse (big data). Il·elle intervient ainsi sur de nombreux projets et met en place des solutions génériques pour faciliter le travail des équipes de développeurs. Cela lui permet notamment d’avoir une vision globale des données de l’entreprise. Travaillant dans un écosystème qui évolue rapidement, il·elle assure également la veille technologique autour du big data.

COMPÉTENCES TECHNIQUES DEMANDÉES

Activités Principales

Le·la data engineer est un·e développeur·euse informatique qui a pour mission de mettre en place la collecte et la mise à disposition des données au sein de l’entreprise. Il·elle est également en charge d’industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords,intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent. Les data engineers ont la possibilité de se spécialiser techniquement, même si cela ne représente pas la majorité des cas. Les champs de spécialisation touchent à l’intelligence artificielle (auquel cas les data engineers qui s’occupent d’industrialiser de tels modèles sont appelés machine learning engineer) ou bien dans les techniques de stream (temps réel). Pour ce qui concerne l’industrialisation de modèles de machine learning, ils·elles doivent notamment avoir des connaissances en statistiques et mathématiques. Aussi, du fait de leurs compétences dans le champ de la manipulation des données mais aussi parfois des statistiques, les data engineers peuvent avoir à inter- venir sur la partie traitement de données lorsque l’entreprise qui les recrute ne dispose pas de compétences en data science. Les entreprises n’embauchent pas toujours de data engineers en interne. Un certain nombre d’entre eux·elles est recruté via des sociétés de services et ils·elles doivent, de fait, pouvoir s’adapter rapidement aux contextes de travail dans lesquels ils·elles interviennent pour remplir leurs missions. Dans ce cas-là, ils·elles peuvent aussi être en relation directe avec des commerciaux afin de calibrer en termes de coûts et délais de livraison, leurs interventions.

COMPETENCES TECHNIQUES DEMANDEES

ACTIVITÉS PRINCIPALES

ACTIVITÉS ÉVENTUELLES

Le Data Engineer développe, construit et maintien des infrastructures de données d’un point de vue système et sécurité. Il s’assure de la collecte, du stockage et de l’exploitation des flux de données répondant aux enjeux de l’entreprise. Il est garant de l’accès qualitatif des sources de données qui viennent alimenter le Data Lake afin d’en faciliter l’exploitation par les équipes de Data Science. Il définit également la structure des métadonnées.

ACTIVITES

COMPETENCES

Anime la communauté technique qui met en œuvre les dispositifs prévus ou nécessaires à l’application de la politique de la donnée de l’entreprise.

Diffuser la culture « data » dans l’entreprise

Homogénéiser l’ensemble des développements

Mettre en place des outils génériques utilisables sur l’ensemble des projets

Préconiser aussi des solutions techniques à mettre en place dans le stockage des données (en termes de technologie ou de service utilisé – cloud ou serveur local –, dimension des serveurs, mise à disposition des données, gestion des accès, optimisation des requêtes, etc.)

Préconiser des solutions techniques permettant de s’engager sur une qualité et une continuité de service selon les contraintes (par exemple : temps de réponse de l’application, etc.)

Préconiser notamment des solutions techniques à mettre en place dans la collecte des données (en termes de transfert, format, fréquence d’actualisation, sécurité, etc.)

Structure les bases de données (sémantique, format, etc.).

Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures.

Assurer un contact avec les éditeurs de solution pour suivre les nouvelles fonctionnalités ou la gestion des anomalies

Automatiser la création de tableaux de bord aux équipes métiers (envoi de fichiers via des applications dédiées)

Conçoit les solutions permettant le traitement de volumes importants de flux de données et ceci en toute sécurité.

Développer des solutions techniques de stockage de la donnée (Hadoop)

Développer les solutions techniques de collecte de la donnée via des API

Propose des évolutions pour les infrastructures et solutions de données en place.

Assure la maintenance des différentes applications données (Data) déployées en production et des infrastructures.

Assure la supervision et l’intégration des données de diverses nature qui proviennent de sources multiples. Vérifie la qualité des données qui entrent dans le Data Lake et s’assure de leur sécurité.

Assurer le suivi de production et la maintenance

Capte et stocke, en toute sécurité, les données (structurées ou non) produites dans les différentes applications ou venant de l’extérieur de l’entreprise.

Documenter cette donnée de façon fonctionnelle (schéma d’architecture, etc.)

Établir les spécifications techniques à partir de l’analyse des besoins

Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues

Mettre en place et maintenir les batchs, c’est-à-dire les automatisations d’une série de traitement

Nettoie la donnée (élimination des doublons…) et la valide pour une utilisation aval.

Réaliser les tests unitaires et d’intégration

Recueillir les attentes utilisateurs et définir les différentes briques qui vont répondre à leurs besoins

Recueillir les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte et stockage de la donnée

Reporter l’activité auprès du chef de projet

Cartographie et documente les sources de données.

Cartographier les données de l’entreprise et mettre en œuvre la construction d’une plateforme de données (data lake, etc.) si celle-ci n’existe pas déjà

Contribue à la gestion des référentiels de données.

Écrire la documentation relative aux bases de données (règles de gestion, dictionnaire des variables, etc.)

Gérer, maintenir et documenter de multiples bases de données (via l’importation de données externes en open data ou de données internes par exemple)

Être garant de la conformité des solutions développées au regard du RGPD

Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD.

Assurer une veille technologique sur les outils big data

Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables.