#11 Data Engineer, un poste clé à l’ère du Big Data
Le numérique occupe une place importante dans le monde, les utilisateurs sont plus connectés qu’auparavant et leurs données sont collectées massivement. Cette époque permet l’émergence de nouveaux emplois, comme celui de Data Engineer. Ce dernier a pour mission principale d'acheminer les données jusqu’aux Data Analysts afin qu’ils puissent les étudier et trouver des tendances pour améliorer les produits et les services de l’entreprise.
Notre Data Engineer, Éric Schäfer, tente de moderniser ces processus en tant que consultant dans les entreprises du Luxembourg. Nous lui avons posé quelques questions sur son métier.
Éric, quel est ton parcours professionnel ?
J’ai suivi une formation en tant qu’ingénieur logiciel dans l’ENIB à Brest. J’ai effectué un stage de fin d’études en tant que consultant développeur chez Airbus DS dans le Sud de la France sur du développement java. Après avoir obtenu mon diplôme, j’ai été embauché chez Sogeti puis j’ai rejoint à nouveau les équipes Airbus DS en tant que consultant.
En 2018, je suis arrivé au Luxembourg et j’ai rejoint l’entreprise 42 consulting en tant que consultant dans l'une des principales compagnies d'assurance luxembourgeoises, Foyer Assurance Luxembourg en tant que Data engineer.
Enfin, c’est en 2019 que Technology Partner m’a embauché en tant que consultant, toujours dans cette même compagnie d'assurance luxembourgeoise, Foyer Luxembourg en tant que Data engineer.
En tant que consultant informatique, quelles sont tes missions quotidiennes chez ton client ?
Principalement, mes missions sont :
- du développement logiciel (principalement scala)
- de l’architecture logiciel
- de l’analyse de bases de données
- du support
- de la formation
Selon toi, pour quelles raisons être Data Engineer est un avantage à l’ère du numérique ?
Le principal avantage est que la grande majorité des entreprises ont compris qu'elles pouvaient utiliser les données stockées pour améliorer leurs processus et leurs produits, de ce fait, elles se sont engagées dans des projets de mise en avant de ces données.
Pour interpréter ces données, des data scientists et analystes sont appelés pour trouver des tendances sur les données. Par exemple : le type de contrat le plus plébiscité / les sinistres les plus courants
Mais il faut pouvoir connecter les systèmes qui stockent les données jusqu'aux programmes produits par les analystes. C'est là qu'intervient le data engineer, il va devoir mettre en place et maintenir toute la « tuyauterie » qui va des bases des données jusqu'au programme des analystes.
Globalement, dans son travail il devra :
- Analyser les bases de données,
- Mettre en place des zones de stockage intermédiaires (datalake et datawarehouse),
- Mettre en place les outils et liens entre chaque zone du système,
- Industrialiser les programmes des analystes pour les insérer dans le pipeline,
- Monitorer l'exécution de tous les traitements, etc.
Quelles sont les compétences requises pour être un bon Data Engineer ?
Selon mon point de vue :
- Technique
- Connaitre 1 ou 2 langages de programmation (java, scala, python)
- Maîtriser les bases de données SQL et NoSQL
- Connaître le fonctionnement des systèmes distribués et un framework (MapReduce, Spark ...)
- Connaître un outil d'orchestration (airflow, oozi ...)
- Techniques optionnelles
- Des connaissances en data analysis (statistique avancée)
- Des connaissances en machine learning
- Comment faire des tableaux de bord
- Compétences
- Savoir collaborer avec des équipes métiers et techniques
- Pouvoir vulgariser le fonctionnement des systèmes.
Dans quel type de société peut-on travailler lorsque l’on fait ton métier ?
Toute entreprise qui analyse ses données pour connaître l’évolution de ses services et produits. Au Luxembourg, ce sont principalement les entreprises de la place (assurance et finance) qui recherchent le plus de data engineers.
Ecrit par Eric Schafer & Charline Pennisi