Newsletter of Avril 19, 2022

Voici une nouvelle édition de ma newsletter sur mes activités de développeur indépendant spécialiste data. Point notable de ces 6 derniers mois, un retour en force du SQL au sein de mes projets, à la fois comme langage de requêtage de données mais aussi de processing.

Kpler: maintenance des raffineries

Toujours en mission pour Kpler (on attaque notre 3è année ensemble), en full-stack depuis l’ingestion (Airflow, AWS S3, Snowflake) jusqu’à la plateforme web (VueJS/Typescript/Graphql).

Ici des données récupérées sous forme d’évènement entre deux dates sont ensuite pivotées et agrégées pour créer des séries temporelles. L’ingestion et le requêtage reposent entièrement sur des commandes SQL, même si celles-ci sont parfois cachées derrière une couche logicielle supplémentaire.

Bridge management system

Le premier projet qui m’a amené au Laos portait sur la maintenance des routes. Quelques années plus tard, je retrouve le Ministère des transports pour implémenter un système autour de la maintenance des ponts.

La première étape est la collecte de données sur le terrain, réalisée à l’aide de formulaires sur tablette : l’inspecteur va y consigner et photographier les dommages constatés sur les infrastructures. La donnée est ensuite ingérée dans l’outil (plateforme web).

Le système va ensuite faire tourner un modèle de détérioration. Les responsables de la maintenance pourront ainsi prioriser les travaux de réparation futurs en fonction du budget de l’année et de l’urgence du besoin.

Le modèle agrège et produit des valeurs pour

• 800 ponts
• 6 scénarios de maintenance
• 50 années de prévision
• chaque travée comprenant une 20aine de points de contrôle

A la fin, ce sont pas moins de 3 000 000 de data points qui sont générés, que postgreSQL gère sans sourciller.

Sur ce projet je m’occupe de toute la partie technique : architecture, implémentation et déploiement.

Training Power BI

Après de multiples reports dus au Covid, j’ai eu le plaisir de dispenser une formation de 3 jours en présentiel aux chefs de projets de la coopération allemande (GIZ) sur l’utilisation de Power BI, avec au programme:

• Création d’un dashboard de monitoring de projet
• Mise en place d’un pipeline opérationnel de collecte de données dans plusieurs provinces
• Définition des bonnes pratiques de data management et visualisation

Super expérience, avec de très bons retours des participants.

Autres projets plus courts

• Debugging et ré-actualisation d’un script R de génération automatisée de rapports pour la collecte de données socio-économiques (GIZ)
• Création de deux cartes pour l’article scientifique “Antimicrobial use and resistance data in human and animal sectors in the Lao PDR: evidence to inform policy”

Voilà pour les nouvelles, je suis toujours à ta disposition si tu sens que je pourrais être de bon conseils sur un sujet qui tombe dans mon domaine de compétence (développement logiciel, data management), et lis avec plaisir les réponses à cet e-mail.

A bientôt,