Nouvelle MOMENTUM

Une solution BI clé en main par MOMENTUM TECHNOLOGIES

BTB, voulant automatiser son système décisionnel et rester en phase avec les avancées technologiques, a sollicité l’expertise de Momentum Technologies pour mettre en place une nouvelle architecture infonuagique en intelligence d’affaires. Cette solution clé en main vise à optimiser son temps et ses coûts tout en étant robuste et sécuritaire à long terme.

BTB, est une fiducie de placement immobilier qui est consciente de l’importance de la donnée et de son puissant impact sur la prise de décisions stratégiques. C’est pourquoi BTB s’est dotée, depuis plusieurs années déjà, d’un système complet de reporting.

Cependant, ce système a présenté des limites puisqu’il a nécessité beaucoup d’actions manuelles, ce qui a augmenté la marge d’erreur et a entrainé un gaspillage de temps et d’énergie important pour l’entreprise.

Des actifs BI lourds et peu évolutifs

BTB utilisait des technologies on-premise pour gérer sa solution BI basée sur une Base de données relationnelle SQL Server.

Cette base de données était actualisée une fois par jour à partir de la base de données opérationnelle de son ERP et à travers des scripts SQL générés manuellement. De plus, des rapports Power BI exploitaient ensuite cette même base de données.

Les besoins en intelligence d’affaires chez BTB

BTB a choisi la technologie Azure qui permettrait à son personnel informatique de se concentrer sur ses activités sans avoir à se soucier des capacités internes ou de la maintenance d'équipements surtaxés ou sous-utilisés. La plate-forme permettrait de déployer rapidement et facilement les applications existantes de BTB avec peu ou pas de temps d'arrêt.

BTB, qui avait besoin de résoudre les inconvénients de temps et de coûts de leur ancien système, s’est donc tournée vers Momentum, qui est un partenaire Gold de Microsoft, pour l’aider à résoudre les inconvénients présentés et bénéficier d’une nouvelle solution BI cloud qui:

  • Permet de traiter les données de la base de données on-premise, des fichiers Excel, des listes SharePoint et toute autre source de données ;
  • Stocke les résultats des traitements dans un entrepôt de données multidimensionnel optimisé pour l’analyse ;
  • Garde l’historique des sources ingérées ;
  • Assure l’historisation des données chargées ;
  • Offre une solution de reporting et dashbording dynamique, performante et facile d’utilisation ;
  • Offre une solution robuste, sécuritaire et évolutive.

Une nouvelle solution BI mise en place par Momentum Technologies

La solution mise en œuvre par Momentum Technologies permet de traiter les données, quelles que soient leurs sources. Les données brutes et raffinées sont stockées dans un lac de données et tous les résultats des traitements ETL sont entreposés dans un entrepôt de données multidimensionnel qui est optimisé pour l’analyse basée sur Azure Synapse.

Afin de mettre en place la solution, plusieurs technologies ont été utilisées. Les infrastructures infonuagiques Microsoft ont été exploitées avec des produits en mode SAAS (Software as a service) pour combler les différents besoins d’intégration, de conservation et d’exploitation des données.

Voici la liste des composantes technologiques qui ont été proposées par Momentum Technologies :

  • Azure Data Lake Gen2: stockage des données dans Azure compatible HDFS (Hadoop Distributed File System). Les données sont compressées pour optimiser le stockage et minimiser les coûts. Le lac de données contient deux zones de stockage:
  • Zone Bronze: données brutes provenant des différents systèmes et fichiers sans aucune altération.
  • Zone Argent: données nettoyées, harmonisées et conformes.
  • Azure Data Factory: Ingestion et traitement des données.
  • Azure Synapse Analytics: Entrepôt de données.
  • Power BI Service: Analyse, visualisation et restitution de l’information sous forme de rapports et tableaux de bord.
  • Azure Active Directory: Annuaire d’entreprise.
  • Azure Key Vault: Stocker les informations de sécurité (comptes de services, services principaux, clés de chiffrement).

 

Azure : une gouvernance robuste et sécuritaire

Pour assurer la gouvernance, Azure propose des mécanismes et des processus pour garder le contrôle sur les différentes applications et ressources. Azure offre un moyen de gérer efficacement l’accès, les stratégies et la conformité de ses abonnements.

Les groupes d’administration Azure fournissent un niveau d’étendu au-delà des abonnements. Les abonnements sont organisés en conteneurs appelés « groupes d’administration » auxquels il est possible d’appliquer des conditions de gouvernance. Tous les abonnements d’un groupe d’administration héritent automatiquement des conditions appliquées à ce groupe d’administration.

Dans le cas de BTB et afin de minimiser les coûts, le choix de l’architecture Back-end a été fait pour n’utiliser qu’un seul groupe d’administration avec un abonnement. Les différents environnements sont gérés par des groupes de ressource.

Le groupe d’administration permet de gérer les accès, les politiques et la conformité (évite de les gérer de façon granulaire s’il y a plusieurs abonnements). Les règles définies s’appliquent aux groupes de ressources inclus dans les groupes d’administration.

Une solution maintenable et évolutive

La première étape de la solution mise en place consistait à ingérer les données issues de toutes les sources. Les pipelines d’ingestion d’Azure Synapse Analytics sont conçus en utilisant plusieurs services liés, un pour chaque source de données. Ces données brutes ont ensuite été stockées dans un conteneur du datalake (Zone bronze) afin de conserver l’historique et pouvoir reproduire la constitution du modèle de données en cas d’incident.

En se basant sur les règles de gestion fournies par BTB, un modèle décisionnel en étoile a été mis en place : les tables physiques créées sont chargées dans le pool SQL dédié via des pipelines de Synapse Analytics. Les pipelines d’ingestion, de chargement des données, de démarrage et d’arrêt du pool SQL sont optimisés pour minimiser le temps d’exécution et ainsi réduire les coûts inerrants aux traitements, il s’agit là d’une expertise en soit que Momentum technologie détient et maitrise.

Un Git a été implémenté pour gérer les différentes versions du code par des branches de développement. Ceci a permis aux développeurs de paralléliser leurs travaux tout en assurant l’évolution du code. Enfin, des pipelines Devops ont été créés afin de migrer le code entre les différents environnements.

Une solution sécurisée

Pour la partie Reporting, le choix a été fait d’utiliser Power BI Service avec des licences PRO tout en intégrant des stratégies de gestion d’utilisateurs et des espaces de travail. Pour ce faire, trois types d’utilisateurs ont été catégorisés. Chaque utilisateur peut avoir jusqu’à 4 rôles différents dans les espaces de travail:

.

 

De plus, pour renforcer la sécurité, il y a eu Activation de l’accès conditionnel sur le service BI et Azure synapse.

 

Des tableaux de bord et des rapports conviviaux pointant sur l’entrepôt de données décisionnel ont été mis en place pour rendre accessibles les données pertinentes de BTB que ce soit sur la version Web, mobile, ou même sur Teams. Ceci permet aux gestionnaires de BTB d’avoir une idée plus précise des biens gérés et prendre les meilleures décisions en temps et lieu voulus.

 

 

Conclusion : Une économie de coût et de temps

Grâce à sa bonne stratégie, BTB a réussi à avoir son propre système décisionnel 100% automatisé. Cette approche lui a permis de réduire les coûts et gagner en termes de temps de traitement, tout en adoptant une technologie de pointe efficace, sécurisée et facilement maintenable.

Après la réussite de cette expérience concernant son parc immobilier, BTB a choisi de faire confiance, encore une fois, à l’expertise de Momentum Technologies afin d’enrichir son nouveau système BI par d’autres domaines d’affaires notamment le domaine financier.

 

Rédaction par Mohamed Amine Ben Romdhane Expert BI