Comment orchestrer votre marketing autour des personnes

Mission et principaux résultats

Tout au long de mon stage au sein de Cliris,j’ai pu participer à diverses missions qui étaient toutes en rapport avec le pôle Business Intelligence. Dans le cadre de son activité, Cliris a développé différents systèmes pour récupérer des informations du magasin comme le passage de personne devant un rayon ou devant une vitrine, au moyen de sonde (caméra, détecteurs de chaleur,etc.) Le but est de permettre aux clients de Cliris de croiser ses données avec des informations sur les ventes (CA,vendeurs,promotions…) pour optimiser leurs magasins.

Tout un processus a été mis en place au moyen de scripts ETL pour récupérer les informations, les filtrer, les agréger et les restituer dans un cube de données sur lequel est branché un outil d’analyse mis à disposition des clients de CLIRIS. La volumétrie de plus en plus importante, la conception par cliris de nouveaux produits, l’augmentation du nombre de clients oblige sans cesse le service BI à améliorer le système. Afin de donner un aperçu clair et net des missions exécutées pendant ces 4 mois de stage au sein de CLIRIS, on va partager en deux parties les missions que j’ai faites pendant le stage: tout d’abord les tâches quotidiennes réalisées au niveau de la production et d’autre part le projet sur lequel j’ai participé qui est la conception d’une application de suivi des clients de Cliris.

Tâches quotidiennes :

• Participation à la mise en place de nouveaux formats de restitution de la donnée (pushmails clients, format mobile,etc).

• Participation à la mise en place de nouveaux produits axés Big Data.

• Normalisation des différents ETL clients de remontée des informations vers le cube.

• Amélioration du traitement des agrégats et du temps de traitement des données. Développement d’un outil de suivi des clients de CLIRIS

• Étude de faisabilité de l’application

• Réalisation d’un cahier des charges

• Développement de l’application : Front et Back-end

• Test et déploiement de l’application Après ces 4 mois de stage, l’application a été réalisée et elle est opérationnelle en ce moment.

Elle facilite le quotidien de l’entreprise et permet surtout de faire un suivi efficace de chaque client. D’autre part, étant donné que l’entreprise est actuellement en quête de recherche sur les outils big data au niveau du stockage de leur donnée ; cette dernière a été élaborée à partir des tâches quotidiennes qu’on m’a confiées comme les imports et exports des données vers un stockage de donnée plus performant qui est le big data.

Dans le cadre de mes études à l’École Supérieure d’Ingénieur Léonard de Vinci, il nous est demandé d’effectuer un stage pour une durée de 4 à 5 mois dans une entreprise. J’ai adopté de faire mon stage dans une petite entreprise qui est CLIRIS groupe. J’ai particulièrement choisi de travailler dans une petite entreprise, parce que je trouve qu’elle me permet d’être polyvalente et aussi de me fournir plus de compétences avant de travailler dans une grande entreprise.

D’autre part, la mission que l’entreprise m’a proposée correspondait avec les formations que l’ESILV m’a données durant les 4 années passées au sein de l’école ; cela me permettait donc de mettre en pratique les bases théoriques acquises.

En effet, ma mission était de développer une application qui permet de faire un suivi de client de l’entreprise, mis à part les tâches quotidiennes que l’on m’a assignées durant les 4 mois de stage. Comme je poursuis mes études dans le domaine de l’informatique big data et objets connectés, ce fut une opportunité pour moi de mettre en application mes compétences acquises lors de mon cursus à l’ESILV et d’enrichir mes expériences dans ce domaine.

J’ai donc choisi CLIRIS comme entreprise pour approfondir mes compétences et en savoir un peu plus sur le métier que je souhaite exercer à la fin de mon cursus scolaire. Comme précédemment cité, CLIRIS est une entreprise créée en 2006 située à Courbevoie. C’est une entreprise qui a pour activité le comptage et l’analyse de flux dans les différents points de ventes, centres commerciaux et lieux en tout genre.

Elle propose un ensemble de progiciel d’aides à la décision à ses clients, afin que ceux-ci puissent optimiser leur point de vente et les effectifs des personnels, et adapter leurs stratégies marketing. Le stage que j’ai effectué s’est déroulé du 8 avril au 8 aout 2019.

Lors de ces 4 mois en entreprise, j’ai travaillé au sein du pôle Business Intelligence de CLIRIS. On m’a assigné diverses tâches, mais elles étaient toujours en rapport avec ce pôle. Cette dernière a pour mission principale de faire tout ce qui est traitement de données au sein de l’entreprise. Lors de l’exécution de ce stage, j’ai pu constater que CLIRIS est toujours en quête de nouvelles technologies et de nouvelles solutions.

Une problématique évidente a donc été formulée pour ce rapport de stage : quelles sont les solutions que Cliris peut fournir pour répondre au mieux aux attentes de ses clients? La problématique étant posée, il est utile d’annoncer le plan de développement du présent rapport de stage.

Сet ouvrage sera structuré comme suit : Description des missions lors du stage, dans lesquelles nous aborderons : la monographie de Cliris , les missions proprement dites, à savoir:

• Le cadre

• Le contenu

• Les actions en entreprise

• Les résultats obtenus

• Les difficultés et solutions

DESCRIPTION DE LA MISSION

Monographie de l’entreprise : Cliris a vu le jour en 2006 et elle est située à Courbevoie. C’est une entreprise qui a pour activité le comptage et l’analyse de flux dans les différents points de ventes, centre commercial, parking et lieux en tout genre. Le service fourni consiste principalement en une mesure de flux entrant corrélé ensuite avec différents indicateurs comme le chiffre d’affaires, le nombre de ventes, les plannings des vendeurs, etc. dans le but de fournir un pilotage efficace des activités.

L’entreprise est composée de cinq différents départements :

• Le pôle ressource humaine : S’occupent de la gestion de différents contrats de travail, du payroll (le total des sommes des salaires à percevoir par les salariés d’une entreprise), de la recherche de collaborateurs compétents, négociation des salaires. Son but est que les salariés s’épanouissent au sein de l’entreprise et que les objectifs de l’entreprise soient atteints.

• Le pôle marketing et communication : Accompagne l’entreprise dans la performance et le résultat commerciaux. Effectue les veilles concurrentielles. Promouvoir l’image de l’entreprise. S’occupent des démarches comme la recherche et la fidélisation des clients, et différents partenaires.

• Le pôle support et production : Applique et suit la mise en place des infrastructures pour le comptage (caméras, box client, etc.). Il assure que les caméras fonctionnent correctement et soient placées au bon endroit pour optimiser le comptage sans gêner les activités habituelles des passants. Il assure aussi un service client en cas de problème au niveau des matériels déployés par Cliris.

• Le pôle Recherche et Développement (R&D) : S’intéresse aux nouvelles technologies et à l’industrialisation de celles-ci afin d’optimiser le comptage de flux et aussi de fournir de nouveaux services aux clients. Ce dernier élabore la solution qui permet de détecter les passants, les voitures en utilisant les vidéos captées par les caméras de comptage. Il utilise plusieurs technologies de détection et de suivi d’objet notamment le deep learning.

• Le pôle Business Intelligence : Se charge de récolter depuis le box client, les données produites par la solution de détection réalisée par le pôle R&D. Il s’occupe d’agréger et structurer les données, de les analyser et les convertir en indicateur de performance exploitable qui aident à la prise de décision des clients.

Organigramme de l’entreprise : Les activités : Cliris propose un ensemble de progiciels d’aide à la décision et à l’évaluation de l’impact des stratégies marketing en proposant aux acteurs de la distribution des tableaux de bord personnalisés et inspirés du web Analytics. Et à partir de ces nouvelles mesures d’analyses qu’ils permettent d’améliorer leurs performances.

Ces progiciels sont des solutions disponibles en mode SaaS (Software as a Service) destiné aux chaines de magasins de vente aux particuliers, et ils leur permettent de tirer le meilleur profit de :

● L’impact des vitrines,

● Les flux entrants et passants à proximité des points de vente,

● Le cheminement des clients,

● Le nombre des tickets vendus.

En effet, Cliris offre une technologie d’analyse vidéo, permettant une importante précision quelle que soit la configuration du magasin, il s’agit d’un outil d’analyse des données compatible avec les outils destinés à nettoyer et agréger les données afin de créer des indicateurs de performance en offrant un monitoring et des prestations d’analyse efficaces.

Le système d’information de Cliris est globalement organisé de la manière suivante :

● La collecte des données Les évènements auprès des magasins sont collectés par des miniserveurs appelés boxes auxquels sont branchés des capteurs et des caméras. Ces boxes traitent et analysent les données acquises pour produire des évènements internes au système central. La majorité des évènements remontés sont des mesures de passage ou d’entrée/sortie dans un magasin.

● Le traitement des évènements Une partie spécifique du SI s’occupe de nettoyer les évènements fournis par les boxes et une autre de les agréger et de les croiser avec des évènements externes tels que les données de vente fournies par les magasins.

● La Restitution des informations Un portail web permet aux entreprises clientes de CLIRIS de consulter des indicateurs spécifiques suivant des critères variés tels que les régions, le magasin, le rayon, la période, et enfin de les analyser en les croisant dans des rapports.

Les clients : Nombreux sont les établissements, magasins, centres commerciaux et villes qui font confiance à Cliris pour identifier le potentiel de leurs points de vente.

Parmi ses clients se trouvent :

● Des distributions spécialisées : Alain Afflelou, Café coton, France loisirs, Lollipops Paris, Bergère de France

● Des grands magasins : le bon marché, Lagardère Travel Retail

● Le luxe : Guerlain, Acha Mode, Buy Paris duty free, Le bon marché

● Centre commercial : Montparnasse rive gauche, GBH (Groupe Bernard Hayot), Promenade Saint-Catherine, REDEVCO

● Centre-ville : Ville d’Antibes, Ville de Blois, Rue de la république Lyon Le projet phare La Solution Cliris ou LSC reste le projet phare de l’entreprise.

À l’aide de la mesure des flux, l’identification du potentiel de différents points de vente sera facile et à partir de cela nous pouvons déterminer :

● Les profils des consommateurs,

● Le comportement des clients,

● Le fonctionnement de l’équipe de vente pour optimiser son organisation Le portail client, qui permet la personnalisation des tableaux de bord en fonction des besoins des clients, reste un outil très efficace et rapide grâce à l’intégration des données au Big Data. Figure 1- Portail clients

Mission : Dans cette partie de l’ouvrage, nous parlerons des missions entreprises pendant ces 4 mois en entreprise. Pour un rapport de stage fluide et bien structuré, nous allons parler des points importants suivants : le cadre, le contenu, les actions entreprises, les résultats obtenus, les difficultés et solutions. Rappelons que le but de la mission étant de répondre à la problématique suivante : “ Quels sont les outils ou solutions que Cliris peut fournir pour répondre au mieux les besoins de ses clients?“Et de trouver une solution adéquate.

Cadre de la mission : Rappelons que le but principal de ce stage est d’aider l’étudiant à avoir beaucoup plus d’expérience dans son parcours universitaire et de lui faire appliquer les bases théoriques qu’il a apprises au sein de l’école, de l’aider à mettre en pratique ses compétences au sein d’un projet qui est de niveau ingénieur.

Dans mon cas étant dans la branche informatique Big data et objet connecté, il était primordial de faire un stage dans une entreprise qui est axée sur l’informatique.

C’est dans cette perspective que j’ai opté pour un stage dans une entreprise dans le domaine de l’intelligence artificielle, big data, développement application qui soit à la fois un leadeur dans son domaine, qui présente des infrastructures modernes et est apte à former et prendre des stagiaires. Après de nombreuses recherches et recoupement des informations en fonction de mes besoins, j’ai donc opté pour Cliris.

Après des échanges avec le responsable du recrutement et le directeur général, l’équipe de Cliris a accepté ma demande de faire un stage dans leurs locaux. C’est ainsi que j’ai commencé ma mission de stagiaire dans cet établissement.

La mission proprement dite, qui s’est déroulée du 8 avril au 8 août 2019, a été effectuée au sein du siège de Cliris à Courbevoie. Ma mission de stagiaire a donc été menée dans le pôle Recherche et Développement Business Intelligence plus précisément dans le département Business Intelligence.

Pendant le premier mois de stage, on m’a assigné de travailler au sein d’un groupe de projet pour leur aider à faire la mise en production par exemple la réalisation des tableaux de bord de chaque client de Cliris, la migration de donnée vers big data, la réalisation des pushmails clients et les traitements des données.

Et pendant les 3 derniers mois de stage, on m’a assigné de travailler sur une application qui permet de faire un suivi de chaque client de Cliris. Il est à noter que Cliris est une entreprise en cours de développement, elle possède des locaux moderne et informatisé, confortables pour les collaborateurs qui y travaillent.

Cela a eu pour conséquence de faciliter mon stage au sein de l’équipe de la recherche et développement , business intelligence. Notons qu’au sein du département Business Intelligence, il existe 2 développeurs et un assistant qui ont chacun leur rôle à jouer pour le bon fonctionnement du rouage de l’entreprise.

Le contenu de la mission: Le projet Anomalie Notifyer: Il s’agit application qui permet de détecter les anomalies de chaque clients. En effet , la détection des dysfonctionnements de comptage est vitale pour fournir des données de qualité aux clients.

Il est nécessaire de comparer les données entre des périodes similaires afin de détecter les éventuels dysfonctionnements du matériel ou du logiciel. C’est pour cela que l’entreprise a envisagé de faire une application qui permet de répondre à ce problème et surtout pour fournir des données fiables aux clients qui est l’anomalie notifyer.

L’anomalie notifyer existait déjà avant, mais c’était sous forme d’un fichier Excel exporté à partir d’une base de données qui contient toutes les informations de chaque client. Pour éviter à le faire manuellement, l’entreprise à opter de faire une application qui permet de visualiser chaque client de manière plus interactive.

Action en entreprise : Le projet Anomalie Notifyer: Il est à noter que ce projet a été mené par moi-même avec l’aide de mon maitre de stage. Tout d’abord, avant la réalisation de l’application, on m’a demandé de faire une étude de faisabilité du logiciel en faisant un cahier des charges et de me familiariser avec les données et les outils sur lequel je vais travailler. a- Langage et outils utilisés : L’application a été développée en Java pour le Back end et en JavaScript pour le front end en utilisant comme framework Spring et React.

Le choix du langage a été imposé par l’entreprise parce que la plupart de leurs projets sont codés en Java, C, Python et C++.J’ai donc choisi le langage Java qui est un langage sur lequel je suis à l’aise au cours de mes formations à l’ESILV. Concernant le déploiement du projet, l’application a été déployée sur le serveur interne de l’entreprise. Pour cela, j’ai utilisé comme outils : gitlab et jenkins qui permet à faciliter l’intégration continue de l’application. Et enfin à propos des stockages de données de l’entreprise, cette dernière utilise PostgreSql comme outil.

L’application a été donc interagit avec PostgresSql . b- Architecture globale de l’application : On m’a demandé d’utiliser le style d’architecture microservice pour réaliser l’application, cette architecture est déjà adoptée par la plupart des applications de Cliris; et c’est pourquoi après avoir fait des recherches sur cette architecture et guidées par mon maitre de stage, j’ai pu voir l’avantage d’utiliser cette architecture.

En effet, le style microservice est avantageux pour l’entreprise parce que cela permet de résoudre le problème au niveau de la complexité de l’application, d’optimiser les ressources consacrées au développement et aux applications. L’architecture se présente sur la figure suivante : Il s’agit donc de faire une application qui est divisée en une série de services indépendants entre eux. Chaque service prend en charge une série de fonctionnalités distinctes.

Pour le cas de l’Anomalie Notifyer, j’ai réalisé 4 séries de microservices et chacun d’entre eux possède différentes fonctionnalités : Le fait que les services sont indépendants entre eux permet de faciliter le déploiement de l’application, les mises à jour et les nouvelles fonctionnalités de chaque service seront plus faciles à faire. Les tâches quotidiennes en entreprise : Mis à part le projet Anomalie Notifyer, mon maitre de stage m’a confié d’autres tâches, mais généralement, les missions étaient toutes au sein du pôle business intelligent et tournaient autour du traitement et de la gestion de données. A- Participation à la création des pushmails clients: Les clients de Cliris ont aussi besoin pour un usage interne à leur organisation d’avoir une synthèse et comparatif des données hebdomadaires et mensuelles afin de suivre la performance du magasin ou du centre commercial et d’en tirer des solutions afin d’adapter leur stratégie d’entreprise.

Le pushmail est donc un rapport envoyé aux dirigeants des magasins contenants des analyses sur leurs activités( mesures de flux, etc…). Il se présente sous forme d’un fichier html et qui sera converti en pdf pour être envoyé aux clients de Cliris.

1. Les étapes de création du pushmail :

a. Études/Audit (analyser les possibles mesures nécessaires) : À partir de la base de données du client, il faut en déduire les mesures possibles à réaliser. Demander ou orienter le client sur les possibles mesures dont il a besoin dans son rapport.

b. Planification réalisation pushmail : Après avoir déterminé les besoins du client, il est nécessaire de faire un planning sur le temps estimé pour la création du premier jet de pushmail, afin de gérer les autres projets, dont certains peuvent être retardés ou doivent être réalisés en même temps que le pushmail. Cette planification permet de prévoir le temps de travail nécessaire qui comprend la réalisation de la maquette et des allers-retours pour la validation de celle-ci, le développement du pushmail, et son automatisation.

c. Réalisation maquette pushmail : La réalisation de la maquette du pushmail est une étape très importante, car elle permet en peu de temps de donner un aperçu visuel sur le contenu du futur pushmail avec les potentielles mesures/analyses et agencement. Cela permet de se focaliser sur l’aspect esthétique et l’expérience utilisateur.

d. La validation de la maquette par le commercial : Avant le lancement de tout développement, il est nécessaire de faire valider la maquette par le commercial, ainsi que lui expliquer les contraintes et possibles difficultés au développement du pushmail, afin que le commercial puisse réorienter le client et réanalyser ses besoins, dont le but de satisfaire le client et de faciliter le travail des développeurs.

La validation de la maquette permet donc de s’assurer que le contenu du pushmail correspond aux attentes du client, et qu’en même celui-ci est réalisable par les développeurs.

e. Développement Front-end : Il s’agit ici de transformer la maquette en éléments avec lesquels il est possible d’interagir. Pour cela, on utilise plusieurs technologies comme : · HTML : C’est le langage de balisage et format de données qui est conçu pour représenter les pages web. Il s’agit de la dernière évolution des standards HTML. Le HTML permet d’insérer des différents éléments du pushmail (textes, images, graphes, tableaux, etc..) et et de l’afficher sur une page web. · CSS3 (feuilles de styles en cascade) : Associé au HTML5, c’est un langage informatique qui permet d’arranger le contenu HTML, de modifier la couleur, l’image de fond, marges, taille de texte. Il permet donc de mettre en forme le contenu HTML du pushmail. · D3.js (documents pilotés par les données) : Le D3.js est une bibliothèque du langage informatique JavaScript qui permet de manipuler et de créer des visuels à partir des données dans un navigateur web. Pour cela il utilise les normes HTML, SVG (Graphique Vectoriel Adaptable) et CSS. C’est donc grâce à celui-ci que l’on peut créer des graphes et courbes du pushmail à partir des données (mesures de flux, chiffre d’affaires, etc..) du client.

f. Développement Back-end Après le développement de l’aspect graphique du pushmail avec les différents technologies front-end, il est nécessaire de développer les fonctionnalités de celui-ci, qui permettent le remplacement des données et l’envoi du pushmail au client. Le développement back-end est la création des différents codes qui seront exécutée par le serveur. · SQL Le SQL est un langage standard utilisé afin de manipuler et récupérer des données dans les bases de données.

Il permet la création des requêtes SQL correspondant aux différentes mesures du pushmail. · Python : Python est un langage de programmation multiplateforme, qui nécessite une bonne structuration du code, qui est très utilisé dans l’analyse des données. Il permet dans la création du pushmail, de récupérer les résultats des requêtes SQL et de les mettre dont le format D3.js utilisé pour la génération automatique des graphes, et courbes, et le remplacement des données dans le HTML.

g. Création fichier de configuration : La création du fichier de configuration permet de paramétrer facilement, le serveur et base de données client à interroger, ainsi que de spécifier les adresses mail des destinataires qui recevront le pushmail. h. Automatisation envoie pushmail avec ‘cron’ Cron est un programme sur les systèmes d’exploitation UNIX qui permet d’exécuter automatiquement des logiciels ou des scripts à des dates et cycles définis à l’avance. Cela permet ici, d’automatiser la tâche d’exécution du script python, qui va générer le pushmail et par la suite de l’envoyer aux différents destinataires.

On a un exemple d’un pushmail ci-après : Pour des raisons de confidentialité,certaines données ne peuvent pas être montrées dans ce rapport. B- Migration des données vers le Big data : Une des différentes tâches qui m’ont été confiées est la migration des données de l’entreprise vers le Big Data.

J’ai participé à l’exécution des requêtes SQL, noSql qui permettent de migrer les données vers un stockage plus performant.

1. Intérêts : a. Au niveau de tailles et volumes de données : Étant donnée la taille conséquente des données de clients accumulées depuis plusieurs années, et la réception d’environ 3go de données par jour, ce qui donne environ 1To de données par an, font que l’entreprise est submergée de données croissantes de différents sources et types. Les systèmes de stockage utilisés ne sont plus efficaces afin de gérer et stocker les données clients. Afin de résoudre cette problématique, l’entreprise a opté de faire une migration des données vers le big data.

b. Au niveau de la classification des données : Le big data permet de bien classifier et gérer les données :

• Les données structurées : Les données provenant des bases de données, les fichiers csv, et xls, etc…

• Les données semi-structurées : Les e-mails, les fichiers logs, les documents textes, etc…

• Les données non structurées : Les fichiers images (png, jpg, etc..), les fichiers vidéos (mp4, mov, etc…)

c. Au niveau du stockage et l’analyse de données. L’usage des techniques traditionnelles de stockage de données nécessite un investissement conséquent d’argent, car il faut augmenter continuellement l’espace de stockage de données et puissance de calcul de la machine utilisée pour stocker les données (scalabilité verticale : ajout de processeurs, de rams, de disques).

L’usage du big data permet donc la scalabilité horizontale qui consiste à ajouter de nouvelles machines afin d’aider la première à stocker et à analyser les données, ainsi que de garder des sauvegardes de données en cas de défaillances des autres machines.

2. Choix effectués et les raisons :

а. Le choix : Hadoop est la solution bigdata choisie par l’entreprise. Cette solution permet de stocker, gérer et analyser de gros volumes de données efficacement.

b. Les raisons : • Cout d’investissement : Hadoop est un système peu onéreux, car il ne nécessite pas l’utilisation de machines spécifiques pour être implémenté. On peut l’installer sur n’importe quel ordinateur.

• Utilisation d’un large ‘Cluster’ de nœuds : Un Cluster hadoop qui est un ensemble de machines peut être composé de plus de 1000 nœuds (machines). Ce qui permet d’avoir beaucoup plus de puissance de calcul et une meilleure capacité de stockage pour le client.

• Traitement parallèle des données : Avec Hadoop, grâce aux différents nœuds dans le cluster, les données peuvent être traitées simultanément, ce qui donne un gain de temps considérable.

• La distribution et gestion des de données : Hadoop s’occupe de repartir les données et les sauvegardes de données sur les différents nœuds du cluster.

• Gestion automatique des défaillances : Dans le cas où un nœud (machine) dans le cluster est endommagé ou ne fonctionne plus. Hadoop remplace le nœud défaillant par un autre qui récupère toutes les configurations de l’ancienne.

• Cluster hétérogène : Les différents nœuds du cluster peuvent utiliser différentes configurations de machines et différents systèmes d’exploitation. Exemple : dans notre cluster, nous avons 4 machines (IBM, INTEL, AMD, HP) avec de différents systèmes (UBUNTU, FEDORA, CENTOS, RHEL).

• Scalabilité : La scalabilité consiste à ajouter ou enlever des nœuds du cluster, ainsi que l’augmentation ou la réduction des composants matériels de chaque nœud, sans interrompre les opérations du cluster.

3. Fonctionnement : La solution cliris analyse les vidéos de passages et envoie les données de visiteurs dans la box client qui utilise une base de données Mysql. Grâce un outil appelé ETL, ces données sont ensuite renvoyées chez Cliris dans une base de données PostgreSQL. Toujours en utilisant les ETL, on renvoie les données depuis PostgreSQL vers la solution Big data. La solution Hadoop divise les données en plusieurs parties pour être répartie et stocker dans les différents nœuds du cluster.

Dans le but de fournir une grande disponibilité des données et pour des raisons de préventions des défaillances matérielles, les données sont aussi répliquées sur les différentes machines du cluster. L’outil « Tableau » est couplé avec hadoop pour fournir un service de visualisation et analyse de données de qualité au client.

4. L’environnement d’Hadoop : Il existe différents modules accompagnant hadoop. Ceux-ci ont pour objectif d’améliorer les fonctions et l’efficacité de hadoop. On distingue parmi ces modules :

a. Le HDFS (hadoop distributed file system) : Il s’occupe du stockage et gestion des données dans le Cluster hadoop (un ensemble de plusieurs nœuds ou machines).

b. Le MapReduce : Il s’occupe des traitements et analyse des données qui sont présentes dans le HDFS. c. Apache PIG : Apache PIG est un langage de script utilisé pour écrire des programmes d’analyse de données pour de grands ensembles de données présents dans le cluster hadoop.

d. Apache HBase : Apache Hbase est un système de gestion de bases de données non relationnelles. Il assure le stockage structuré des tables. Il permet d’écrire et de lire les données dans le HDFS.

e. Apache Hive : C’est un langage similaire à du SQL (langage de requête structurée) qui permet d’interroger les données stockées dans les bases de données Hadoop.

f. Apache Sqoop : Apache Sqoop est logiciel qui permet de transférer/récupérer les données depuis n’importe quelle base de données relationnelle vers hadoop.

g. Apache Flume : Apache Flume est un service qui permet de collecter, d’agréger et de transférer efficacement de grandes quantités de données en continu dans le HDFS.

h. Apache Zookeeper : Apache Zookeeper s’assure du bons fonctionnement et synchronisation des différents modules (HDFS, MapReduce, Pig, Hbase, Hive , Sqoop, Flume).

Résultat obtenu : Suite aux diverses actions entreprises lors du stage,l’Anomalie Notifyer a été réalisée et opérationnelle en ce moment. Après avoir codé l’application, réaliser son déploiement et faire les différents tests, il reste à améliorer le front end qui est l’interface de l’application, mais l’application fonctionne correctement. Concernant les pushmails et la migration de données, j’ai pu aidé l’entreprise à faire les pushmails clients et aussi la migration de données vers le big data.

On a le résultat suivant : Application Anomalie Notifyer (Extrait)   Les difficultés et solutions Lors du stage au sein de Cliris, pour arriver aux résultats précédemment cités, de nombreuses étapes ont été effectuées. Ces démarches n’ont pas été faciles à entreprendre car de nombreuses difficultés sont survenus au cours du stage d’immersion en entreprise. Mais heureusement chaque problème possède une ou plusieurs solutions.

Dans cette partie de l’ouvrage, nous allons donc énoncer les diverses difficultés auxquelles on a été confronté tout au long de ce stage, puis nous présenterons les solutions qui ont été trouvées pour remédier à ces problèmes. Tout d’abord, concernant le projet Anomalie Notifyer, vue que c’est un projet sur lequel j’ai travaillé de manière autonome, j’ai connu certaines difficultés sur les manières de prendre les décisions à propos des choix d’outils pour réaliser l’application. Mais grâce à mon maitre de stage et aussi à toutes les équipes de projet du pôle Business Intelligent, j’ai pu quand même trouver des solutions.

Et enfin , au sujet de l’élaboration des tâches quotidiennes comme la réalisation des pushmails, et la migration vers le big data, elles font partie des points bloquants du pôle Business Intelligent, car cela entraine des retards sur les autres projets dû au fait des aller-retours avec les clients.

En effet, la réalisation des pushmails a retardé les tâches comme la migration des données vers le big data et le développement d’une solution de visualisation de qualité de donnée.

Mais comme tout problème possède une solution, cette difficulté n’a pas entravé la mise en oeuvre du stage et du rapport le concernant.

En effet avec les informations récoltées durant ces 4 mois et l’aide que toute l’équipe du pôle business intelligent m’a fourni , le stage et cet ouvrage sur ce dernier ont été correctement effectués.