Miroglio

The Challenge

• Strutturare la raccolta di quantità di dati sempre maggiori ed eterogenee riguardanti le transazioni economiche dei clienti finali dotati di Fidelity Cards e renderli pronti all’uso attraverso flussi avanzati di ETL per la pulizia e la normalizzazione.
• Implementare un modello di Machine Learning in costante miglioramento per identificare efficacemente abitudini e modelli di acquisto ricorrenti al fine di raggruppare i clienti in base a specifici parametri (spesa, frequenza di acquisto, data dell’ultimo acquisto).
• Automatizzare l’intero processo di Machine Learning – dall’estrazione del dato, fino alla creazione del data lake – e implementare un flusso di lavoro integrato per l’identificazione di nuove funzionalità, per l’addestramento del modello e per l’inferenza.

The Solution

• Configurazione di una pipeline ETL automatizzata, orchestrata tramite AWS Step Functions: Gli AWS Glue crawler e gli AWS Glue Job sono stati utilizzati per l’estrazione del dataset da un database legacy esistente e per la sua trasformazione in un più moderno Data Lake basato su Amazon S3. Il nuovo Data Lake è stato poi esportato tramite Amazon Athena per assicurare un querying ad alte prestazioni. Amazon Quicksight è stato impiegato per la data visualization.
• Creazione di un workflow completo di ML basato sulla suite Amazon SageMaker: SageMaker Notebook instances ha permesso un’analisi esplorativa dei dati (EDA), la selezione delle funzionalità da considerare e il test del modello di ML, mentre SageMaker Training e Hyperparameter tuning sono stati utilizzati per l’ottimizzazione degli iperparametri e per l’addestramento del modello.
• Configurazione di una pipeline di Machine Learning orchestrata da AWS Step Functions per l’esecuzione di un flusso di ETL per il recupero dei nuovi dati dall’archivio originale e per l’addestramento e il test del modello di ML sul nuovo set di dati. Sagemaker Processing è inoltre utilizzato per dedurre i cluster, mentre AWS Glue è il servizio incaricato per la scrittura dei risultati sia nel data lake, che nel database originale per ulteriori integrazioni con i sistemi legacy esistenti.

The Benefits

Performance

Migrando il dataset del cliente da un database basato su Amazon EC2, verso uno basato su Amazon S3, beSharp ha permesso a Miroglio di beneficiare di un Data Lake espandibile e scalabile, utilizzabile come single source of truth per il training del modello. Lo stesso Data Lake, inoltre, può essere utilizzato per alimentare un numero arbitrario di carichi di lavoro, adattandosi a qualsiasi tipo di esigenza aziendale futura. L’impiego di Amazon Athena permette di eseguire file-level query potenti, precise e ottimizzate in termini di costi nel Data Lake. 

Automazione

Le necessità di automatizzazione e orchestrazione dei servizi sono state soddisfatte attraverso l’utilizzo del servizio AWS StepFunctions con l’implementazione di pipeline ETL – MLOps. Questo ha permesso di ottenere l’aggiornamento continuo dei dati nel database così che i Data Analyst possano essere sicuri di lavorare sempre su dati nuovi e aggiornati. Tutte le pipeline sono state efficacemente integrate all’interno dei workflow legacy esistenti.

Agilità

Grazie alla combinazione di SageMaker Studio, Amazon CloudFormation, and AWS Cloud9, il team di sviluppo del cliente ha ottenuto un processo agile, sicuro e automatizzato per il test, il tuning, l’addestramento e il deploy in produzione dei Notebook SageMaker.

About beSharp and AWS

beSharp ha supportato Miroglio nell’implementazione di una infrastruttura personalizzata, progettata secondo le best practice del Well-Architected Framework e in linea con i principi DevOps e MLOps, ottimizzata per supportare workload di Data Analytics e Machine Learning. Sfruttando il Cloud di AWS e i servizi dedicati a ETL, Machine Learning e all’orchestrazione delle pipeline, beSharp ha messo il team di Data Analyst di Miroglio in condizione di integrarsi con lo sviluppo e le operation moltiplicando i rilasci in produzione di modelli sempre più performanti. Grazie alla nuova infrastruttura, pensata specificatamente per supportare lo sviluppo, il testing e l’addestramento dei modelli, il cliente ha potuto attuare una strategia di marketing personalizzata  estremamente targettizzata, basata su un clustering dei clienti eseguito con le più avanzate tecniche di Machine Learning. Attraverso un approccio di tipo training on-the-job, inoltre, i Cloud Expert di beSharp hanno reso i team tecnici di Miroglio autonomo nella gestione della nuova architettura.