Overview
Un'infrastruttura Cloud per un business Data Driven.
BANOR SIM è una tra le più importanti aziende indipendenti specializzate in gestione di capitali e consulenza su grandi patrimoni. La SIM ha avviato un progetto di generazione di segnali di acquisto e di vendita in real-time basata sulla raccolta di dati finanziari tramite servizi di Data Ingestion ospitati su Data Center interni.
BANOR SIM si è affidata a beSharp per la realizzazione di un’infrastruttura Cloud su Amazon Web Services ottimizzata per Data Ingestion e analisi predittiva. Con la nuova infrastruttura BANOR SIM mirava a ottenere un Data Lake a fini di analisi basato su archiviazione, storicizzazione ed elaborazione ad alte performance dell’enorme mole di dati provenienti dalle macchine feeder.
Gestione, archiviazione ed elaborazione di grandi quantità di dati richiedono un sistema robusto, performante e sicuro, in grado di adattarsi in qualsiasi situazione all’andamento dei workload, qualunque sia la quantità di dati in entrata. beSharp ha collaborato con BANOR SIM per sviluppare una soluzione di Data Ingestion, data processing e data analysis su misura, in linea con le best practice DevOps e in pieno rispetto dell’AWS Well-Architected Framework. I Cloud Expert di beSharp hanno supportato i tecnici di BANOR SIM attraverso un approccio di tipo training-on-the-job per per creare awareness all’interno dell’azienda e per fornire loro tutti gli strumenti necessari ad agire in totale autonomia traendo il massimo vantaggio dalla nuova soluzione.
The Challenge
Elaborare quantità di dati sempre più elevate.
- Migliorare le performance di Data Ingestion, storage e analisi sfruttando le potenzialità del Cloud ed elaborare quantità di dati e workloads sempre più elevate grazie a un’infrastruttura scalabile in grado di gestire qualunque carico di lavoro.
- Archiviare e storicizzare tutti i dati raw provenienti dalle applicazioni feeder riducendo i costi di storage a regime e archiviarli su database dall’elevata capacità di lettura/scrittura.
- Processare efficacemente i dati archiviati, internalizzare le operazioni di analisi sul dato e padroneggiare strumenti e nozioni di Machine Learning al fine di costruire sistemi efficienti di predizione dei comportamenti degli attori presenti sul mercato.
The Solution
Analisi predittiva basata sui dati.
- Creazione di un’infrastruttura basata su servizi fully-managed come AWS Lambda per ottenere potenza di calcolo, Amazon Simple Queue Service (SQS) per una gestione ottimale delle code di messaggi e Amazon Kinesis Data Stream che, insieme a SQS, consente l’ingestion dei dati su Amazon S3.
- Progettazione e realizzazione di un Data Lake basato sull’archiviazione dei dati in differenti classi di storage (storage tiering) sfruttando i servizi Amazon S3 e Amazon Glacier e il modello di categorizzazione del dato hot-warm-cold, in relazione alla frequenza di accesso necessaria.
- Implementazione di servizi quali AWS Athena, AWS Select e AWS Glue per lo sviluppo rapido di query custom sul Data Lake e utilizzo di Amazon DynamoDB come database dei dati più recenti per la consultazione real-time tramite dashboard.
