<< Projektübersicht

Big Data Engineering

Projekt
//
Künstliche Intelligenz
//
Feb 2022
Ziel des Projektes

Unser Kunde möchte sich innovativer aufstellen, daher sollen verschiedene Anwendungsfälle mittels RAW-Daten im Data-Lake entwickelt werden.

Tags
#
Big Data
#
Hadoop
#
Spark
Herausforderungen

In den Data-Lake-Clustern des Kunden befinden sich die aus Quellsystemen zur Verfügung gestellten RAW-Daten inklusive der Historisierung. Bevor die Daten zu den entsprechenden "innovativen Anwendungsfällen" genutzt werden können, müssen diese zusätzlich bearbeitet werden. Hierzu gehört die Reduzierung, Formatierung und Aggregierung der Daten.

Lösung

Mit hoher Rechenleistung konnten entsprechende Verarbeitungsprozesse erfolgen. Anschließend wurden die Daten auf dem skalierbaren Spark-Cluster abgelegt.

Ergebnis

Dem Kunden wurden entsprechende Datengrundlagen und Schnittstelle zur Verfügung gestellt, um hierauf basierend entsprechende Anwendungsfällen zu erstellen.

Kunde / Branche

Telekomunikation

Projektstatus

Aktuell

Eingesetzte Technologien / Produkte

Hadoop, Impala, Hive, Python, Azure DevOps, Scrum, HUE, Cloudera Data Science Workbench, Jupyter Notebook, Innovator, JIRA, Git