Modul ETL

Modul EM-ETL (Extract, Transform, Load) unterstütz Sie bei den ETL-Prozessen. Zielsetzung ist es, die Daten aus den verschiedenen internen und externen Datenquellen zu extrahieren, aufzubereiten und in die Big Data Datenbank entsprechend dem Datenmodell zu laden. Um einen hohen Automatisierungsgrad zu erreichen können die ETL-Prozesses als Jobs terminiert werden. Hierfür bietet Ihnen das Modul folgende Funktionalitäten an:

Management

Erfassung der ETL-Prozesse, Zuordnung der Verantwortlichkeiten und manuelle Durchführung. Um Doppelerfassung zu vermeiden, werden die meisten Daten aus den Modulen Prozessmanagement und Datenmanagement übernommen. Mittels Veränderung des Status erfolgt hier die Freigabe in die Produktion.

Erstellung

Konzeption des ETL-Prozesses durch Festlegung der Datenquelle, Datenstruktur und Felder, sowie Transformation und Zuordnung. Anschließend kann der ETL-Prozess  getestet werden.

Planung

Zusammenfassung der ETl-Prozesse zu ETL-Jobs. Um einen hohen Automatisierungsgrad zu erreichen,  können die ETL-Jobs täglich, wöchentlich oder monatlich terminiert werden.

Nachverfolgung

Die ETL-Jobs werden im Kalender als Termine angezeigt. Damit kann nachverfolgt werden, welche ETL-Jobs geplant sind, welche bereits abgearbeitet wurden und inwieweit Fehler bei der Bearbeitung erfolgt sind.