ETL 2.0: Produktdatenverarbeitung von Batch zu Event getrieben

Seit vielen Jahren verarbeitet Breuninger seine Produktdaten mit klassischen Batch Jobs. Durch die immer höher werdenden fachlichen Anforderungen ist diese Art der Verarbeitung nicht mehr möglich. Wir haben daher unsere Verarbeitungs-Pipeline auf einen event-getriebenen Ansatz umgebaut. Diese neue Pipeline, ihre Vor- und Nachteile wollen wir euch in diesem Talk vorstellen. Verwendete Technologien sind Java11, Kafka, MongoDB und Atom-Feeds über HTTP & JSON.