SIGS DATACOM Fachinformationen für IT-Professionals

SOFTWARE MEETS BUSINESS:
Die Konferenz für Software-Architektur
21. - 25. Januar 2019, München

Sessionsdetails

Vortrag: Mi 6.1
Datum: Mi, 23.01.2019
Uhrzeit: 09:00 - 10:30
cart

IoT Sensor Analysen mit Apache Kafka, KSQL und TensorFlow

Uhrzeit: 09:00 - 09:45
Vortrag: Mi 6.1 1)

 

Apache Kafka ist eine hoch skalierbare Open-Source-Streaming-Plattform zur Verarbeitung großer Datenmengen von IoT-Geräten. Dieser Vortrag nutzt Kafka und KSQL am Beispiel IoT-Sensoranalyse für kontinuierliche Gesundheitschecks. Eine Demo zeigt, wie man Machine Learning Modelle - erstellt mit Frameworks wie TensorFlow, DeepLearning4J oder H2O - in unternehmenskritischen und skalierbaren Echtzeitanwendungen einsetzt.

Zielpublikum: Architekten, Entwickler, Projektleiter, Data Scientists
Voraussetzungen: Erfahrung in Machine Learning sowie Event-getriebenen Architekturen hilfreich, aber nicht zwingend.
Schwierigkeitsgrad: Fortgeschritten

Extended Abstract
Large numbers of IoT devices lead to big data and the need for further processing and analysis. Apache Kafka is a highly scalable and distributed open source streaming platform, which can connect to MQTT and other IoT standards. Kafka ingests, stores, processes and forwards high volumes of data from thousands of IoT devices.
The rapidly expanding world of stream processing can be daunting, with new concepts such as various types of time semantics, windowed aggregates, changelogs, and programming frameworks to master. KSQL is an open-source, Apache 2.0 licensed streaming SQL engine on top of Apache Kafka which simplifies all this and make stream processing available to everyone without the need to write source code.
This talk shows how to leverage Kafka and KSQL in an IoT sensor analytics scenario for continuous health checks and integration with real time monitoring systems. A live demo shows how to embed and deploy Machine Learning models - built with frameworks like TensorFlow, DeepLearning4J or H2O - into mission-critical and scalable real time applications.
Key Take-Aways:
• Apache Kafka is used as streaming platform to ingests, stores, processes and forwards high volumes of data from thousands of IoT devices
• KSQL allows streaming integration and analytics without external big data cluster and without the need to write source code – just use and deploy SQL queries for continuous stream processing
• Machine Learning models can be applied easily within Kafka ecosystem
• The Health Check sensor analytics use case demonstrates an end-to-end scenario for IoT stream processing

 

Aus einem Fluss – Stream-Verarbeitung mit Apache Flink

Uhrzeit: 09:45 - 10:30
Vortrag: Mi 6.1 2)

 

Dem steigenden Datenaufkommen und dem Anspruch, diese Daten nahezu in Echtzeit zu bewältigen, kann eine Batch-Verarbeitung häufig nicht (mehr) gerecht werden. Somit müssen die anfallenden Daten sofort als kontinuierlicher Stream und nach Möglichkeit verteilt verarbeitet werden.
Apache Flink ist ein Framework, das vor allem die native Verarbeitung von Datenströmen in einer verteilten Umgebung ermöglicht. In diesem Vortrag sollen anhand dieses Frameworks die wichtigsten Konzepte bei der Stream-Verarbeitung vorgestellt werden.

Zielpublikum: Architekten, Entwickler
Voraussetzungen: Java-Kenntnisse
Schwierigkeitsgrad: Anfänger

Extended Abstract
Dem steigenden Datenaufkommen und dem Anspruch, diese Daten nahezu in Echtzeit zu bewältigen, kann eine Batch-Verarbeitung häufig nicht (mehr) gerecht werden. Diese Problematik wird besonders beim Umgang mit hochfrequenten Datenströmen deutlich wie beispielsweise bei der Verarbeitung von Sensordaten im IoT-Bereich. Um trotzdem einen schnellen Einblick in die Daten zu ermöglichen und gleichzeitig deren Korrektheit zu gewährleisten, dient üblicherweise die Lambda-Architektur als Kompromiss. Aufgrund der stetigen Verbesserungen bei den Stream-Prozessoren ist der für diese Architektur typische, parallele Betrieb einer Stream- und einer separaten Batch-Schicht jedoch nicht mehr zwingend erforderlich.
Apache Flink ist ein Framework für die verteilte Verarbeitung großer Datenmengen, entweder als Batch oder kontinuierlicher Stream. Vor allem die native Unterstützung der Stream-Verarbeitung macht Flink zu einem mächtigen Werkzeug im Umgang mit Datenströmen.
In diesem Vortrag sollen die wichtigsten Konzepte bei der Verarbeitung von Datenströmen vorgestellt und mithilfe von Apache Flink anhand eines Beispiels demonstriert werden. Außerdem wird ein Ausblick auf weiterführende Themen vorgenommen wie das Verwenden des Stream-Zustandes (Queryable State) oder das Erkennen und Behandeln von Ereignismustern (Complex Event Processing).