SOFTWARE MEETS BUSINESS:
Die Konferenz für Software-Architektur
08. - 12. Februar 2021, Online-Konferenz
SOFTWARE MEETS BUSINESS:
Die Konferenz für Software-Architektur
08. - 12. Februar 2021, Online-Konferenz
Kafka hat in den letzten Jahren eine enorme Popularität erfahren, und bringt durch seine neuartigen Konzepte wieder Schwung in die Welt der etablierten Messaging-Systeme. An einem Beispiel aus der Praxis wird in diesem Vortrag gezeigt, wie Kafka auf einer cloud-nativen Infrastruktur betrieben werden kann, und weshalb sich Kafka so gut dazu eignet, die zentrale Kommunikationsschnittstelle einer Microservice-Architektur zu bilden.
Zielgruppe: Software-Architekten, Software-Entwickler, IT-Projektmanager, Produktmanager
Schwierigkeitsgrad: Fortgeschritten
Securing Kafka at scale for multiple tenants is complex and doing it wrong could cost thousands of euros per minute in downtime and increases the risk of data breaches. The more data and applications a platform can access, the more protection is needed to keep that data safe. How to make Event Streaming secure for multiple tenants? Join our talk to explore new capabilities that protect event data from threats and vulnerabilities across the entire Kafka ecosystem. Our session will be about Confluent Kafka as a secure internal multi-tenant service. The presenters will explore two aspects: Ralf Nellessen will show goals and implementation characteristics of End-to-End Encryption. Ramesh Jogula will demonstrate how Kafka Connect can be run using GitOps as part of a service. The following questions will structure the discussion: How did we include additional features like Large Message Handling and End-to-End Encryption in our Kafka implementation? How do we practically configure Kafka Connect for GitOps deployments?
Target Audience: IT-Projektmanager, Software-Architekten, Software-Entwickler, Business Development, Produktmanager
Level: Advanced
From personalised instantaneous marketing campaigns to reacting to user interactions, Real-Time is the key to open up a world of use cases that batch and scheduled processing cannot efficiently satisfy. In this talk, we are going to observe the natural journey companies undertake to become real-time, the possibilities it opens for them, and the challenges they will face. We will see it’s not just about setting up Kafka, but about how you approach the journey to become event-driven.
Target Audience: Software-Architekten, IT-Projektmanager, Produktmanager, Business Development
Level: Advanced
Sergio Spinatelli works as a Manager and Architect for the Event Driven and Streaming Applications Business Unit at Data Reply. With experiences in major industries (Automotive, Retail, Media, Banking) and with state of the art Big Data technologies, he focuses on Stream Processing, Real-Time Analytics, Microservice Architectures and Cloud.
Alex Piermatteo works as a Manager and Architect for the Event Driven and Streaming Applications Business Unit at Data Reply. Alex is regular speaker at conferences and his main area of expertise lies within the fields of Stream Processing, Big Data Integration & Analytics, Cloud, Microservices and DevOps.
Apache Kafka hat sich zum De-facto-Standard für Event-Streaming etabliert. Über 80 Prozent der Fortune 100 nutzen die Möglichkeiten, ihre Datenarchitekturen zu entkoppeln und auf Geschehnisse im Business in Echtzeit zu reagieren.
Der Aufbau und die Skalierung event-getriebener Anwendungen ist eine echte Herausforderung, da sich die Quellen für Event-Daten oft über mehrere Rechenzentren, Clouds, Microservices und stark verteilte Umgebungen erstrecken. Dies führte dazu, dass die Fertigkeit, sich mit "Kafka" auszukennen, zur bestbezahltesten in den Vereinigten Staaten wurde und auch in Europa listen Unternehmen dies unter den Top-Skills für Software-Architekten und Data Engineers. Für viele Unternehmen bedeutete dies, dass dieses allgegenwärtige Event-Streaming unerreichbar wurde.
Confluent hat Apache Kafka überarbeitet und eine Event-Streaming-Plattform geschaffen, die sich diesen Herausforderungen mühelos stellt: Sie ist elastisch skalierbar, verarbeitet Daten aus jeder Quelle in Echtzeit und passt sich dabei jedem Use Case und Budget an. Durch den Betrieb von Kafka in der Cloud können Unternehmen das Management der Kafka-Cluster komplett abgeben.
Eine skalierbare Datenverarbeitung und -verteilung in Echtzeit stellt aktuell viele Unternehmen vor eine Herausforderung. Erfahren Sie in einem 45-minütigen Vortrag, wie Sie mit den von INIT entwickelten Konnektoren mit überschaubarem Aufwand Ihre SAP-Systeme in Kafka integrieren. In den letzten 15 Minuten des Vortrags betrachten wir exemplarisch ein ML-Modell mit komplexem Feature-Engineering. Das trainierte Modell wird in Containern zum Datenanreichern bereitgestellt.
Zielgruppe:Software-Entwickler, Software-Architekten, IT-Consultants, Business Development
Schwierigkeitsgrad:Fortgeschritten
Extended Abstract:
Wir sind überzeugt von der Idee der Etablierung eines unternehmensweiten und zentralen Datennervensystems unter Zuhilfenahme einer skalierbaren Plattform wie Apache Kafka. Dieser Ansatz stellt eine einzigartige Möglichkeit dar, wie Sie Ihre wertvollsten Rohstoffe in Echtzeit in einer skalierbaren Plattform persistieren, verarbeiten und beliebig vielen Abnehmern zur Verfügung stellen können. Hierdurch werden unternehmensübergreifende Einsatzszenarien wie beispielsweise Realtime Analytics und Machine Learning erst möglich gemacht.
Mit der Connect-Komponente beinhaltet Kafka ein einheitliches und offenes Framework für den nativen Verbund externer Systeme mit Apache Kafka. Hierzu bietet Connect jeweils eine API für quell- und zielorientierte (Source and Sink) Szenarien an. Im Vergleich zu Low-Level APIs wie die Producer-/Consumer-API vereinfacht Kafka Connect die Realisierung von robusten Integrationslösungen Ihrer Business Events mit Servicemerkmalen wie Exactly-Once Zustellung, pausierbarer Echtzeitverarbeitung, Systemausfallzeitbehandlung, Statuswiederherstellung, zentralem Monitoring und Betrieb.
Erfahren Sie in diesem 45-minütigen Vortrag, wie eine Integration Ihrer geschäftsprozessabbildenden SAP-Systeme unter Einsatz von Schnittstellentechnologien wie OData und Operational Data Provisioning und der von INIT entwickelten Konnektoren mit überschaubarem Aufwand gelingt.
Im zweiten 15-minütigen Teil des Vortrags stellen wir einen exemplarischen Anwendungsfall vor, in dem ein Machine-Learning Modell auf einer komplexen Vorverarbeitung der Rohdaten aufsetzt und trainiert wird. Das trainierte Modell wird in Form von Microservices zur Verfügung gestellt und wir zeigen beispielhaft die Konsumierung innerhalb einer Datenpipeline.
Dank neuer Entwicklungen, vor allem auch aus dem Kubernetes-Umfeld, ist es heute einfacher denn je, eine Kafka-Installation zu starten und zu betreiben. Doch wie kann das Messaging-System in die bestehenden Unternehmensstrukturen und deren Governance-Anforderungen integriert werden? Wie kann der Einsatz der Technologie in den Entwickler-Teams möglichst einfach gestaltet werden? In dieser Fallstudie wollen wir beleuchten, wie wir im Rahmen der Einführung von Kafka bei einem unserer Kunden die Aspekte "Sicherheit" und "Wartbarkeit" in Kubernetes umsetzen. Die Schwerpunkte liegen dabei auf einem modernen GitOps-basierten Ansatz in Kubernetes, sicherem und trotzdem einfachem Einsatz in den Entwickler-Teams, und der Automatisierung von IT-Governance-Prozessen über die Implementierung von eigenen Kubernetes-Controllers & Operators.
Zielpublikum: Software-Architekten, Software-Entwickler
Schwierigkeitsgrad: Advanced
Um Analytics effektiv einsetzen und damit die Datenschätze im Unternehmen heben zu können, braucht es eine moderne und skalierbare Datenplattform, die flexibel auf Events reagieren kann und von Anfang an mit einem DataOps-Gedanken designed wurde. Im Vortrag zeige ich eine Referenzarchitektur dafür und demonstriere an einem Beispiel, wie eine solche Plattform mit Apache Kafka und Microservices aussehen kann und ich damit nicht nur flexibel Analytics Use Cases umsetzen, sondern auch im Sinne von DataOps schnelles Feedback dem Kunden geben kann.
Zielpublikum: Software-Architekten, Software-Entwickler, IT-Consultants
Schwierigkeitsgrad: Fortgeschritten