Best Practice: Big Data am Beispiel der Open Data Quelle „New York Taxi Trips“ – 1.4 Milliarden Trips automatisch normalisiert (NF6) mit der selbstlernenden Multi Model NoSQL CortexDB – LIVE DEMO!

Die öffentliche Datenquelle umfasst über 1.4 Milliarden Taxifahrten der letzten sieben Jahre in New York und steht zum freien Download öffentlich zur Verfügung. Die Datenquelle liefert verschiedene Metadaten für jede Taxifahrt wie u.a. Datum/Uhrzeit, Geokoordinaten, gefahrenen Strecke, Fahrzeit, Anzahl Fahrgäste, Informationen zu Fahrpreisen und Art der Bezahlung.

Die CortexPlattform ist ein selbstlernendes System, importierte Daten werden automatisch in die höchste Normalform (NF6) transformiert, keine anwendungsabhängigen Indexierungen sind vorhanden oder notwendig. Über eine vollständig implementierte Programmiersprache (JS Google V8 Engine) innerhalb der Plattform werden komplexe Algorithmen direkt auf den Daten ausgeführt und ermöglichen auch AI, obwohl der hier dargestellte Anwendungsfall eher im Bereich Big Data liegt und Anwendern zeigen soll, wie einfach solche „Proof of Concepts“ umgesetzt werden können.

Vorteile sind: Selbstlernende agile Softwareentwicklung, analytische- und Transaktionsdaten in einer einzigen Datenbank, Change Requests „on the Fly“, Self- Service in den Fachabteilungen, geringe Hardware-Anforderungen und sehr schnelle Projektumsetzung.

Die U.S. Bureau of Transportation Statistics der New York Taxi Tip Transaktionen wurden in die CortexPlattform importiert und automatisch in die 6. Normalform transformiert (https://en.wikipedia.org/wiki/Sixth_normal_form).

Folgende Parameter haben sich daraus ergeben:
Zeitraum:
01.01.2009 - 30.06.2017
Anzahl Datensätze / Objekte (Taxi Fahrten / Transaktionen)
1.409.100.411
Anzahl Datensatzfelder (Entitäten) mit Inhalt:
40.787.002.184
Anzahl unterschiedliche redundanzfreie (NF6) normalisierte Entitäten (Content) über alle Datensatzfelder
39.907.594

Aus diesen Information können aus dem Stand folgende Fragen beantworten werden:

• Zu welchem Zeitpunkt sind die meisten Taxis gestartet?
• Welcher Preis wurde am häufigsten berechnet?
• Welche Distanz wurde am häufigsten gefahren?
• Wie viele Fahrten wurden mit 1, 2, 3 Personen gefahren?
• Von welchen Geokoordinaten sind die meisten Taxifahrten gestartet?
• etc.

Im Dialog mit dem Publikum und dynamisch abgefragt werden soll die Anwendung als Live-Demo auf einem handelsüblichen Laptop mit 8GB RAM - ohne „In Memory“ Technologie - auf einem Standard externen 2 TB SSD Laufwerk.

Die Cortex AG ist Spezialist innovativer IT-Technologien zum Verarbeiten sehr großer, komplexer, sich ständig verändernder Datenmengen. Sie bietet eine ganzheitliche Plattform für beliebige Enterprise Applikationen auf Basis der aktuellen Browser- Technologien. Damit lassen sich mit wenig Programmieraufwand Anwendungen im Bereich Digitalisierung, Big Data, Industrie 4.0, Analytik, Stammdaten Management, Dispositive Planung oder prozessbasierter Lösungen erstellen.

Kernstück der CortexPlatform ist die CortexDB, als selbstlernende NoSQL Multi-Modell- Datenbank normalisiert sie die Daten automatisch in die 6. Normalform (NF6) und bietet hoch performante Datenbankabfragen über beliebige Attribute, deren Kombinationen und Beziehungen im zeitlichen Kontext untereinander.

Vorteile sind: Agile Softwareentwicklung, Analytische- und Transaktionsdaten in einer Datenbank, Change Requests on the Fly, Self Service in den Fachabteilungen, geringe Hardware Anforderungen und schnelle Projektumsetzung.