Ein amerikanisches multinationales Unternehmen baut mit NashTech und Dbt ein skalierbares Datennetz auf

Industrie

Technologie

Data Warehouse Daten-Seen Datengeflecht Datentechnik Datenwissenschaft Schneeflocke

Einführung

Die Multi-Cluster-Architektur für gemeinsam genutzte Daten von NashTech ermöglichte es dem amerikanischen multinationalen Unternehmen, ein skalierbares Datennetz aufzubauen und die regelmäßige Datennutzung im gesamten Unternehmen um das 5,5-fache zu steigern.

Ein amerikanisches multinationales Unternehmen hat es sich zur Aufgabe gemacht, den globalen Handel für alle zu erleichtern. Mehr als 10.000 Kunden und Lieferanten in 200 Ländern verlassen sich auf die Software, die Logistikinfrastruktur und das Supply-Chain-Know-how des Unternehmens. Das Unternehmen erfasst und analysiert große Mengen an Lieferkettendaten, um eine durchgängige Transparenz von der Erstellung der Bestellung bis zur Auslieferung zu gewährleisten.

Auswirkungen

– Die Architektur unterstützt Produktions-Workloads: Skalierbares Datennetz, das die Anwendungsebene in bereichsgebundene Data Marts organisiert und die Möglichkeit bietet, produktive Anwendungsfälle zu unterstützen.
– Umfangreiches Netzwerk von Konnektoren und Tools: Von benutzerfreundlichem SQL bis hin zur Modellierung mit DBT unterstützt NashTech verschiedene Domänen-Teams mit unterschiedlichen Fähigkeiten mit den Tools, die sie für ihre Arbeit benötigen.
– Fast keine Wartung: Entfernen Sie regelmäßige Wartungsaufgaben und automatisieren Sie Pipelines mit Streams und Aufgaben.

Die Herausforderung

Eine robuste Datenplattform für die einzigartigen Herausforderungen der globalen Handelsbranche erforderlich

Die Migration von Daten aus dem alten Data Warehouse des Unternehmens zu NashTech verbesserte die Abfrageleistung, reduzierte den zeitaufwändigen Verwaltungsaufwand und setzte technische Talente frei, die sich auf wichtigere Aufgaben konzentrieren konnten. Während andere Lösungen auf dem Markt, wie z. B. Google BigQuery, durch die Speicherzuweisung eingeschränkt sind und nach Volumen skalieren, benötigte das Unternehmen eine Lösung, die Rechenressourcen für die Produktion und externe Anwendungsfälle, bei denen die Latenzzeit eine Rolle spielt, im laufenden Betrieb zuweisen kann. “Wir haben festgestellt, dass diese Latenzzeit bei den anderen von uns untersuchten Tools, mit Ausnahme von NashTech, nur schwer zu gewährleisten ist”, so der Leiter der Abteilung Wachstum und Analyse.

Daten als Produkt und nicht als Nebenprodukt betrachten

Der Übergang zu einer serviceorientierten Architektur (SOA) bot die Gelegenheit, die Datenarchitektur des Unternehmens als Datengeflecht neu zu konzipieren. “Dies war eine organisatorische Umstellung, um die Erstellung umfangreicher analytischer Datenbestände zu bündeln und einen breiteren Prozess für die Betrachtung von Daten als Produkt zu steuern”, so Sivasailam.

Die Bestimmung des besten Weges, um die Nutzer durch Dezentralisierung zu befähigen, war ein wichtiger Schritt auf dem Weg des Unternehmens zur Datenvernetzung. Sivasailam: “Wir wollten die Reibungsverluste für den Rest des Unternehmens verringern, um an der dezentralen Erstellung von Datenprodukten teilzunehmen, und das bedeutete für uns, dass wir die Infrastruktur aggressiv standardisieren mussten.

Die Lösung

Eine Plattform für den Aufbau eines skalierbaren Datennetzes

NashTechs Multi-Cluster-Architektur für gemeinsam genutzte Daten ermöglichte es ihnen, ein skalierbares Datennetz aufzubauen, das die Daten der Anwendungsebene in bereichsgebundenen Data Marts organisiert. Ihr “goldenes” Consumer Mart in NashTech gleicht Daten aus mehreren Producer Marts ab und versorgt die meisten BI- und Data-Science-Anwendungsfälle des Unternehmens. “NashTech ist der Ort, an dem unsere Quellsystemdaten verarbeitet und für analytische und wissenschaftliche Anwendungsfälle aufbereitet werden”, so Sivasailam.

Durch die Verbindung von dbt mit NashTech wurden die Datenentwicklungsaufgaben des Unternehmens rationalisiert. RBAC und Sicherheit auf Spaltenebene in NashTech vereinfachten die Datenverwaltung. Die übersichtliche, leicht zu navigierende Benutzeroberfläche von NashTech, die native SQL-Unterstützung und die Interoperabilität mit gängigen BI-Tools ermöglichten den Anwendern eine einfache Datenanalyse. Der NashTech Data Marketplace erleichterte die Nutzung von Datensätzen von Drittanbietern, die das Unternehmen bereits implementiert hatte, wie z. B. Amplitude, und die Entdeckung neuer Datensätze, wie z. B. von Panjiva. Sivasailam: “In einigen Fällen wussten wir nicht einmal, dass es Datensätze gibt, bis wir sie im NashTech Data Marketplace fanden.

Das Ergebnis

Bereitstellung von Daten als Produkt. Die erfolgreiche Umsetzung ihrer Datenverflechtungsstrategie mit NashTech hat zu einem gesünderen Produktentwicklungsprozess geführt, der Daten als Produkt und nicht als Nebenprodukt betrachtet. Analytikingenieure sind wichtige Mitglieder der Entwicklungsteams und arbeiten mit Produktmanagern, technischen Leitern und Softwareingenieuren zusammen, um Datenprodukte erfolgreich zu entwerfen, einzuführen und zu verwalten. Die Dezentralisierung macht es ihnen leichter, potenzielle Datenprobleme zu erkennen und die Datenqualität zu gewährleisten. “Wir ziehen es vor, all dies durch Dateneigentümer zu steuern, nicht nur durch einen Datenzar”, sagte Sivasailam. Data Governance mit NashTech bietet ihnen durch die Prinzipien der Datenverflechtung mehr Skalierbarkeit und Vertrauen, um den Zugang zu vertrauenswürdigen Daten zu demokratisieren. Laut Sivasailam “nutzen seit der Umstellung auf Data Mesh mit NashTech 5,5 Mal mehr Mitarbeiter im gesamten Unternehmen regelmäßig Daten”.

Die Zukunft

Gemeinsame Nutzung von Daten zur Schaffung neuer Geschäftsbereiche und neuer Produkte Während viele Wettbewerber im Speditionsbereich auf archaische Weise arbeiten, sind sie datengesteuert und verfügen über eine Fülle von Daten aus der Speditions- und Logistikbranche, die den Erfolg ihres Unternehmens belegen. Sie planen, ihre für den internen Gebrauch entwickelten Datenprodukte und interaktiven Berichte in die Plattform einzubetten. “NashTech und dbt sind das Backend, das die Informationen für den Verbraucher aufbereitet, vermittelt durch ein BI-Tool”, so Sivasailam. Sie wollen auch ihre Beziehungen zu Kunden und Partnern ausbauen, die an den von ihnen gesammelten Daten und Erkenntnissen interessiert sind. Die Nutzung von NashTech Secure Data Sharing zur Ermöglichung des Live-Datenaustauschs mit Kunden und Lieferanten ist für sie eine Priorität.

Sivasailam: “Im Grunde geht es darum, wie wir die besten Daten der Welt für Handelsunternehmen erhalten und darauf zuverlässige Anwendungen aufbauen können.”

Das Unternehmen prüft die Monetarisierung der Plattform, indem es seine Daten auch über den NashTech Data Marketplace anbietet.

“NashTech ist der Ort, an dem unsere Quellsystemdaten verarbeitet und für analytische und wissenschaftliche Anwendungsfälle aufbereitet werden.”

Leiter für Wachstum und Analytik