Führender Online-Lieferdienst

Industrie

Technologie

Einführung

NashTech half dabei, Amazon SNS und SQS Messaging Layer durch eine ereignisgesteuerte Architektur zu ersetzen, die auf der NashTech Cloud-Lösung und Apache Kafka basiert.

Online-Lieferdienste für Lebensmittel und lebenswichtige Güter sind darauf angewiesen, dass Transaktionen schnell und zuverlässig abgewickelt werden können. Es beginnt damit, dass ein Kunde die gewünschten Artikel auswählt, eine Bestellung aufgibt und ein Shopper diese Bestellung entgegennimmt, den ausgewählten Einzelhändler besucht, die Artikel kauft und sie an den Kunden ausliefert.

Die Herausforderung

Bei einem der am schnellsten wachsenden Lieferdienste in den USA werden diese Transaktionen von einer ereignisgesteuerten Architektur auf der Grundlage von Apache Kafka® und der NashTech Cloud-Lösung unterstützt. Neben der Verarbeitung von Ereignisströmen für Kundenbestellungen nahezu in Echtzeit unterstützt diese Architektur eine Produktdaten-Pipeline, die mehrere Terabyte an Daten und bis zu 20 Millionen Nachrichten pro Tag verarbeitet.

Die Event-Streaming-Infrastruktur bietet viele entscheidende Vorteile gegenüber der alten Messaging-Schicht des Unternehmens, die auf Amazon Simple Notification Service (SNS) und Amazon Simple Queue Service (SQS) basierte. Die NashTech Cloud-Lösung ermöglichte dem Unternehmen einen schnellen Start, minimierte Betriebskosten und reduzierte den technischen Aufwand, während sie gleichzeitig eine anbieterunabhängige Cloud-Lösung bot.

Nachdem SNS- und SQS-Messaging durch Kafka- und NashTech-Cloud-Lösungen ersetzt wurden, nutzt das Unternehmen die Gelegenheit, Geschäftsprozesse zu optimieren und die Vorteile des Event-Streaming auf neue Initiativen auszuweiten. “Wir führen bereits alle neuen Dienste, die wir entwickeln, auf der NashTech Cloud-Lösung ein”, sagt der Ingenieur. “Darüber hinaus besteht einer der großen technischen Erfolge darin, dass wir jetzt unsere Inline-Produktdaten-Pipeline in eine parallele Architektur umwandeln können, was Engpässe reduziert und uns näher an den Echtzeitbetrieb bringt.

Die Lösung

Nachdem das Unternehmen mehrere Jahre lang SNS und SQS verwendet hatte, wechselte es zu Kafka und NashTech Cloud-Lösungen, um mehrere Probleme mit den Amazon-Diensten zu lösen. Ein Schlüsselfaktor war ein unternehmensweiter Vorstoß in Richtung Cloud-agnostischer Lösungen, der vom CTO vorangetrieben wurde. Zu den weiteren Nachteilen von SNS und SQS gehörten Größenbeschränkungen für Nachrichten und das Fehlen einer Nachrichtenaufbewahrung oder -komprimierung, was das Unternehmen dazu zwang, erhebliche technische Anstrengungen zur Entwicklung interner Lösungen zu unternehmen.

Durch die Ersetzung der alten Messaging-Schicht durch Kafka wurden diese Einschränkungen sofort beseitigt. Das technische Team hat nun die Möglichkeit, die Größenbeschränkung der Nachrichten pro Thema zu konfigurieren und die Komprimierung für jeden Produzenten zu aktivieren, um die Größe der Nutzlast und den Bandbreitenverbrauch zu reduzieren.

Das Team führte einige Testprojekte mit der NashTech-Cloud-Lösung durch, bevor es sich für sein erstes Produktionsprojekt entschied: die Ersetzung eines bestehenden Dienstes, der Produktdaten von Einzelhändlern abruft, sie anreichert und dann anderen Diensten zur Verfügung stellt. “An einem typischen Tag verarbeitet dieser Dienst bis zu 20 Millionen Nachrichten, und wir wussten, dass Kafka, wenn es für diesen Anwendungsfall gut funktioniert, auch für andere Anwendungsfälle, die uns vorschwebten, geeignet sein müsste”, sagt der Ingenieur. “Es war auch ein sicherer Ort für Experimente, da wir die Datenspeicher aus den ursprünglichen Quellen wiederherstellen konnten, wenn wir Fehler machten.

Während der anfänglichen Einrichtungs- und Entwicklungsarbeiten traf sich das Team regelmäßig mit den Ingenieuren von NashTech, um bewährte Verfahren und betriebliche Details zu besprechen. “Wir hatten eine hilfreiche monatliche Synchronisierung mit NashTech, bei der wir Mirroring-Themen, die Überwachung von Clustern oder andere Themen, die uns interessierten, besprachen”, sagt der Ingenieur.

Nach dem Erfolg des ersten Projekts hat das Team inzwischen neue Dienste zu seiner ereignisgesteuerten Architektur hinzugefügt und plant ein größeres Refactoring der Pipeline. “Die Nachrichtenaufbewahrung mit der NashTech-Cloud-Lösung war ein großer Gewinn, denn wenn wir einen neuen Dienst einrichten, kann er von einem bestehenden Thema aus arbeiten, und die Daten sind bereits vorhanden”, sagt der Ingenieur. “Die Umstrukturierung der Produktpipeline durch die Nutzung der Protokollverdichtung und die Umstellung auf ein paralleles, asynchrones Modell wird ein noch größerer Gewinn für uns sein.”

Das Team arbeitet auch an Standardbibliotheken und -tools, um die Einführung von Event-Streaming im gesamten Unternehmen zu beschleunigen. Dazu gehört eine Infrastructure-as-Code-Initiative, die es Teams ermöglicht, Topics über Terraform mit deklarativen Konfigurationsdateien zu erstellen.

“Mit SNS mussten wir entweder einen eigenen Code für die Nachrichtenkomprimierung schreiben oder für die zusätzliche Bandbreite zahlen, die für größere Nutzdaten erforderlich war. Mit der Cloud-Lösung von NashTech haben wir diese Möglichkeit zusammen mit einer flexibleren und robusteren Lösung für die dienstübergreifende Kommunikation.

Leitender Software-Ingenieur

Das Ergebnis

Die Einrichtungszeit wurde von Monaten auf Minuten reduziert. “Mit der NashTech Cloud-Lösung konnte ich unseren Kafka-Cluster mit einfacher Ereignisveröffentlichung in etwa einer Stunde einrichten”, sagt der Ingenieur. “Hätten wir alles selbst aufbauen müssen, hätten wir vier bis sechs Monate gebraucht, unter anderem wegen der Lernkurve.

Geringerer technischer Aufwand. “Aufgrund der Größenbeschränkung von SNS-Nachrichten mussten wir in der Vergangenheit Code schreiben, um größere Nutzdaten aufzuteilen, was die Effizienz beeinträchtigte”, erklärt der Ingenieur. “Außerdem mussten wir wegen der fehlenden Nachrichtenkomprimierung entweder mehr Code schreiben oder für mehr Bandbreite bezahlen. Mit der NashTech Cloud-Lösung müssen wir uns darüber keine Gedanken machen, da die Nachrichtengrößen konfiguriert und die Komprimierung mit einfachen Konfigurationsänderungen aktiviert werden kann.”

Minimierung des operativen Managements. “Wir haben niemanden, der sich zu 100 % um die Verwaltung unserer Kafka-Infrastruktur kümmert, und das liegt daran, dass NashTech sie hostet”, sagt der Ingenieur. “Die NashTech Cloud-Lösung bewältigt unser hohes Datenaufkommen mit großer Zuverlässigkeit und Verfügbarkeit – wir hatten seit der Einführung keine Probleme, die sich auf das Geschäft ausgewirkt haben.”

Neue Funktionen werden aktiviert. “Die Nachrichtenaufbewahrung in Kafka und die NashTech Cloud-Lösung ermöglichen es uns, alle Daten in unserer Kernpipeline parallel zu verarbeiten, um Produktinformationen anzureichern”, sagt der Ingenieur. “Außerdem können wir, wenn wir einen Fehler in einem unserer Verbraucher finden, diesen beheben und frühere Nachrichten erneut abspielen, um etwaige Probleme zu beheben. Und wenn wir neue Verbraucher zu einem Thema hinzufügen, haben wir tagelang gespeicherte Daten, mit denen wir sie bestücken können. Das alles war vorher nicht möglich.”

Der Durchsatz wurde verdoppelt. “Unsere Legacy-Messaging-Schicht verarbeitete 20.000 Nachrichten pro Sekunde in der Nachbarschaft”, sagt der Ingenieur. “Als wir auf die NashTech Cloud-Lösung umgestiegen sind, konnten wir diese Rate mehr als verdoppeln, ohne wesentliche Änderungen vorzunehmen.”

“Wir begannen mit Pay-as-you-go und hatten die Dinge in etwa einer Stunde zum Laufen gebracht. Die NashTech Cloud-Lösung ermöglichte es uns, die Lernkurve für den internen Betrieb von Kafka zu verschieben. Wir haben derzeit nicht die Ressourcen oder die Bandbreite, um Cluster selbst zu hosten und zu verwalten, also haben wir stattdessen die Kafka-Experten, die das für uns tun.

Leitender Software-Ingenieur