Ermöglicht Huawei die Implementierung verschiedener Funktionalitäten und die Unterstützung der Integration von Presto und Hive in CarbonData

Industrie

Technologie

Apache Spark AWS S3 Bienenstock Hadoop JAVA Presto Scala Spark-Streaming

Einführung

NashTech arbeitete mit Huawei zusammen, um ein Dateiformat zu entwickeln, das schneller und effizienter bei der Verarbeitung und Abfrage von Big Data ist. Jetzt können Huawei-Kunden ihr System durch die Nutzung der Funktionen von CarbonData beschleunigen.

Über Huawei

Apache CarbonData ist ein indiziertes kolumnares Datenformat für schnelle Analysen auf Big-Data-Plattformen, z. B. Apache Hadoop, Apache Spark usw. NashTech ermöglicht es Huawei, mit ihnen zusammenzuarbeiten, um verschiedene Funktionalitäten oder Integrationsunterstützung mit verschiedenen Technologien wie Presto und Hive in CarbonData zu implementieren.

Die Herausforderung

Huawei möchte einen Bereich erforschen, in dem Backend, Frontend und kontinuierliche Integration die Abwärtskompatibilität älterer Versionen sicherstellen, wenn neuere Versionen häufig ausgerollt werden. NashTech arbeitete mit dem Huawei-Team zusammen, um CarbonData dabei zu helfen, von einem Inkubationsprojekt zu einem Apache-lizenzierten Projekt zu werden.

Die Lösung

NashTech arbeitete eng mit dem Huawei-Team zusammen und half bei der Entwicklung der entscheidenden Funktionen, von denen einige unten aufgeführt sind:

Entwicklung eines Tools zur Erstellung von Wörterbüchern für CarbonData.
Verbesserte Kosteneffizienz: Durch das automatisierte Cluster-Management konnten die Betriebskosten um mehr als 50 % gesenkt werden.
CarbonData-Integration mit Presto, Hive, Flink und S3-Technologien.
Einrichten der kontinuierlichen Integration über Jenkins.
Erstellung eines Tools für Leistungstests zur Durchführung von Benchmarking
Null Fehler mit Automatisierungstests erreichen.
Entwicklung der Apache CarbonData-Website und deren Pflege.
Entwicklung und Erweiterung der Kernpakete von CarbonData.
Benchmarking von CarbonData gegenüber verfügbaren Dateiformaten wie Parquet und ORC, gegenüber Frameworks wie Spark, Presto und Impala und gegenüber verschiedenen Speichersystemen wie Hadoop, S3 und Kudu.

Unser Team hat auch ein eigenes Leistungsbenchmarking-Tool für CarbonData entwickelt. Dieses Benchmark-Tool testet die Leistung von CarbonData im Vergleich zu seinen Konkurrenten wie Parquet und ORC Format. Die wichtigsten Funktionen, die das Benchmark-Tool unterstützt, sind folgende:

Generierung der TPCH-Benchmarking-Daten in Abhängigkeit von der konfigurationsbedingten Clustergröße.
Definition von Workloads als Konfiguration für bestimmte Datensätze.
Laden der Daten in allen Formaten in den Hive-Speicher wie CarbonData, Parquet und ORC.
Konfigurationsbasiertes Tuning für Spark, das sowohl Parallelisierungseinstellungen als auch die Spark-Konfiguration auf der Grundlage verschiedener Arbeitslasten umfasst.
Ausführen der Workloads und Erfassen der Antwortzeit und der Ergebnisse in Bezug auf die Last für alle Formate.
Vergleich der Ergebnisse in allen Formaten.
Generierung eines Excel-Berichts, der den Vergleich der Ergebnisse sowie Erfolg und Misserfolg der Testdurchführung zeigt.

Das Ergebnis

Dank der schnellen Entwicklung und des prägnanten Codes, den Scala bietet, konnte NashTech das System innerhalb von 4 Monaten in Produktion bringen. Die Warnmeldungen werden nach festgelegten Regeln an verschiedene Bereiche weitergeleitet und erreichen die Mailbox der Verbraucher in Sekundenschnelle, sobald die Nachricht bekannt wird. Das Produkt wird als Teil der Infrastruktur intensiv genutzt.