Patienten-Analyseplattform für Shoppers Drug Mart auf Google Cloud

Industrie

Technologie

Apache Beam BigQuery DLP GCPS - OCR Kneipe/Verleih Kubernetes SpringBoot

Einführung

Wir halfen bei der Konzeption, dem Design und der Bereitstellung einer hoch skalierbaren und widerstandsfähigen GCP-nativen Datalake-Lösung, die GCP-Infrastruktur und -Dienste wie Apigee, Kubernetes Engine, Pub/Sub, Dataflow, Data Loss Prevention und BigQuery nutzt.

Über Shoppers Drug Mart

Shoppers Drug Mart ist Kanadas führender Apothekeneinzelhändler mit mehr als 1.300 apothekeneigenen Standorten im ganzen Land. Das 1962 gegründete Unternehmen Shoppers Drug Mart ist eine Tochtergesellschaft der Loblaw Companies Limited und hat seinen Hauptsitz in Toronto, Ontario, Kanada.

NashTech unterstützte Shopper’ Drug Mart (SDM) beim Aufbau skalierbarer Datenpipelines auf Basis der Google Cloud Platform (GCP), um Patienteninteraktionen nahezu in Echtzeit aus einer Vielzahl von SDM-eigenen Patientenformularen zu erfassen. Die erfassten Daten werden im BigQuery-basierten DataLake gespeichert und stehen für Einblicke und Analysen zur Verfügung, die zur Verbesserung der Patientenergebnisse und zur Steigerung der betrieblichen Effizienz beitragen können. Diese Lösung hat es SDM ermöglicht, Daten aus mehr als 30 Patienten- und Apothekenformularen zu erfassen und umzuwandeln. Die Daten werden in GCP mit einer Spitzenrate von 10.000 Formularübermittlungen pro Stunde verarbeitet. Ohne diese Lösung wurden die Daten, die durch die Interaktionen der Benutzer mit diesen Formularen erfasst wurden, nicht gespeichert und standen somit nicht für die Durchführung von Analysen zur Verfügung.

Auswirkungen

Zuvor nicht erfasste Patientenerfahrungen sind nun verfügbar, um Einblicke und Analysen durchzuführen
Interaktionen von Patienten und Apothekenbenutzern in den über 1000 SDM-Filialen in ganz Kanada
Millionen von Datensätzen in den ersten Monaten des Betriebs erfasst
Nahtlose Integration neuer Benutzererfahrungen ohne Serviceunterbrechung
Unterstützt die automatische Erkennung von dynamischen Datenbindungen
PII-Daten werden mit Cloud DLP und benutzerdefinierten Maskierungstechniken maskiert
Skalierbare Architektur, die höhere Lastspitzen und das Hinzufügen neuer Formulare ohne manuelle Eingriffe bewältigen kann

Problemstellung

Shoppers Drug Mart verwendet eine Reihe von webbasierten Formularen, die sowohl den Apothekern als auch den Kunden eine Vielzahl von Benutzererfahrungen bieten, während sie verschiedene Dienstleistungen wie Impfungen, Medikamentenüberprüfung, Gesundheitscheck usw. überprüfen und/oder sich dafür anmelden. Die Informationen, die durch diese Nutzererfahrungen erfasst wurden, waren zuvor nirgendwo gespeichert. Die erfassten Daten werden auf der Grundlage von Benutzerinteraktionen dynamisch erstellt. Es wurde eine Lösung benötigt, die Daten aus diesen Formularen erfassen und in einem Datalake auf GCP speichern kann. Die Lösung sollte skalierbar sein und allen Anforderungen an Sicherheit und Datenschutz genügen.

Lösung

Das Team von NashTech, bestehend aus erfahrenen Ingenieuren und GCP-Experten, entwickelte eine hoch skalierbare und unternehmenstaugliche Lösung, die Java verwendet und mehrere native GCP-Dienste nutzt. Die Lösung wurde entwickelt, um die Dynamik der Formulare zu unterstützen und erfordert keine Erweiterungen oder Serviceunterbrechungen für die Einführung neuer Formulare und/oder Aktualisierungen bestehender Formulare. Die erfassten Daten werden als Ereignisse in einem Ereignisspeicher und in der auf BigQuery basierenden Datalake gespeichert. Alle PII-Daten werden vor der Speicherung in Datalake de-identifiziert. Die Sammlung und Überwachung von Metriken wurde mit Stackdriver, Prometheus und Grafana durchgeführt.

Skalierbare Datenerfassungs-API: Echtzeitdaten werden über Springboot-basierte skalierbare Microservices, die auf der Kubernetes-Engine gehostet werden, an die Datenpipelines weitergeleitet.
Ereignisgesteuerte Architektur mit Pub/Sub: Verschlüsselte Daten werden als Ereignisse an eine Pub/Sub-Warteschlange weitergeleitet.
Stabile parallele Verarbeitung mit Dataflow: Die Daten werden mithilfe von Apache Beam-basierten Dataflow-Läufern verarbeitet, umgewandelt und in BigQuery Datalake gespeichert. Die folgenden Aufgaben werden von Dataflow ausgeführt:
- Verschlüsselte Ereignisse in einem Ereignisspeicher speichern
- Datenqualitätsprüfungen durchführen
- De-Identifizierung von PII-Daten mit Cloud DLP und benutzerdefinierter Maskierung
- Automatische Erkennung von Schemata und Umwandlung von Daten, die in BigQuery Datalake gespeichert werden sollen
BigQuery Datalake: Erfasste Daten werden über BigQuery-Tabellen und -Ansichten für Analysen und Vorhersagen zur Verfügung gestellt.
Beobachtbarkeit und Überwachung mit Prometheus und Grafana: Alle Komponenten der Pipelines sind mit Prometheus und Stackdriver integriert. Metriken werden über Grafana Dashboards überwacht

Das Ergebnis

Alle Formulardaten werden nun in BigQuery eingelesen, und das Data Science Team von SDM kann nun auf die Kunden- und Apothekendaten zugreifen, um weitere Einblicke zu gewinnen und Analysen durchzuführen, die SDM dabei helfen, die Ergebnisse für die Patienten zu verbessern, die betriebliche Effizienz zu steigern usw. Es unterstützt die dynamische Natur von Formularen und erfordert keine Erweiterungen oder Serviceunterbrechungen für die Bearbeitung neuer Formulare oder Aktualisierungen bestehender Formulare.

“Unsere Lösung speichert diese Informationen in BQ, die für jede weitere Verarbeitung genutzt werden können, z. B. für Analysen, die Bereitstellung zusätzlicher Benutzererfahrungen auf der Grundlage zuvor erfasster Daten, ggf. mit Ereignissen/Auslösern und anderen Anwendungsfällen für verfügbare Daten. Wir sehen dies nur als den Anfang unserer Reise mit SDM.”

Senior Direktor, Datentechnik – Shoppers Drug Mart