Die größte Herausforderung für Zillion bestand darin, mit den riesigen Datensätzen umzugehen, einschließlich der konsolidierten medizinischen Aufzeichnungen und der Teilnehmerdaten von den Geräten, die sie bereits benutzen, von Smartphones bis zu Fitbits und mehr. Die vorhandenen Pipelines verarbeiteten und luden jedes Mal, wenn die Pipeline lief, die gesamten Datensätze (in Terabytes), was ziemlich lange dauerte. Die Herausforderung bestand darin, die Pipeline zur Implementierung der Deltas so aufzubauen, dass die Datenverarbeitung und das Laden nur für die geänderten Daten (eingefügt/aktualisiert) und nicht für den gesamten Datensatz erfolgen. Eine weitere Herausforderung bestand darin, die bestehende unstrukturierte Codebasis mit Hilfe von Scala Best Practices umzugestalten und die Anwendung in eine Microservices-basierte Architektur zu überführen.