Das oberste Ziel von ELSSIE ist es, den Wissenschaftlern komplexe Informationen zur Verfügung zu stellen, damit sie die Entwicklung von Arzneimitteln in einem schnellen Tempo vorantreiben können.

Um dies zu erreichen, muss die Lösung in der Lage sein, verschiedene strukturierte und unstrukturierte Inhalte aufzunehmen, sie als abfragbare strukturierte Daten zu speichern, Beziehungen semantisch zu verstehen und zu generieren, indem sie Entitäten und Konzepte erkennt, gespeicherte Daten zu interpretieren und Graphenabfragefunktionen anzubieten sowie eine API zur Integration mit externen Anwendungen bereitzustellen und schließlich Wissenschaftlern die Suche nach Informationen zu erleichtern.

ELSSIE als endgültige Lösung umfasste die folgenden Komponenten:

• Ingestion Layer bietet die Möglichkeit, strukturierte Quellen wie DBpedia und unstrukturierte Quellen wie wissenschaftliche Publikationen aufzunehmen. Der schwierigste Teil dieser Ebene ist die Fähigkeit, strukturiertes Wissen aus unstrukturierten Daten mit Hilfe von NLP zu konstruieren. Ein wissenschaftlicher Zeitschriftenartikel könnte sich zum Beispiel auf “Sauerstoff” beziehen, der von ELSSIE als chemisches Element erkannt und entsprechend gekennzeichnet werden sollte. Dies wird durch die Integration von Apache Spark mit Stanford NLP-Bibliotheken erreicht.
• Die Data Lake-Schicht besteht aus der Speicherung des strukturierten Wissens, das von den Ingest-Pipelines generiert wird, in einem zentralen Repository, das mit Apache Cassandra aufgebaut wird. ELSSIE-Wissen besteht aus einer großen Anzahl von “Tripeln”, die einen großen Graphen bilden. Diese Triples werden im Data Lake bereitgestellt und in eine In-Memory-Datenbank (Grid Gain) geladen, so dass die Leistung innerhalb der strengen Grenzen liegt. Entitlements ist die Unterschicht innerhalb des Data Lake, die steuert, welcher Teil des Wissens für wen zugänglich sein soll. Diese Zugriffsmetadaten werden in Form von Triples gespeichert, so dass die Abfragesysteme die Informationen interpretieren und bereitstellen können.
• Query Layer bietet eine Möglichkeit, Graphfragen (SPARQL Queries) zu stellen und Ergebnisse abzurufen. Es wird viel Innovation und Forschung in die Analyse von SPARQL-Abfragen und die Bereitstellung von Ergebnissen aus einem Schlüsselwertspeicher investiert. NashTech hat den Parser entwickelt, der die Graphenabfragen in äquivalente KV-Speicherabfragen aus der In-Memory-Datenbank umwandelt. Diese Schicht stützt sich auf ein von IBM veröffentlichtes Papier und erweitert das Konzept. NashTech hat seine Leistung anhand von LUBM-Abfragen (Lehigh University Benchmark) nachgewiesen.
• Search Layer bietet die API zur Durchführung von Suchvorgängen im Data Lake. Dies verbindet die Google-ähnliche Freiform-Suche mit der definitiven Abfrage-Fähigkeit von Query Layer, was die Nutzung des Produkts bereichert und verbessert. Die Suche wird mit “Clustern” oder “Themen” von Wissen gefüttert, das von ML-Pipelines generiert wurde, und macht die Facetten in der Suche viel aussagekräftiger. So können die Wissenschaftler nach “Zucker” suchen und die Ergebnisse werden im Zusammenhang mit “Diabetes” oder “Zellenergie” oder “Freizeitgetränken” angezeigt.
• Die Ebene des maschinellen Lernens (ML) bot eine Möglichkeit, die Inhalte zu kuratieren, die von Menschen erzeugten Ergebnisse zu überprüfen, die Genauigkeit des Algorithmus zu messen, mit neuen Modellen zu experimentieren, Probleme zu testen und zu beheben. ML ist der Haupttreiber für zwei Zwecke. Erstens für die Aufnahme von Inhalten, die aus verschiedenen Quellen stammen. Die Quellen für ELSSIE sind vielfältig und reichen von gut strukturierten Inhalten wie DBpedia bis hin zu gescannten PDF-Dokumenten. Die zweite Funktion besteht darin, die Suche intelligenter zu machen. Um die eingehenden und ständig wachsenden Inhalte zu verstehen, wird umfangreiches NLP eingesetzt. In den Pipelines wurden verschiedene Clustering- (Latent Direchlet) und Klassifizierungsalgorithmen (Multi-Klassen-Klassifizierung) implementiert. ML Layer und Ingestion Layer sind eng miteinander verbunden.

Zusammenfassend lässt sich sagen, dass das ELSSIE-Projekt Apache Spark, Apache Hadoop, Apache Cassandra, Apache Kafka, Apache Solr und Apache Grid Gain verwendet, die alle auf AWS aufgebaut sind. Mehrere Innovationen wie dynamisch skalierte Apache Spark- und Hadoop-Cluster, die Erweiterung von QUERTZL durch Antlr-Parser, die Verwendung von LDA zusammen mit NLP zum Auffinden von Entitäten in Texten und ihrer kontextuellen Bedeutung anstelle von harter literarischer Bedeutung wurden erreicht.