Datenlatenz

Engl. data latency; die Datenlatenz ist die Zeitspanne, um die notwendigen Daten zu erfassen und zur Analyse bereitzustellen. Mehrere Faktoren beeinflussen die Geschwindigkeit, mit der Daten verarbeitet und den Nutzern zur Verfügung gestellt werden.

Als Beispiel definiert das Earth Observing System Data and Information System (EOSDIS) der NASA definiert die Datenlatenz folgendermaßen:

"Die Datenlatenz ist definiert als die Gesamtzeit, die zwischen der Erfassung von Daten durch einen Satelliten, einen luftgestützten oder einen In-situ-Sensor und der Bereitstellung der Daten für den öffentlichen Zugang über das Internet vergeht." (What is Data latency?)

Bei Satellitendaten bezieht sich die Datenlatenz auf die Zeit zwischen der Satellitenbeobachtung und dem Zeitpunkt, zu dem die Daten den Nutzern zur Verfügung stehen. Das Fire Information for Resource Management System (FIRMS) der NASA verteilt beispielsweise aktive Branddaten nahezu in Echtzeit innerhalb von drei Stunden nach der Satellitenbeobachtung durch das Moderate Resolution Imaging Spectroradiometer (MODIS) der NASA an Bord der Satelliten Terra und Aqua sowie durch die gemeinsame NASA/NOAA Visible Infrared Imaging Radiometer Suite (VIIRS) an Bord der Satelliten Suomi National Polar-orbiting Partnership (Suomi NPP) und NOAA-20. Zwar ist es für die Einsatzkräfte wichtig, so schnell wie möglich über Daten zu verfügen, doch wird die Geschwindigkeit, mit der die Daten verarbeitet und den Nutzern zur Verfügung gestellt werden, durch mehrere Faktoren beeinflusst.

Die NASA und andere Anbieter geowissenschaftlicher Daten verwenden unterschiedliche Begriffe zur Beschreibung von Datenlatenzzeiten. Die Begriffe Near Realtime (NRT), Low Latency (geringe Latenz) und Expedited (beschleunigt) werden häufig synonym verwendet, um Daten zu bezeichnen, die schneller zur Verfügung gestellt werden, als es die Routineverarbeitung erlaubt.

Im Jahr 2016 fand im Langley Research Center der NASA in Hampton, Virginia, ein Workshop mit dem Titel "Time Sensitive Applications of NASA Data" statt, um Satellitendaten mit geringer Latenzzeit zu identifizieren, zu koordinieren und in den Mittelpunkt zu stellen. Auf diesem Workshop wurden die Begriffe für Latenz definiert und von den Teilnehmern aus der gesamten NASA für alle von EOSDIS im Namen der Earth Science Division der NASA verwalteten Daten vereinbart. Die folgende Tabelle fasst diese Begriffe zusammen.

Begriff (Term)	Latenz (Latency)	Einsatzbereich (Purpose)
Echtzeit (Real-time)	Weniger als eine Stunde	Diese Begriffe werden häufig verwendet, um Daten zu bezeichnen, die schneller zur Verfügung stehen, als es die Routineverarbeitung erlaubt. Sie werden für eine Reihe von angewandten Wissenschaften, zur Unterstützung von Entscheidungen und taktischen Maßnahmen sowie zur Überwachung und Frühwarnung vor Ereignissen verwendet.
Nahe Echtzeit (Near real-time, NRT)	1 - 3 Stunden
Niedrige Latenz (Low latency)	3 - 24 Stunden
Beschleunigt (Expedited)	1 - 4 Tage
Standard-Routineverfahren (Standard routine processing)	Im Allgemeinen 8 - 10 Stunden, aber bis zu 2 Monate für einige komplexere Produkte	Standardprodukte bieten eine in sich konsistente, gut kalibrierte Aufzeichnung der geophysikalischen Eigenschaften der Erde zur Unterstützung der Wissenschaft.

Im Zusammenhang mit NASA-Daten unterscheiden sich Produkte mit niedriger Latenzzeit von Standarddatenprodukten dadurch, dass die Algorithmen für Produkte mit niedriger Latenzzeit geändert werden, um die Datenverfügbarkeit zu beschleunigen.

Ein Hauptunterschied zwischen einigen NRT- und Standardprodukten besteht darin, dass NRT-Daten vorläufige Bahninformationen für die Geolokalisierung verwenden und nicht endgültige Bahninformationen, die möglicherweise erst nach der Erstellung der NRT-Produkte verfügbar sind. Ein zweiter wesentlicher Unterschied betrifft NRT-Produkte, bei denen als Teil des Verarbeitungsalgorithmus Zusatzdaten aus anderen Quellen als dem Satelliten verwendet werden. Diese Zusatzdaten werden mit den Satellitendaten kombiniert, um höherwertige Produkte zu erstellen. Einige Algorithmen für NRT-Datenprodukte verwenden andere oder weniger genaue Zusatzdaten als Standardprodukte. Standardprodukte werden unter Verwendung einer definitiven Geolokalisierung und Instrumentenkalibrierung verarbeitet und liefern eine in sich konsistente, gut kalibrierte Aufzeichnung der geophysikalischen Eigenschaften der Erde zur Unterstützung der wissenschaftlichen Forschung. (Near Real-Time versus Standard Products)

Diese Standarddatenprodukte in wissenschaftlicher Qualität erfordern eine routinemäßige Verarbeitung, die Zeit in Anspruch nimmt. Sie werden in der Regel zwischen acht Stunden und zwei Monaten nach der Datenerfassung zur Verfügung gestellt. Wenn die Latenzzeit kein Hauptanliegen ist, sollten die Nutzer die wissenschaftlichen Standardprodukte verwenden.

Die EOSDIS-Datenprodukte werden auf verschiedenen Ebenen verarbeitet, von Ebene 0 bis Ebene 4. Produkte der Stufe 0 sind Rohdaten in voller Instrumentenauflösung. Auf höheren Ebenen werden die Daten in nützlichere Parameter und Formate umgewandelt. NRT-Daten werden häufig auf den Ebenen 0, 1 und 2 sowie einige Produkte der Ebene 3 bereitgestellt.

Level-Bezeichnung	Verarbeitungsstufe (Processing Level)
Level 0	Level 0-Datenprodukte sind rekonstruierte, unbearbeitete Instrumenten-/Nutzlastdaten in voller Auflösung; alle Kommunikationsartefakte, z. B. Synchronisationsrahmen, Kommunikationsheader, doppelte Daten, werden entfernt.
Level 1A	Bei den Datenprodukten der Ebene 1A handelt es sich um rekonstruierte, unbearbeitete Instrumentendaten mit voller Auflösung, zeitlich referenziert und mit Zusatzinformationen versehen, einschließlich radiometrischer und geometrischer Kalibrierungskoeffizienten und Georeferenzierungsparameter, z. B. Plattform-Ephemeriden, die berechnet und angehängt, aber nicht auf die Daten der Ebene 0 angewendet werden.
Level 1B	Daten der Ebene 1A, die zu Sensoreinheiten verarbeitet wurden (nicht alle Instrumente haben eine Entsprechung in Ebene 1B).
Level 2	Bei den Datenprodukten der Ebene 2 handelt es sich um abgeleitete geophysikalische Variablen mit der gleichen Auflösung und Lage wie die Quelldaten der Ebene 1.
Level 3	Bei den Datenprodukten der Ebene 3 handelt es sich um Variablen, die auf einheitlichen Raum-Zeit-Rastern abgebildet werden, in der Regel mit einer gewissen Vollständigkeit und Konsistenz.
Level 4	Bei den Datenprodukten der Ebene 4 handelt es sich um Modellausgaben oder Ergebnisse von Analysen von Daten der unteren Ebene, z. B. von Variablen, die aus mehreren Messungen abgeleitet wurden.

Weitere Informationen:

What is Data latency? (NASA)