ValidITy (Validation of Intelligent Terrain Feature Recognition Methods for Hydrographic Data) ist ein Technologietransfer - Validierungsprojekt, das durch die Helmholtz Impuls- und Vernetzungsfonds (Förderkennzeichen KA-TVP 44) gefördert wird. Es hat eine Laufzeit von zwei Jahren, vom 01. Juli 2023 bis 30. Juni 2025.

In dem Projekt ValidITy soll der Prozess der Annotation von Unterwasserobjekten verbessert werden.
Der aktuell industrieweit übliche Prozess basiert großteilig auf durch Menschen manuell durchgeführte Datenbearbeitung und Annotation.
In unserem Vorhaben werden wir moderne Technologien und Erkenntnisse aus der User Experience (UX) Entwicklung nutzen, um ein All-in-One-Tool zur Ausführung der folgenden Aufgaben zu entwicklen:

Erkunden

Hohe Datenqualität ist der erste Schritt zu guten Ergebnissen. Um sicherzustellen, dass Produkte wie Multibeam-Echolot oder Side-Scan-Sonar Bilder für die zuverlässige Detektion von Unterwasserobjekten geeignet sind werden wir automatische Datenqualitätskontrollsysteme implementieren.

Des Weiteren wollen wir die händische Untersuchung hydrographischer Daten so einfach wie möglich machen. Die Erfahrung in der Zusammenarbeit mit unseren Industriepartnern hat gezeigt, dass besonders die lange Wartezeiten bei der Prozessierung der Daten, eine optisch undeutliche Farbgebung und die fehlende Wiederholbarkeit der Prozesse Probleme machen.

Wir planen diesen Prozess zu modernisieren und zu vereinfachen, indem wir sowohl die Erfahrungen unseres Team aus der Entwicklung des Digital Earth Viewers, einer Best-in-Class 3D-Darstellungssoftware für Geo-Rohdatenprodukte, sowie moderene Technologien, wie General Purpose Computation on Graphics Processing Unit (GPGPU), nutzen.

Entdecken

Das manuelle Annotieren in Programmen wie QGIS oder SAGA GIS kann langwierig sein, weil für jede Objektannotation eine Reihe von Benutzerinteraktionen notwendig ist. Wir sehen drei Möglichkeiten, wie dieser Prozess bedeutend verbessert werden kann:

• Ein Objekt zu markieren sollte nur eine Minimum an Interaktionen benötigen. Für Punkt-Annotationen bedeutet dies, dass jeder Klick eine neue Objekt-Annotation erstellt.
• Die Annotation von Merkmalen (Features) kann erheblich vereinfacht werden, wenn durch die Färbung der Datendarstellung die Objekte bereits hervorgehoben sind. Dies kann durch die Verkettung von verschiedenen Derivaten, wie den Terrain Position Index (TPI), die Ausrichtung (Aspect) oder die Neigung (Slope), und die Setzung derer Schwellwerte erreicht werden.
• Unter Nutzung der Merkmal-Karte, welche im vorherigen Schritt entwickelt wurde, können wir dem Nutzer weitere Objekt Positionen vorschlagen.

Nachdem eine Reihe von Annotationen erzeugt worden ist, wird eine manuelle Überprüfung dieser durchgeführt. Ein Prototyp zur Verbesserung dieses Prozesses wurde bereits erstellt. Dieser Prototyp zeigt dem Nutzer Abschnitte sowohl der Multibeam-Echolot als auch der Side-Scan-Sonar Bilder zusammen mit zusätzichen Statistiken der Objekte und ermöglicht es Nutzenden die Annotationen mit einem Tastendruck anzunehmen oder abzulehnen Zusätzlich planen wir statistische Maße wie t-distributed stochastic neighbor (t-SNE) clustern und Visual Hashing zu implementieren, die es Nutzenden erlauben besser informierte Entscheidungen zu treffen oder sogar eine Klassifikation der Objekte anhand der geomorphischen Eigenschaften allein durchzuführen.

Erkennen

Die Annotationen aus dem vorherigen Schritt können genutzt werden, um einen Machine Learning Algorythmus zu trainieren, welcher automatisiert ähnliche Objekte auf hydrographisch analogen Böden findet. Eine solche Anwendung könnte zum Beispiel in einem Arbeitsablauf verwendet werden, in dem zunächst ein kleiner repräsentativer Bereich manuell annotiert wird und anschließend der Algorythmus das verbleibende Gebiet automatisiert annotiert. In dem Projekt BASTA wurde ein Technologiedemonstrator entwickelt und von Industriepartnern evaluiert, der den U-Net (2015) Segmentierungsalgorythmus nutzt. Jetzt planen wir weitere, bewiesenermaßen funktionierende Objektdetektionsalgorythmen wie YOLO (2016) und ViT(2020) der Software hinzuzufügen.

Da bekannterweise selbst die besten Machine-Learning-Algorithmen Fehler machen, werden wir auf Basis der Datenqualitätskontrollsysteme für manuelle Annotationen Werkzeuge implementieren, mit denen der Confidence Level und die Objektähnlichkeit für jede Annotation verifiziert werden kann. Abschließend muss in manchen Anwendungsfällen nur eine begrenzte Art von Objekten identifiziert werden. Für diese Fälle wird eine Anwendung erstellt, die 3D Modellen der zu identifizierenden Objekte mit eingegebenen Morphologien vergleicht.