• Blackhole App für Android in Google Playstore und für iOS im Apple App Store
• Aufnahme der Zielscheibe mit Handy, Auswertung der Treffer binnen Sekunden, digitiales Trainingslogbuch, PDF-Export
• Projekt gefördert durch den Freistaat Thüringen und den Europäischen Sozialfonds

Computer Vision · Xamarin · Android · iOS · OpenCV · SqLite · C++ · C#

Institution: Zentrum für Bild- und Signalverarbeitung e.V.

Zeitraum: 2008 – 2012

Rolle: Entwicklungsingenieur

Problem

Kanalnetzbetreiber benötigen vollständige, valide Schadensdaten – manuelle Inspektionen sind zeitaufwendig, fehleranfällig und liefern oft unvollständige Befunde.

Ziel

Entwicklung eines robotergestützten 3D-Inspektionssystems zur virtuellen „Begehung von Abwasserkanälen mit automatischer Auswertung aller relevanten Schadensbilder.

Ergebnis

• Kompakter Kamera-Projektor-Sensorkopf (DN 200–400) in spiralförmiger Anordnung für lückenlose 3D-/Textur-Erfassung
• Entwicklung von RGB-Farbcodes für Single-Shot-3D
• passive Bewegungserfassung und multimodale Fusion zu hochpräzisen RGB-Punktwolken
• Wissensbasierte Klassifikation und Quantifizierung von Rissen, Brüchen und Rohranschlüssen gemäß DIN EN 13508
• Bereitstellung der Analyse als Stand-Alone-Tool oder Library für nahtlose Integration

siehe auch AUZUKA – Projektwebseite des ZBS e. V.

Tech-Stack

2D/3D Computer Vision · Optische Triangulation · Farbmusterprojektion · Multimodale Datenfusion · 3D-Punktwolken · OpenCV · PointCloud Library · C++

Erzeugung eines farbtexturierten Tiefenbildes

Während der Fahrt durch den Kanal nimmt der Messkopf des Roboters in schneller Folge ein Texturbild, ein Musterbild und erneut ein Texturbild auf. Da sich der Roboter dabei kontinuierlich bewegt, müssen diese Bilder zunächst geometrisch zueinander registriert werden. Aus dem Musterbild wird anschließend das Tiefenbild rekonstruiert, bereinigt und interpoliert. Parallel dazu wird das zweite Texturbild farb- und shadingkorrigiert und mithilfe der zuvor bestimmten Transformation exakt auf das Tiefenbild abgebildet. Durch die Kombination beider Informationsquellen entsteht schließlich ein konsistentes farbtexturiertes Tiefenbild (RGB-D), das die Kanalinnenwand sowohl geometrisch als auch visuell vollständig beschreibt [8].

Merkmalsbasierte 2D/3D-Registrierung überlappender Kanalabschnitte

Zur Zusammenführung überlappender Messbereiche werden Textur- und Tiefendaten benachbarter Aufnahmen zunächst nach markanten Bildmerkmalen durchsucht. Diese Features werden zwischen den beiden Texturbildern gematcht und anschließend gefiltert, um nur robuste Korrespondenzen zu behalten. Aus den so gefundenen Punktpaaren wird zunächst die relative Rotation und Richtung der Translation bestimmt. Durch Einbeziehung der zugehörigen Tiefenwerte wird die Transformation vollständig aufgelöst und in ein 3D-Koordinatensystem überführt. Das Ergebnis ist eine präzise räumliche Ausrichtung der beiden Kanalabschnitte, sodass ihre 3D-Daten konsistent fusioniert und weiterverarbeitet werden können [8].

3D-Oberflächenmessung mit RGB-Streifenmusterprojektion

Für die 3D-Erfassung wurde ein farbcodiertes Streifenprojektionsverfahren entwickelt, das im Labor präzise Rekonstruktionen ermöglichte. Die Methode bot eine eindeutige Streifenzuordnung und robuste Auswertung. Eine Miniaturisierung des Projektors für den Einsatz in engen Rohren gelang jedoch nicht, da keine ausreichend feinen und farbstabilen Festmuster realisierbar waren. Daher wurde das Verfahren letztlich nicht eingesetzt [10].

Shading- und Farbkorrektur

Bei der Kanalinspektion führen starke Blickwinkel und ungleichmäßige Beleuchtung zu deutlichen Helligkeits- und Farbfehlern. Ein eigens entwickeltes Verfahren erzeugt ein Hellbild direkt aus den Messdaten und korrigiert Shading und Farbstiche für jeden Kanal separat. Dadurch entstehen homogene, farbstabile Aufnahmen, die eine zuverlässige automatische Analyse ermöglichen [9].

Schadenssegmentierung und Vermessung

Das entwickelte Vermessungstool bemaßt Risse, Ausbrüche und Rohranschlüsse auf Basis der Bounding Box der KI-Schadenserkennung. Es bestimmt bei Rissen Länge sowie durchschnittliche und maximale Breite, bei Ausbrüchen Größe und Flächeninhalt und bei Rohranschlüssen die horizontalen und vertikalen Durchmesser. Zur präzisen Konturerkennung kann der Nutzer Bereiche vorgeben, die bevorzugt verfolgt werden sollen (grün) oder ausgeschlossen werden müssen (rot).

Institution: Zentrum für Bild- und Signalverarbeitung e.V.

Zeitraum: 2008 – 2013

Rolle: Entwicklungsingenieur

Problem

In gemeinsam genutzten Arbeitsräumen von Mensch und Roboter fehlte eine permanente, robuste 3D-Überwachung – Lichtwechsel, Spiegelungen und Verdeckungen erschwerten die Bildanalyse und verhinderten proaktives Eingreifen.

Ziel

Entwicklung einer Bild-basierten Sicherheitsplattform zur 2D/3D-Erfassung und Klassifikation von Gefahrenszenarien, um im Ernstfall automatisiert Bahnkorrektur, Verlangsamung oder Not-Stop auszulösen.

Institution: Technische Universität Ilmenau

Zeitraum: 2006 – 2008

Rolle: Wissenschaftlicher Mitarbeiter

Problem

Für eine Nanopositionier- und -messmaschine wurde ein Sensor benötigt, der in Z-Richtung mit Nanometerpräzision, absolut und bei großem lateralen Messbereich berührungslos misst.

Ziel

Entwicklung eines modularen Messkopfes inkl. Software zur Weißlichtinterferometrie.

Ergebnis

• Aufbau des WLI-Messkopfes aus handelsüblichen Komponenten (Monochrom-Kamera, Tubus, Mirau-Objektiv, Weißlichtquelle)
• Steuerungssoftware zur synchronisierten Koordination von Kamera und Maschine
• Auswertungssoftware für Interferogramme (effiziente Frequenzbereichslokalisation und Phasenauswertung)
• Implementierung lateralem Stitching und Z-Stitching zur Vergrößerung des Messfelds
• FastScan durch Unterabtastung
• Erweiterung durch kostengünstige Objektivversteller als Alternative zur High-End-Koordinatenmessmaschine
• diese Entwicklungen bildeten die Grundlage für die smartWLI Produkte der GBS Metrology GmbH, einer der inzwischen führenden Anbieter für Weißlichtinterferometrie

Tech-Stack

Computer Vision · Weißlichtinterferometrie · Optische Messtechnik · Vip-Toolkit · C++

Messepräsentation des ersten WLI-Funktionsmusters

Institution: Zentrum für Bild- und Signalverarbeitung e. V.

Zeitraum: 2004 – 2005

Rolle: Diplomarbeit

Problem

Die manuelle Sortierung von Haselnüssen bremst den Durchsatz und ist personalaufwändig und fehleranfällig.

Ziel

Eine automatisierte Inspektionslösung, die in Echtzeit große Mengen zuverlässig nach gut bzw. in verschiedene Schadklassen einordnet.

Ergebnis

• Erstellung von Membership-Bildern (Linear, Gauß, Z-Funktionen) für lokale Klassenzugehörigkeiten
• Fuzzy-Region-Growing-Segmentierung für objektgenaue Defekterkennung ohne Quantisierungsfehler
• Fuzzy-Inferenz-System zur regelbasierten Endklassifikation
• Deutlich höhere Erkennungsgenauigkeit und Produktionsgeschwindigkeit

Tech-Stack

Computer Vision · Maschinelles Lernen · Vip-Toolkit · C++