Master's Thesis for Deep Learning-based Visibility Estimation: Development of a Labeling Workflow and Extension of a CNN Model for Pixel-accurate Visibility Estimation
Deep Learning-basierte Sichtbarkeitsschätzung: Entwicklung eines Labeling-Workflows und Erweiterung eines CNN-Modells zur Pixel-genauen Schätzung der Sichtbarkeit
Masterarbeit
Das Fachgebiet Adaptive Lichttechnische Systeme und visuelle Verarbeitung entwickelt innovative lichttechnische Assistenzsysteme, die den Fahrer insbesondere in der Nacht unterstützen und die Verkehrssicherheit verbessern sollen. Ein zentrales Ziel dieser Forschung ist es, mit Hilfe von Kamerasystemen und Pixelscheinwerfern eine adaptive Beleuchtung zu ermöglichen, die für jedes Objekt optimale Sichtbarkeitsbedingungen schafft.
Ziel dieser Masterarbeit ist es, ein Deep Learning-Modell zu entwickeln, das die Sichtbarkeit von Objekten auf Pixel-Ebene schätzt. Dieses Modell soll mithilfe eines Convolutional Neural Networks (CNN) trainiert werden, das verschiedene Bildmerkmale berücksichtigt, z.B. Leuchtdichtebilder, Kantenkontrastkarten und Aufmerksamkeitskarten (Sind zu erarbeiten). Ein wesentlicher Bestandteil der Arbeit ist die Entwicklung eines Workflows, um Bilder nach ihrer Sichtbarkeit zu labeln, sowie die Erweiterung eines bestehenden Netzwerkarchitektur-Modells, um präzise Schätzungen der Sichtbarkeit zu erreichen.
Forschungsfragen:
1. Wie kann ein Deep Learning-Modell entwickelt werden, das auf Basis von verschiedenen Bildmerkmalen (z. B. Luminance Image, Edge Contrast Map, Saliency Map, Global Object Features) präzise Sichtbarkeitsvorhersagen auf Pixel-Ebene trifft?
2. Welche Methoden und Ansätze zur Modifikation der CNN-Architektur (z. B. Layer, Loss-Funktion) sind geeignet, um die Schätzung der Sichtbarkeit zu verbessern?
Arbeitspakete:
1. Literaturrecherche und theoretischer Hintergrund:
o Durchführung einer umfangreichen Literaturrecherche zu bestehenden Methoden der Bildverarbeitung und Deep Learning-Ansätzen für die Schätzung von Sichtbarkeit und Objekterkennung/Segmentierung.
o Analyse von Segmentierungstechniken und Ansätzen zur Erweiterung auf Sichtbarkeitschätzung, einschließlich der Berücksichtigung von Kontrasten und objektbasierten Merkmalen.
2. Entwicklung eines Workflows zur Sichtbarkeitslabelung:
o Etablierung eines standardisierten Workflows zur Erstellung von Trainingsdatensätzen für die Sichtbarkeitslabelung auf Pixel-Ebene.
o Erarbeitung von Verfahren, um Bilder mit verschiedenen Sichtbarkeitslevels zu kennzeichnen und dabei sowohl die lokalen Kontraste als auch objektbasierte Merkmale zu berücksichtigen.
3. Modellarchitektur und Netzwerkmodifikation:
o Auswahl und Modifikation einer bestehenden CNN-Architektur zur Schätzung von Sichtbarkeit basierend auf den genannten Eingabebildern.
o Anpassung des Modells, um sowohl lokale Kontraste als auch globale objektbasierte Merkmale zu integrieren. Hierbei können verschiedene Layer, Aktivierungsfunktionen oder auch die Loss-Funktion als modifizierbare Ansätze betrachtet werden.
4. Training und Evaluation des Modells:
o Training des CNN-Modells mit den gelabelten Trainingsdaten.
o Evaluierung des Modells mit geeigneten Metriken zur Beurteilung der Genauigkeit der Sichtbarkeitsvorhersage auf Pixel-Ebene.
5. Statistische Analyse und Verbesserungspotenziale:
o Analyse der Ergebnisse und Ermittlung von Verbesserungspotenzialen in der Modellarchitektur und den Trainingsmethoden.
o Identifikation von Bereichen, in denen das Modell optimiert werden kann, und Vorschläge für zukünftige Arbeiten zur Weiterentwicklung der Sichtbarkeitsvorhersage.
6. Dokumentation und Bericht:
o Erstellung einer strukturierten wissenschaftlichen Arbeit zur Darstellung der Ergebnisse und der entwickelten Methoden.
o Ausarbeitung der gewonnenen Erkenntnisse und Vorschläge zur Weiterentwicklung der Technologie.
Please send me your application along with a brief exposé, in which you describe your approach to solving the topic and explain why you are particularly suited for this project. Include information on which relevant courses you have taken during your studies and which projects you have successfully completed that have prepared you for this topic. Your application should also include a cover letter.
Please send your documents by email to kunst@lichttechnik.tu-darmstadt.de .