Feifel, Patrick (2026) Inherent Interpretability for Safe Pedestrian Detection with Deep Neural Networks. PhD, Universität Oldenburg.

Volltext (4Mb)

Abstract

Camera-based pedestrian detection utilizing deep neural networks (DNNs) represents a challenging milestone for automated driving. Changes in the perceived environment of an automated vehicle can expose functional insufficiencies of embedded DNNs, potentially resulting in harmful behavior. Accomplishing safe pedestrian detection means providing a structured safety argumentation based on verifiable evidence for the correct functionality of DNNs. Hence, this work proposes a novel methodology for machine learning engineering to support a safety argumentation that addresses functional insufficiencies besides the systematic evaluation of DNNs. The methodology presents verifiable evidence with detection metrics designed for automated driving and assurance metrics to quantify the safety impact of inherent interpretability of DNNs. This work demonstrates that leveraging inherent interpretability enables a safety argumentation. Modifying the DNN architecture and loss formulation to establish interpretable reasoning enforces a structured latent space that inherently provides evidence. The proposed DNN for concept-based pedestrian detection uses semantic concepts such as body parts to structure the latent space by enforcing a high intra-class concentration and inter-class separation. Ultimately, predictions become interpretable since detected body parts have significant similarities to semantic concept vectors. Moreover, structuring the latent space improves the generalization capabilities of DNNs. Despite training with unlabeled real-world data and labeled synthetic data, the DNN for concept-based pedestrian detection adapts successfully to the real world. The development of baseline methods and progressive advancement to novel interpretable methods with state-of-the-art performance conforms to a generic DNN for pedestrian detection. This counteracts the prevalent lack of transparency in pedestrian detection and ensures valid benchmarking. Meanwhile, the systematic evaluation of methods focuses on safety-critical detection errors from the perspective of automated driving systems. The presented experimental results demonstrate the substantial contribution of this work, highlighting the significance of inherent interpretability for safe pedestrian detection with DNNs.

["eprint_fieldname_title_plus" not defined]

Inhärente Interpretierbarkeit für die sichere Fußgängererkennung mit tiefen neuronalen Netzen

["eprint_fieldname_abstract_plus" not defined]

Die kamerabasierte Erkennung von Fußgängern mithilfe von tiefen neuronalen Netzwerken ist ein wichtiger Meilenstein für das automatisierte Fahren. Veränderungen in der wahrgenommenen Umgebung eines automatisierten Fahrzeugs können funktionale Unzulänglichkeiten des eingebetteten tiefen neuronalen Netzwerkes aufdecken, was möglicherweise zu schädlichem Verhalten führt. Die sichere Erkennung von Fußgängern erfordert eine strukturierte Sicherheitsargumentation, die auf überprüfbaren Beweisen für die Abschwächung funktionaler Unzulänglichkeiten beruht. Daher wird in dieser Arbeit eine neuartige Methodik für maschinelles Lernen zur Unterstützung einer Sicherheitsargumentation vorgeschlagen, die neben der systematischen Bewertung von tiefen neuronalen Netzwerken auch funktionale Unzulänglichkeiten berücksichtigt. Die Methodik stellt überprüfbare Beweise mit Erkennungsmetriken vor, die für das automatisierte Fahren entwickelt wurden, sowie Zuverlässigkeitsmetriken zur Quantifizierung der Abschwächung funktionaler Unzulänglichkeiten. Diese Arbeit zeigt, dass die Nutzung der inhärenten Interpretierbarkeit eine Sicherheitsargumentation ermöglicht. Durch Modifikation der Netzwerkarchitektur und der Zielfunktion werden interpretierbare Argumente und ein strukturierter latenter Raum erzwungen, der inhärente Beweise für die korrekte Funktionalität liefert. Das vorgeschlagene tiefe neuronale Netzwerk für die konzeptbasierte Fußgängererkennung führt semantische Konzepte wie Körperteile ein, um den latenten Raum zu strukturieren, indem es eine hohe Konzentration innerhalb der Klasse und eine Trennung zwischen den Klassen erzwingt. Letztendlich werden die Vorhersagen interpretierbar, da die erkannten Körperteile signifikante Ähnlichkeiten mit semantischen Konzeptvektoren aufweisen. Außerdem verbessert die Strukturierung des latenten Raums die Fähigkeit zur Generalisierung von tiefen neuronalen Netzwerken. Trotz des Trainings mit nicht annotierten Realdaten und annotierten synthetischen Daten, generalisiert das tiefe neuronale Netzwerk für konzeptbasierte Fußgängererkennung erfolgreich. Die Entwicklung von Basismethoden und die schrittweise Weiterentwicklung zu vorgeschlagenen Methoden mit wettbewerbsfähiger Erkennungsqualität orientiert sich an einem generischen Netzwerk für die Fußgängererkennung. Damit wird der vorherrschenden Intransparenz in der Fußgängererkennung wirksam entgegengewirkt. Die systematische Evaluierung der Methoden konzentriert sich auf sicherheitskritische Erkennungsfehler aus der Perspektive automatisierter Fahrsysteme. Die vorgestellten experimentellen Ergebnisse zeigen den wesentlichen Beitrag der vorgeschlagenen Methodik und unterstreichen die Bedeutung der inhärenten Interpretierbarkeit für die Entwicklung von tiefen neuronal Netzwerken zur sicheren Fußgängererkennung

Item Type:	Thesis (PhD)
Uncontrolled Keywords:	Pedestrian detection, automated driving, artificial intelligence, interpretability
Divisions:	School of Computing Science, Business Administration, Economics and Law > Department of Computing Science
Date Deposited:	31 Jul 2026 08:46
Last Modified:	31 Jul 2026 08:46
URI:	https://oops.uni-oldenburg.de/id/eprint/7486
URN:	urn:nbn:de:gbv:715-oops-75674
DOI:
Nutzungslizenz:

Actions (login required)

View Item