Summary:

Une perception fiable de l’environnement est une tâche cruciale pour la conduite autonome, en particulier dans les zones de trafic dense. La recherche dans ce domaine évolue de plus en plus. Cependant, nous sommes au début d’une voie de recherche vers une future génération de systèmes de transport intelligents. En effet, les principales préoccupations lors du développement de tels systèmes sont les conditions de la conduite, la surveillance des infrastructures et la réponse précise du système en temps réel. Les récentes améliorations et percées dans la compréhension de l’environnement pour les systèmes de transport intelligents reposent principalement sur l’apprentissage profond et la fusion de différentes modalités. Dans ce contexte, tout d’abord, nous introduisons OLIMP:A heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception 1. C’est la première base de données public, multimodale et synchronisée qui comprend des données radar ultra large bande (ULB), des données acoustiques, des données radar à bande étroite et des images. OLIMP comprend 407 scènes et 47 354 données synchronisées, dont quatre catégories: piétons, cyclistes, voitures et tramways. L’ensemble de données présente divers défis liés au trafic urbain dense, tels que des environnements encombrés et des conditions météorologiques différentes. Pour démontrer l’utilité de la base introduite, nous proposons, par la suite, un framework de fusion qui combine les quatre modalités pour la détection multi-objets. Les résultats obtenus sont prometteurs et incitent à de futures recherches. Dans les applications à courte portée, les radars ULB représentent une technologie prometteuse pour la construction de systèmes de détection d’obstacles fiables car ils sont robustes aux conditions environnementales. Cependant, ces radars souffrent d’un défi de segmentation : localiser les régions d’intérêt (ROIs) pertinentes dans ses signaux. Par conséquent, nous mettons en avant une approche de segmentation pour détecter les ROIs dans un environnement dédié à la perception de l’environnement c’est la troisième contribution. Plus précisément, nous mettons en ?uvre une analyse d’entropie différentielle pour détecter les ROIs. Les résultats obtenus montrent des performances supérieures en termes de détection d’obstacles par rapport aux techniques de l’état de l’art, et une robustesse même avec des signaux de faible amplitude. Par la suite, nous proposons un nouveau framework basée sur l’apprentissage profond qui exploite le réseau de neurones récurrents avec les signaux ULB pour la détection multiple d’obstacles routiers. Les caractéristiques sont extraites du domaine temps-fréquence à l’aide de la transformée en ondelettes discrète et sont transmises au réseau récurrent à mémoire courte et long terme. Les résultats obtenus montrent que le système basé sur l’LSTM surpasse les autres techniques implémentées en termes de détection d’obstacles.

Abstract:

Reliable perception of the environment is a crucial task for autonomous driving, especially in dense traffic areas. Research in this area is increasingly evolving. However, we are at the beginning of a research path towards a future generation of intelligent transportation systems. Indeed, the main concerns in the development of such systems are driving conditions, infrastructure monitoring and accurate real-time system response. Recent improvements and breakthroughs in understanding the environment for intelligent transportation systems are mainly based on deep learning and fusion of different modalities. In this context, first, we introduce OLIMP:A heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception 1. It is the first public, multimodal, and synchronized database that includes ultra wideband (ULB) radar data, acoustic data, narrowband radar data, and images. OLIMP includes 407 scenes and 47,354 synchronized data, including four categories: pedestrians, cyclists, cars, and streetcars. The dataset presents various challenges related to dense urban traffic, such as congested environments and different weather conditions. To demonstrate the usefulness of the introduced database, we subsequently propose a fusion framework that combines the four modalities for multi-object detection. The results obtained are promising and encourage future research. In short-range applications, ULB radars represent a promising technology for building reliable obstacle detection systems because they are robust to environmental conditions. However, these radars suffer from a segmentation challenge: locating the relevant regions of interest (ROIs) in its signals. Therefore, we put forward a segmentation approach to detect ROIs in an environment dedicated to the perception of the environment. More precisely, we implement a differential entropy analysis to detect ROIs. The results obtained show superior performances in terms of obstacle detection compared to state-of-the-art techniques, and robustness even with low amplitude signals. Subsequently, we propose a new framework based on deep learning that exploits the recurrent neural network with ULB signals for multiple road obstacle detection. The features are extracted from the time-frequency domain using the discrete wavelet transform and fed to the recurrent network with short and long term memory. The results obtained show that the LSTM-based system outperforms the other implemented techniques in terms of obstacle detection.