IEMN
  • Accueil
  • Actualités
    • Newsletters de l’IEMN
    • Offres de Stages M2-Ingé
    • Les offres d’emplois
    • Toutes les actualités
  • L’Institut
    • Présentation
    • Organisation de l’institut
    • La Direction Scientifique
    • La Direction Technologique
    • La direction administrative et financière
    • Règlement intérieur
    • Nos engagements
  • La Recherche
    • Les départements scientifiques
      • Matériaux Nanostructures et Composants
      • Micro/nano et optoélectronique
      • Technologies des télécommunications et Systèmes intelligents
      • Acoustique
    • Les groupes de recherche
    • Les projets phares
  • Production Scientifique
    • Publications IEMN
    • Ressources production scientifique
  • Les plateformes
    • CMNF – Plateforme Centrale de Micro Nano Fabrication
      • Pôle Gravure et implantation
      • Pôle Analyse In Line
      • Pôle Soft Lithographie et Bio Microfluidique
      • Pôle Dépôts et épitaxie
      • Pôle Lithographie
      • Pôle Packaging
      • Staff CMNF
    • PCMP – Plateforme de Caractérisation Multi-Physique
      • Pôle Microscopie en Champ Proche (PCP)
      • Pôle Caractérisation Hyperfréquence, Optique et Photonique (CHOP)
      • Pôle Systèmes de COMmunications avancées et prototypage (SigmaCOM)
      • Pôle Caractérisation et Compatibilité ElectroMagnétique et prototypage (C2EM)
      • Staff PCMP
    • Prestations proposées par nos plateformes
  • Partenariat – Valorisation
    • Les Collaborations Académiques
    • Projets ANR
    • Principales collaborations internationales
    • Les partenariats industriels
    • Les laboratoires communs IEMN-Industrie
    • Les startups
  • La Formation à la Recherche
    • L’après-thèse
      • Faire un post-doc à l’IEMN
      • Vers le monde des entreprises et de l’industrie
      • Devenir Enseignant-Chercheur
      • Devenir Chercheur
      • Créer son entreprise à l’IEMN
      • FOCUS sur un ingénieur SATT issu de l’IEMN
    • Une thèse à l’IEMN
      • Soutenances de thèses et HDR
      • Sujets de thèses
      • Les financements
      • Les études doctorales
    • Master – Ingénieur
      • Masters ULille
        • Master Life Sciences and Technologies graduate program
        • Master Nanosciences and Nanotechnologies – Speciality ETECH
        • Master Réseaux et Télécommunications
      • Masters UPHF-INSA
        • Master Ingénierie des Systèmes embarqués et Communications Mobiles
        • Master Cyber-Défense et Sécurité de l’information
        • Master Matériaux, Contrôle, Sécurité
        • Master Ingénierie des Systèmes Images et Sons
      • Écoles Ingé partenaires/tutelles
      • Offres de Stages M2-Ingé
    • Le pôle lillois du GIP-CNFM
    • Nano-École Lille
  • Contact
    • Localisation
    • Formulaire de contact
    • Annuaire Intranet
  • Nos soutiens
  • en_GB
  • Rechercher
  • Menu Menu
ACTUALITES

THESE : A. MIMOUNA – Exploration de la fusion de données pour la détection d’objets multiples dans les systèmes de transport intelligents à l’aide de l’apprentissage profond

A. MIMOUNA

Soutenance : 25 Mai 2021
Thèse de doctorat en Electronique, acoustique et telecommunications, Université Polytechnique Hauts de France,

 
Résumé :

Une perception fiable de l’environnement est une tâche cruciale pour la conduite autonome, en particulier dans les zones de trafic dense. La recherche dans ce domaine évolue de plus en plus. Cependant, nous sommes au début d’une voie de recherche vers une future génération de systèmes de transport intelligents. En effet, les principales préoccupations lors du développement de tels systèmes sont les conditions de la conduite, la surveillance des infrastructures et la réponse précise du système en temps réel. Les récentes améliorations et percées dans la compréhension de l’environnement pour les systèmes de transport intelligents reposent principalement sur l’apprentissage profond et la fusion de différentes modalités. Dans ce contexte, tout d’abord, nous introduisons OLIMP:A heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception 1. C’est la première base de données public, multimodale et synchronisée qui comprend des données radar ultra large bande (ULB), des données acoustiques, des données radar à bande étroite et des images. OLIMP comprend 407 scènes et 47 354 données synchronisées, dont quatre catégories: piétons, cyclistes, voitures et tramways. L’ensemble de données présente divers défis liés au trafic urbain dense, tels que des environnements encombrés et des conditions météorologiques différentes. Pour démontrer l’utilité de la base introduite, nous proposons, par la suite, un framework de fusion qui combine les quatre modalités pour la détection multi-objets. Les résultats obtenus sont prometteurs et incitent à de futures recherches. Dans les applications à courte portée, les radars ULB représentent une technologie prometteuse pour la construction de systèmes de détection d’obstacles fiables car ils sont robustes aux conditions environnementales. Cependant, ces radars souffrent d’un défi de segmentation : localiser les régions d’intérêt (ROIs) pertinentes dans ses signaux. Par conséquent, nous mettons en avant une approche de segmentation pour détecter les ROIs dans un environnement dédié à la perception de l’environnement c’est la troisième contribution. Plus précisément, nous mettons en ?uvre une analyse d’entropie différentielle pour détecter les ROIs. Les résultats obtenus montrent des performances supérieures en termes de détection d’obstacles par rapport aux techniques de l’état de l’art, et une robustesse même avec des signaux de faible amplitude. Par la suite, nous proposons un nouveau framework basée sur l’apprentissage profond qui exploite le réseau de neurones récurrents avec les signaux ULB pour la détection multiple d’obstacles routiers. Les caractéristiques sont extraites du domaine temps-fréquence à l’aide de la transformée en ondelettes discrète et sont transmises au réseau récurrent à mémoire courte et long terme. Les résultats obtenus montrent que le système basé sur l’LSTM surpasse les autres techniques implémentées en termes de détection d’obstacles.

Abstract :

Reliable perception of the environment is a crucial task for autonomous driving, especially in dense traffic areas. Research in this area is increasingly evolving. However, we are at the beginning of a research path towards a future generation of intelligent transportation systems. Indeed, the main concerns in the development of such systems are driving conditions, infrastructure monitoring and accurate real-time system response. Recent improvements and breakthroughs in understanding the environment for intelligent transportation systems are mainly based on deep learning and fusion of different modalities. In this context, first, we introduce OLIMP:A heterOgeneous MuLtimodal Dataset for Advanced EnvIronMent Perception 1. It is the first public, multimodal, and synchronized database that includes ultra wideband (ULB) radar data, acoustic data, narrowband radar data, and images. OLIMP includes 407 scenes and 47,354 synchronized data, including four categories: pedestrians, cyclists, cars, and streetcars. The dataset presents various challenges related to dense urban traffic, such as congested environments and different weather conditions. To demonstrate the usefulness of the introduced database, we subsequently propose a fusion framework that combines the four modalities for multi-object detection. The results obtained are promising and encourage future research. In short-range applications, ULB radars represent a promising technology for building reliable obstacle detection systems because they are robust to environmental conditions. However, these radars suffer from a segmentation challenge: locating the relevant regions of interest (ROIs) in its signals. Therefore, we put forward a segmentation approach to detect ROIs in an environment dedicated to the perception of the environment. More precisely, we implement a differential entropy analysis to detect ROIs. The results obtained show superior performances in terms of obstacle detection compared to state-of-the-art techniques, and robustness even with low amplitude signals. Subsequently, we propose a new framework based on deep learning that exploits the recurrent neural network with ULB signals for multiple road obstacle detection. The features are extracted from the time-frequency domain using the discrete wavelet transform and fed to the recurrent network with short and long term memory. The results obtained show that the LSTM-based system outperforms the other implemented techniques in terms of obstacle detection.

Logo
Cité Scientifique
Avenue Henri Poincaré
CS 60069
59 652 Villeneuve d'Ascq Cedex, France
Tel : 03 20 19 79 79
CNRS Logo University of Lille Logo University Polytech Logo Junia Logo Centrale Lille Logo Renatech Logo RFnet Logo
Plan du site
© Copyright Service ECM et pôle SISR 2024
  • Production scientifique
  • Mentions légales
  • Politique de confidentialité
Faire défiler vers le haut
fr_FR
fr_FR
en_GB
Nous utilisons des cookies pour vous garantir la meilleure expérience sur notre site web. Si vous continuez à utiliser ce site, nous supposerons que vous en êtes satisfait.OKNonPolitique de confidentialité