Jury :

• Direction de thèse – Christophe Loyez, Directeur de recherche CNRS, IEMN
• Co-direction de thèse – François Danneville, Professeur des universités, Université de Lille / IEMN
• Rapporteur – Blaise Yvert, Directeur de recherche, Inserm Grenoble Alpes
• Rapporteur – Damien Querlioz, Directeur de recherche CNRS, C2N Paris-Saclay
• Examinateur – Pierre Boulet, Professeur des universités, Université de Lille / CRIStAL
• Examinatrice – Elena Ioana Vatajelu, Chargée de recherche CNRS, Laboratoire TIMA
• Invité – Michael Bocquet, Maître de conférences, Université Polytechnique Hauts-de-France / IEMN
• Invitée – Fouzia Boukour, Directrice de recherche, Université Gustave Eiffel / LEOST

Summary:

Le biomimétisme est une approche de plus en plus répandue dans les différents domaines scientifiques. Il est régulièrement la source de nouveaux paradigmes et, depuis quelques années, a impulsé le traitement et les technologies neuromorphiques qui portent la promesse d’avancées significatives dans le domaine de la théorie de l’information et une efficacité énergétique sans précédent. Avec cette approche, les systèmes artificiels à impulsions inspirés du traitement neuronal dans le cerveau peuvent traiter des signaux issus de diverses modalités.
Dans le contexte de la surveillance acoustique de la biodiversité, cette thèse explore le potentiel d’une technologie neuromorphique analogique intégrant des transistors à effet de champ métal-oxyde-semi-conducteur fonctionnant en régime sous-le-seuil avec une puissance consommée ultra-faible (ULP). En tenant compte des contraintes ULP, des outils de pré-traitement bioinspirés et économes en énergie sont conçus pour la localisation et la reconnaissance des sources sonores et leur performances sont évaluées.
Tout d’abord, un extracteur original de différence interaurale de temps (ITD) est modélisé d’après le détecteur de mouvement Hassenstein-Reichardt, choisi pour son faible nombre de neurones, et appliqué aux signaux acoustiques pour estimer la direction d’arrivée des sources sonores. L’extracteur d’ITD est évalué en simulation sur la base d’enregistrements en intérieur en 2D et 3D à des distances comprises entre 24 cm et 10 m, en particulier pour des sons de type clic. Une technique simplifiée de multilatération hyperbolique permet d’analyser les performances de localisation de l’extracteur d’ITD, et qui résulte en des précisions azimutales encourageantes, compte tenu de sa consommation potentielle d’ULP, de 73,9 % (±2,5°) et 77 % (±5°) entre 1 m et 3 m pour les sons de type clic.
Ensuite, dans le but de traiter des scénarios multisources, un détecteur de caractéristiques temporelles inspiré du mécanisme de reconnaissance du chant d’appel des criquets femelles a été conçu et intégré sur puce à partir de la technologie neuromorphique sous-le-seuil. Testé sur un banc sous pointes avec des signaux artificiels et des chants d’appel de criquets réels, le détecteur atteint une consommation totale inférieure au nanowatt dans des scénarios calmes ou bruyants, avec une grande précision et un recall encourageant.
Finalement, la combinaison de plusieurs instances de ces deux outils de pré-traitement permet d’envisager des applications de suivi et de comptage des sources acoustiques.

Abstract:

Biomimetism is an increasingly widespread approach in various scientific fields. It regularly gives rise to new paradigms and, in recent years, has driven neuromorphic computing and technologies which promise significant advances in the field of information theory and unprecedented energy efficiency. With this approach, artificial spiking systems inspired by the neuronal impulse processing in the brain can process signals from various modalities.
In the context of acoustic monitoring of biodiversity, this thesis investigates the potential of an analog neuromorphic technology integrating metal-oxide-semiconductor field-effect transistors operating in the subthreshold regime with ultra-low power (ULP) consumption. Keeping ULP constraints under consideration, bioinspired energy-efficient precomputing tools are designed for sound source localization and recognition and their performances assessed.
Firstly, an original interaural time difference (ITD) extractor is modelled after the Hassenstein-Reichardt detector of motion detection, chosen for its low number of neurons, and applied to acoustic signals for estimation of sound sources’ direction of arrival. The ITD extractor is evaluated in simulation on the basis of 2-D and 3-D indoor recordings at distances between 24 cm and 10 m of click-like sounds in particular. A simplified hyperbolic multilateration technique enables the analysis of the ITD extractor’s localization performances, resulting in encouraging azimuth accuracies, in view of its potential ULP consumption, of 73.9% (±2.5°) and 77% (±5°) between 1 m and 3 m for click like sounds.
Then, with the aim to address multisource scenarios, a detector of temporal characteristics inspired by the calling song recognition mechanism of female field crickets is designed and successfully implemented on chip using the subthreshold neuromorphic technology. Tested under a probe station with artificial and real-world cricket calling songs, the detector reaches a sub-nanowatt total power consumption in quiet or noisy scenarios with high precision and encouraging recall.
Finally, combining multiple instances of these two precomputing tools enables one to envision acoustic source tracking and counting applications.