Détails du sujet
Conception et développement d’un système de traduction en temps réel de la langue des signes en texte basé sur l’analyse vidéo par Open CV et l’apprentissage profond.
Résumé
La barrière linguistique entre les personnes entendantes et celles malentendantes ou
sourdes reste un défi majeur pour l’inclusion sociale et professionnelle. Ce mémoire propose une solution technologique innovante pour répondre à ce besoin : un système de
reconnaissance en temps réel de la langue des signes en texte, combinant MediaPipe Holistic, un pipeline de traitement vidéo asynchrone et l’architecture SPOTER. Nous avons
mené une étude expérimentale basée sur la langue des signes américaine (ASL), utilisée
comme benchmark de validation méthodologique, avec un pipeline allant de la capture
vidéo à la prédiction du texte correspondant. L’architecture SPOTER, adaptée et entraînée sur des gestes manuels, a permis d’atteindre des résultats intéressants, notamment en
précision et en réactivité. Les tests ont montré que notre système pouvait reconnaître les
signes avec une précision de 80,61 % au Top-1 et de 94,35 % au test de précision Top-3,
offrant ainsi un retour instantané compréhensible pour les personnes non signantes.
Ce travail a démontré que l’intégration de l’apprentissage profond avec la vision par
ordinateur peut significativement améliorer la communication entre les communautés malentendantes et leur environnement. Il ouvre également des perspectives pour des systèmes
embarqués ou mobiles dédiés à l’accessibilité universelle.
Mots-clés : Langue des signes, apprentissage profond, MediaPipe, traduction en
temps réel, accessibilité, reconnaissance gestuelle
Auteur : MUGISA PANZA
Niveau: G3
Département: Genie Informatique
Année Ac: 2024-2025 , | 2025-03-12 17:03:56
Mots clés
Deep Learning, openCV, Tensorflow, Keras, Python, ASL,
Intérêt
Ce travail a une importance sociale et technologique évidente.
* D’un point de vue social
_____________________
- il vise à favoriser l'inclusion des personnes malentendantes ou sourdes en réduisant les barrières de communication avec leur environnement.
-Cela pourrait améliorer leur accès à l’éducation, à l’emploi et aux interactions quotidiennes.
* D'un point de vue technologique
___________________________
- Ce sujet offre une opportunité d'explorer l'application des concepts d'apprentissage profond et d'analyse vidéo dans le contexte d'une problématique réelle.
- Il contribue à explorer les méthodologies scientifiques et techniques nécessaires à la conception de systèmes de traduction en temps réel.
- De plus, il favorise une réflexion sur l'intégration des technologies dans des solutions pratiques destinées à améliorer la vie quotidienne, tout en abordant des défis liés à la reconnaissance de gestes et au traitement vidéo.
Ce sujet contribue donc non seulement à résoudre une problématique concrète, mais il ouvre également la voie à de nouvelles applications dans le domaine de la reconnaissance de gestes et de la traduction en temps réel.
Directeur & Encadreur
Encadreur: KALIMUMBALO Daniella MUGHOLE
Directeur: AKWIR Alain NKIEDIEL
Status
Décision ou observation:
Feu vert:
Déposé : OUI
Défendu: NON
Finalisé: OUI
Conception et développement d’un système de traduction en temps réel de la langue des signes en texte basé sur l’analyse vidéo par Open CV et l’apprentissage profond.
Résumé
La barrière linguistique entre les personnes entendantes et celles malentendantes ousourdes reste un défi majeur pour l’inclusion sociale et professionnelle. Ce mémoire propose une solution technologique innovante pour répondre à ce besoin : un système de
reconnaissance en temps réel de la langue des signes en texte, combinant MediaPipe Holistic, un pipeline de traitement vidéo asynchrone et l’architecture SPOTER. Nous avons
mené une étude expérimentale basée sur la langue des signes américaine (ASL), utilisée
comme benchmark de validation méthodologique, avec un pipeline allant de la capture
vidéo à la prédiction du texte correspondant. L’architecture SPOTER, adaptée et entraînée sur des gestes manuels, a permis d’atteindre des résultats intéressants, notamment en
précision et en réactivité. Les tests ont montré que notre système pouvait reconnaître les
signes avec une précision de 80,61 % au Top-1 et de 94,35 % au test de précision Top-3,
offrant ainsi un retour instantané compréhensible pour les personnes non signantes.
Ce travail a démontré que l’intégration de l’apprentissage profond avec la vision par
ordinateur peut significativement améliorer la communication entre les communautés malentendantes et leur environnement. Il ouvre également des perspectives pour des systèmes
embarqués ou mobiles dédiés à l’accessibilité universelle.
Mots-clés : Langue des signes, apprentissage profond, MediaPipe, traduction en
temps réel, accessibilité, reconnaissance gestuelle
Auteur : MUGISA PANZA
Niveau: G3
Département: Genie Informatique
Année Ac: 2024-2025 , | 2025-03-12 17:03:56
Mots clés
Deep Learning, openCV, Tensorflow, Keras, Python, ASL,Intérêt
Ce travail a une importance sociale et technologique évidente.* D’un point de vue social
_____________________
- il vise à favoriser l'inclusion des personnes malentendantes ou sourdes en réduisant les barrières de communication avec leur environnement.
-Cela pourrait améliorer leur accès à l’éducation, à l’emploi et aux interactions quotidiennes.
* D'un point de vue technologique
___________________________
- Ce sujet offre une opportunité d'explorer l'application des concepts d'apprentissage profond et d'analyse vidéo dans le contexte d'une problématique réelle.
- Il contribue à explorer les méthodologies scientifiques et techniques nécessaires à la conception de systèmes de traduction en temps réel.
- De plus, il favorise une réflexion sur l'intégration des technologies dans des solutions pratiques destinées à améliorer la vie quotidienne, tout en abordant des défis liés à la reconnaissance de gestes et au traitement vidéo.
Ce sujet contribue donc non seulement à résoudre une problématique concrète, mais il ouvre également la voie à de nouvelles applications dans le domaine de la reconnaissance de gestes et de la traduction en temps réel.
Directeur & Encadreur
Encadreur: KALIMUMBALO Daniella MUGHOLEDirecteur: AKWIR Alain NKIEDIEL
Status
Décision ou observation:Feu vert:
Déposé : OUI
Défendu: NON
Finalisé: OUI