Projet de traitement de parole n°3

 

"Prédiction d’information à l’aide d’un arbre de décision entraîné par minimisation d’entropie"

réalisé par

Jospin Mathieu et Lenoir Gregory

Décembre 2001

 

1. Principes des Cart’s

- CART = Classification And Regression Tree

- Principe : classification via un arbre de décision binaire.

- A chaque nœud, on tente de poser une question:

- si réduction d’entropie est suffisante, on continue avec les deux nœuds fils,

- sinon le nœud est une feuille à laquelle on associe une classe.

- Entropie = information moyenne apportée par une quantification

H(L|noeud) = - å P(l|noeud) x log2 P(l|noeud)

H(L|fils1,fils2) = H(L|fils1) x P(fils1) + H(L|fils2) x P(fils2)

 

2. Application à la classification de nombres

- Base de données :

100 nombres aléatoirement choisis dans l’intervalle [0 100]

- Questions :

Les valeurs = ( 1+ multiples de 5 ) comprises entre 0 et 100

- Construction de l’arbre :

- On explore les branches oui jusqu’à une feuille oui

- On teste le dernière branche non mémorisée :

- si c’est une feuille, on passe au nœud non précédent

- sinon, on repasse dans l’exploration des branches oui descendantes de ce nœud non

- Résultat :

- une matrice arborescence de structure :

père – fils oui – fils non

- une matrice feuilles de structure :

feuille – classe oui – classe non

 

 

3. Transposition à la classification d’une lettre suivant ses différentes prononciations possibles

- Base de données :

87000 mots extraits d’un dictionnaire sous la forme prononciation – forme grammaticale – lettre et environnement

 

 

- Questions :

Toutes les lettres de l’alphabet aux 5 positions possibles

- Construction de l’arbre :

Imbrication des boucles oui et non (cfr supra)

- Résultat :

Une matrice arborescence :

- seule car une même question peut être la dernière question précédant des feuilles différentes

d’où il faut mettre directement cette information dans l’arborescence

- de structure:

couple père - couple ou classe fils oui - couple ou classe fils non

 

4. Extension à toutes les lettres de l’alphabet

- Recherche dichotomique des occurrences de la lettre dans la base de données

- Entraînement avec 90% de la base de données avec un maximum de 1000 échantillons

- Sauvegarde de tous les arbres et des phonèmes associés à chaque lettre

- Conception d’une fonction donnant la prononciation d’un mot complet

 

5. Conclusion

- Des résultats intéressants…

On a pour chaque lettre un taux de reconnaissance de plus de 95%

- Améliorations possibles

- Augmenter le nombre d’échantillons utilisés pour réaliser l’entraînement

- Diminuer le seuil de la diminution d’entropie lors de la conception de l’arbre

L'ensemble des fichiers utiles à ce projet (données et fichiers .m générés) est disponible ici