Exercices classeur de Bayes naïf (8.2.2)

Exercice 9

Exercice de compréhension élémentaire du classeur de Bayes naïf.

1. Pour classer cet exemple avec la règle de Bayes, on cherche la classe (ici 0 ou 1) qui maximise p(y) p(A=n|y) p(B=0|y) p(C=o|y) où les probabilités sont estimées par les valeurs données dans l'exercice. Pour 0, on a 0.8x0.6x0.5x0.2 = 0.048. Pour 1, on a 0.2x0.7x0.6x0.9=0.0756. La valeur maximale est obtenue pour la classe 1 donc le classeur de Bayes naïf classe cet exemple dans la classe 1.
2. On peut vérifier que la classe attibuée ne change pas si les probabilités estimées des deux classes 0 et 1 sont égales à 0.5. Vous pourrez vérifier que la classe changerait si on prenait des proportions égales à 0.9 pour la classe 0 et 0.1 pour la classe 1.
3. Si un exemple a l'attribut B qui vaut 2, on note que p(B=2|0)=0 et donc le produit, que l'on cherche à maximiser, sera toujours nul pour la classe 0. Donc on attribuera toujours la classe 1 à un exemple pour lequel l'attribut B vaut 2.
4. Ceci même si les autres attributs tendaient à le ranger dans la classe 1. Pour éviter cela, on évite les valeurs nulles. Par exemple, en posant p(B=2|0)=e où e est un nombre réel positif petit. Nous expliquons la démarche dans l'exercie qui suit pour le classeur de Bayes naIf pour les textes.

Exercice 10

L'objectif de l'exercice est de montrer comment on peut adapter le classeur de Bayes naïf pour classer des textes en représentant des textes par des sacs de mots. Il introduit également une méthode de lissage pour éviter les estimations nulles pour les probabilités conditionnelles.

Le vocabulaire V est constitué des mots TV, programme, intéressant, enfants, radio, onde, écouter, rare. Les phrases peuvent donc être restreintes à ce vocabulaire. Les trois phrases de la classe TV sont : "programme TV intéressant TV" ; "enfants TV" et "TV onde radio". Les trois phrases de la classe Radio sont : "intéressant écouter radio", "enfants" et "enfants écouter radio rare". Notez que le mot programmes n'est pas dans le vocabulaire.

Il y a 3 phrases dans chacune des classes donc on estime que p(TV)=p(Radio)=0.5.

Les estimations des p(w|k) sont p(TV|TV)=(1+4)/(8 +9) ; p(programme|TV)=(1+1)/(8+9) ; p(intéressant|TV)=(1+1)(8+9) ; ... ; p(rare|radio)=(1+1)(8+8).

Soit la phrase "J’ai vu la radio de mes poumons à la TV ! ?" qui, restreinte à V, est "radio TV". Pour la classer avec le classeur de Bayes naïf, on calcule p(TV) p(radio|TV) p(TV|TV) = 0.5 (1+1)/(8+9) (1+4)/(8+9) et p(Radio) p(radio|Radio) p(TV|radio) = 0.5 (1+2)/(8+8) (1+ 0)/(8+8). La valeur maximale est obtenue pour la classe TV donc on classe cette phrase dans la classe TV. Notez que l'estimation p(TV|radio) est (1+ 0)/(8+8) qui est non nulle bien que le mot TV n'apparaisse jamais dans les phrases de la classe Radio.