Machine learning : comment évaluer vos modèles ? Analyses et métriques

Machine learning Analyses et métriques

Machine learning : comment évaluer vos modèles ? Analyses et métriques

Share on twitter
Share on linkedin
Share on pinterest
Share on reddit
Share on pocket
Share on email

Vous utilisez ou souhaitez utiliser le machine learning, mais vous voulez évaluer vos modèles ? Comment les évaluer ? 

Nous vous expliquons les analyses et métriques dans cet article.

1. Qu’est-ce que le machine learning ?

A. Machine learning : définition

Selon Talend, le machine learning est une technique de programmation informatique qui utilise des probabilités statistiques pour donner aux ordinateurs la capacité d’apprendre par eux-mêmes sans programmation explicite. 

Comme nous l’avons vu précédemment dans cet article, il existe trois catégories de machine learning :

B. Définir un bon modèle de machine learning

Définir un modèle de machine learning est important, mais encore faut-il qu’il soit pertinent. En apprentissage supervisé, l’objectif est de créer des modèles qui généralisent la situation apprise, c’est-à-dire que face à de nouvelles données, la machine est capable d’élaborer des modèles prédictifs. 

Il faut cependant faire attention, car de bonnes performances sur le jeu de données qui a permis l’apprentissage ne garantit pas de bons résultats sur de nouvelles données. On cherche donc à modéliser une analyse qui reflète la complexité de la nature des données en évitant les écueils du sous-apprentissage et du surapprentissage

Il est également important de définir un modèle qui ait un temps de calcul convenable et une utilisation des ressources en mémoire raisonnable pour que l’algorithme d’analyse soit utilisable.

2. Comment évaluer les modèles de machine learning ?

Il existe plusieurs façons d’évaluer les modèles de machine learning. Voici quelques exemples :

A. La validation croisée en machine learning

Dans le cadre d’un apprentissage supervisé, comment connaître la performance d’un modèle de machine learning sur des données dont l’étiquette est inconnue ? 

L’idée est de simuler le fait de ne pas connaître les étiquettes sur le jeu d’apprentissage dont les étiquettes sont connues. On va donc séparer le jeu d’apprentissage en deux parties : une pour l’apprentissage et une pour le test. On va ensuite appliquer le modèle sur le jeu de test et le comparer à leurs étiquettes connues pour prédire les performances. Cela nous donne une mesure de performance. 

Pour affiner cette valeur, on utilise la validation croisée qui consiste à effectuer cette opération à plusieurs reprises de telle sorte que les ensembles de données connues soient à tour de rôle utilisés comme données d’apprentissage et données de test. On coupe donc les données connues en parties égales dans la mesure du possible (folds en anglais) et on utilise à chaque fois une partie comme jeu de test et le reste comme jeu d’apprentissage.

Validation croisée à 5 folds
Validation croisée à 5 folds Chaque point appartient à un jeu de test (en blanc) et pour les autres validations aux jeux d’entraînements (en orange)

La validation croisée permet donc d’évaluer un modèle de machine learning en ayant la moyenne des performances et l’erreur type sur chacun des folds ou en évaluant les prédictions faites sur l’ensemble des données.

Pour des raisons de temps de calcul, on utilise généralement cinq ou dix folds.

Pour cette méthode, il est important d’appliquer la stratification. La stratification est un processus qui consiste à diviser les données connues en folds homogènes avant l’échantillonnage, c’est-à-dire répartir les étiquettes pour que chaque fold ressemble au maximum à un petit jeu de données connues.

B. La matrice de confusion en machine learning

La matrice de confusion est un outil qui permet de savoir à quel point le modèle de machine learning est « confus », ou qu’il se trompe. Il s’agit d’un tableau avec en colonne les différents cas réels et en ligne les différents cas d’usage prédits. 

Prenons l’exemple d’un test médical, la matrice sera la suivante :

matrice de confusion en machine learning

On obtient donc les quatre valeurs suivantes :

L’étude de ces valeurs prédictives permet de définir si le modèle de machine learning est fiable, dans quels cas il commet des erreurs et dans quelle mesure.

Pour approfondir le sujet, nous vous conseillons la formation d’OpenClassrooms : Evaluez les performances d’un modèle de machine learning

Il est donc important de choisir un modèle de machine learning adapté au besoin. Il est ensuite possible d’évaluer ce modèle avec différentes méthodes comme la validation croisée et la matrice de confusion.