Forêt d’arbres décisionnels – Wikipédia

Les forêts d’arbres décisionnels^[[[[1] (ou forêts aléatoires de l’anglais classificateur de forêt aléatoire) ont été premièrement proposées par Ho en 1995^[[[[2] et ont été formellement proposés en 2001 par Leo Breiman^[[[[3] et Adèle Cutler^[[[[4]. Elles font partie des techniques d’apprentissage automatique. Cet algorithme combine les concepts de sous-espaces aléatoires et de ensachage. L’algorithme des forêts d’arbres décisionnels effectue un apprentissage sur de multiples arbres de décision entraînés sur des sous-ensembles de données légèrement différentes.

La base du calcul repose sur l’apprentissage par arbre de décision. La proposition de Breiman^[[[[3] vise à corriger plusieurs inconvénients connus de la méthode initiale, comme la sensibilité des arbres uniques à l’ordre des prédicteurs, en calculant un ensemble de ${ displaystyle {B}}$ arbres partiellement indépendants.

Une présentation rapide de la proposition^[[[[5] peut s’exprimer comme suit:

1. Créer ${ displaystyle {B}}$ nouveaux ensembles d’apprentissage par un double processus d’échantillonnage:
   1. sur les observations, en utilisant un tirage avec remise d’un nombre ${\displaystyle N}$ d’observations identiques à celui des données d’origine (technique connue sous le nom de amorcer),
   2. et sur les ${ displaystyle {p}}$ prédicteurs, en n’en retenant qu’un échantillon de cardinal ${ displaystyle m <{ sqrt {p}}}$ (la limite n’est qu’indicative).
2. Sur chaque échantillon, sur entraîne un arbre de décision selon une des techniques connues, en limitant la croissance par validation croisée.
3. Sur stocke les ${ displaystyle {B}}$ prédictions de la variable d’intérêt pour chaque observation d’origine.
4. La prédiction de la forêt aléatoire est alors un simple vote majoritaire (Apprentissage en ensemble).

• Programme RF original de Breiman et Cutler
• Random Jungle, une mise en œuvre rapide (C ++, calcul parallèle, structures creuses) pour les données sur les espaces de grandes dimensions
• Paquetage randomForest pour R, module de classification et de régression basée sur une forêt d’arbres à l’aide de données aléatoires. Basé sur le programme original en Fortran de Breiman et Cutler.
• STATISTICA Forêts Aléatoires est un module dédié aux forêts d’arbres décisionnels intégrés dans Statistica Data Miner.

Remarques[[[[modificateur | modifier le code]

(fr) Breiman, Leo, « Modélisation statistique: les deux cultures », Science statistique, vol. 16, n^o 3, 2001, p. 199-231 (lire en ligne).