Impact of subsampling and tree depth on random forests - Université Paris Cité Accéder directement au contenu
Pré-Publication, Document De Travail Année : 2016

Impact of subsampling and tree depth on random forests

Résumé

Random forests are ensemble learning methods introduced by Breiman (2001) that operate by averaging several decision trees built on a randomly selected subspace of the data set. Despite their widespread use in practice, the respective roles of the different mechanisms at work in Breiman's forests are not yet fully understood, neither is the tuning of the corresponding parameters. In this paper, we study the influence of two parameters, namely the subsampling rate and the tree depth, on Breiman's forests performance. More precisely, we prove that quantile forests (a specific type of random forests) based on subsampling and quantile forests whose tree construction is terminated early have similar performances, as long as their respective parameters (subsampling rate and tree depth) are well chosen. Moreover, experiments show that a proper tuning of these parameters leads in most cases to an improvement of Breiman's original forests in terms of mean squared error.
Fichier principal
Vignette du fichier
articleb (2).pdf (613.97 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod1_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.93 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod2_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.12 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod3_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.96 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod4_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.13 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod5_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.26 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod6_ntree500_nb-iter50_mtrydefaultb (1).pdf (5 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod7_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.11 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test4_P_vs_B_RF-mod8_ntree500_nb-iter50_mtrydefaultb (1).pdf (5 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod1_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.09 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod2_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.16 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod3_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.97 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod4_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.13 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod5_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.17 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod6_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.94 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod7_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.11 Ko) Télécharger le fichier
Comparaison_SS_vs_Breiman_vitesse_test5_bruit_P_vs_B_RF-mod8_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.99 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod1_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.28 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod2_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.24 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod3_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.23 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod4_ntree1000_nb-iter100_mtrydefaultb (1).pdf (5 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod4_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.99 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod5_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.2 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod6_ntree500_nb-iter50_mtrydefaultb (1).pdf (5.12 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod7_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.98 Ko) Télécharger le fichier
Comparaison_elagage_vs_Breiman_vitesse_test2_P_vs_B_RF-mod8_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.91 Ko) Télécharger le fichier
arbre3bb (2).pdf (32.59 Ko) Télécharger le fichier
choix_SSrate_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint100_mtrydefaultb (1).pdf (5.25 Ko) Télécharger le fichier
choix_SSrate_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint200_mtrydefaultb (1).pdf (5.24 Ko) Télécharger le fichier
choix_SSrate_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint300_mtrydefaultb (1).pdf (5.25 Ko) Télécharger le fichier
choix_SSrate_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.29 Ko) Télécharger le fichier
choix_SSrate_model1_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.8 Ko) Télécharger le fichier
choix_SSrate_model2_P_vs_B_RF-mod2_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.25 Ko) Télécharger le fichier
choix_SSrate_model2_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.81 Ko) Télécharger le fichier
choix_SSrate_model3_P_vs_B_RF-mod3_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.3 Ko) Télécharger le fichier
choix_SSrate_model3_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.78 Ko) Télécharger le fichier
choix_SSrate_model4_P_vs_B_RF-mod4_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.33 Ko) Télécharger le fichier
choix_SSrate_model4_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.8 Ko) Télécharger le fichier
choix_SSrate_model5_P_vs_B_RF-mod5_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.25 Ko) Télécharger le fichier
choix_SSrate_model5_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.75 Ko) Télécharger le fichier
choix_SSrate_model6_P_vs_B_RF-mod6_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.26 Ko) Télécharger le fichier
choix_SSrate_model6_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.81 Ko) Télécharger le fichier
choix_SSrate_model7_P_vs_B_RF-mod7_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.27 Ko) Télécharger le fichier
choix_SSrate_model7_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.78 Ko) Télécharger le fichier
choix_SSrate_model8_P_vs_B_RF-mod8_ntree500_nb-iter50nombrepoint400_mtrydefaultb (1).pdf (5.25 Ko) Télécharger le fichier
choix_SSrate_model8_ss_optimal_ntree500_nb-iter50_mtrydefaultb (1).pdf (4.78 Ko) Télécharger le fichier
choix_profondeur_2_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint100_mtrydefaultb (2).pdf (5.58 Ko) Télécharger le fichier
choix_profondeur_2_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint200_mtrydefaultb (2).pdf (5.6 Ko) Télécharger le fichier
choix_profondeur_2_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint300_mtrydefaultb (2).pdf (5.6 Ko) Télécharger le fichier
choix_profondeur_2_model1_P_vs_B_RF-mod1_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.58 Ko) Télécharger le fichier
choix_profondeur_2_model1_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.82 Ko) Télécharger le fichier
choix_profondeur_2_model2_P_vs_B_RF-mod2_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.5 Ko) Télécharger le fichier
choix_profondeur_2_model2_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.8 Ko) Télécharger le fichier
choix_profondeur_2_model3_P_vs_B_RF-mod3_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.47 Ko) Télécharger le fichier
choix_profondeur_2_model3_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.84 Ko) Télécharger le fichier
choix_profondeur_2_model4_P_vs_B_RF-mod4_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.54 Ko) Télécharger le fichier
choix_profondeur_2_model4_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.77 Ko) Télécharger le fichier
choix_profondeur_2_model5_P_vs_B_RF-mod5_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.51 Ko) Télécharger le fichier
choix_profondeur_2_model5_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.8 Ko) Télécharger le fichier
choix_profondeur_2_model6_P_vs_B_RF-mod6_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.47 Ko) Télécharger le fichier
choix_profondeur_2_model6_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.81 Ko) Télécharger le fichier
choix_profondeur_2_model7_P_vs_B_RF-mod7_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.48 Ko) Télécharger le fichier
choix_profondeur_2_model7_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.85 Ko) Télécharger le fichier
choix_profondeur_2_model8_P_vs_B_RF-mod8_ntree500_nb-iter50nombrepoint400_mtrydefaultb (2).pdf (5.44 Ko) Télécharger le fichier
choix_profondeur_2_model8_pruned_optimal_ntree500_nb-iter50_mtrydefaultb (2).pdf (4.79 Ko) Télécharger le fichier
partition_fini3b (1).pdf (23.66 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-01287521 , version 1 (14-03-2016)
hal-01287521 , version 2 (24-11-2017)
hal-01287521 , version 3 (07-05-2019)

Identifiants

Citer

Roxane Duroux, Erwan Scornet. Impact of subsampling and tree depth on random forests. 2016. ⟨hal-01287521v3⟩
255 Consultations
908 Téléchargements

Altmetric

Partager

Gmail Facebook X LinkedIn More