Реализация параллельного алгоритма предсказания в методе градиентного бустинга деревьев решений

Описано несколько параллельных реализаций одного из алгоритмов обучения с учителем - градиентного бустинга деревьев решений (Gradient Boosting Trees) - с использованием библиотеки Intel Threading Building Blocks. Приводятся результаты экспериментального сравнения и анализ производительности различных подходов к распараллеливанию.

Ключевые слова

градиентный бустинг деревьев решений, Intel Threading Building Blocks.

Литература

1. Breiman, L. Random Forests / L. Breiman // Machine Learning. - 2001. - V. 45, №1. - P. 5 - 32.
2. Classification and Regression Trees / L. Breiman, J. Friedman, R. Olshen, C. Stone. - Wadsworth, 1983.
3. Breiman, L. Bagging predictors / L. Breiman // Machine Learning. - 1996. - V. 26, №2. - P. 123 - 140.
4. Enzweiler, M. Monocular Pedestrian Detection: Survey and Experiments / M. Enzweiler, D.M. Gavrila // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. - V.31, №12. - P. 2179 - 2195.
5. Freund, Y. Experiments with a New Boosting Algorithm / Y. Freund, R. Schapire // Machine Learning: Proceedings of the Thirteenth International Conference. - San Francisco: Morgan Kauffman, 1996. - P. 148 - 156.
6. Friedman, J.H. Greedy Function Approximation: a Gradient Boosting Machine / J.H. Friedman. - Technical report. - Dept. of Statistics, Stanford University, 1999.
7. Friedman, J.H. Stochastic Gradient Boosting. Technical report. Dept. of Statistics, Stanford University, 1999.
8. Geurts, P. Extremely Randomized Trees / P. Geurts, D. Ernst, L. Wehenkel // Machine Learning. - 2006. - V. 36, №1. - P. 3 - 42.
9. Hastie, T. The Elements of Statistical Learning / T. Hastie, R. Tibshirani, J. Friedman. - Springer-Verlag, 2008.
10. Intel Threading Building Blocks. URL: http://www.threadingbuildingblocks.org (дата обращения: 07.12.2010).
11. OpenCV Wiki. URL: http://opencv.willowgarage.com/wiki (дата обращения: 07.12.2010).
12. UCI Machine Learning Repository. URL: http://archive.ics.uci.edu/ml (дата обращения: 07.12.2010).
13. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник. - М.: Наука, 1979.