The Impact of Dataset Size on the Reliability of Model Testing and Ranking

Методы машинного обучения все чаще используются в различных областях жизнедеятельности. Ежегодно множество научных коллективов разрабатывают новые распознающие модели, соревнуясь при этом в показателях качества на открытых датасетах. В некоторых задачах показатели точности давно превысили 99%, при этом
лучшие в таблице ранжирования модели зачастую отличаются между собой на сотые доли процентов. Принимая в расчет объемы датасетов, резонным становится вопрос
о релевантности оценки качества и достоверности ранжирования различных распознающих моделей. В работе описан метод расчета необходимого объема датасета для
возможности корректной проверки гипотезы о точности модели, а также представлен анализ статистической значимости ранжирования по точности некоторых современных работ на датасетах MNIST, CIFAR-10 и CIFAR-100.

Ключевые слова

объем датасета; распознавание объектов; статистическая значимость; оценка качества модели; оценка качества распознавания

Литература

1. Арлазаров, В.Л. Вопросы распознавания и верификации текстовых документов / В.Л. Арлазаров, О.А. Славин // Информационные технологии и вычислительные системы. - 2023. - № 3. - С. 55-61.
2. Kunina, I.A. Screen Recapture Detection Based on Color-Texture Analysis of Document Boundary Regions / I.A. Kunina, A.V. Sher, D.P. Nikolaev // Computer Optics. - 2023. - V. 47, № 4. - P. 650-657.
3. Гайер, А.В. Контекстно-независимый метод быстрой детекции текста для распознавания номеров телефонов / А.В. Гайер // Труды института системного анализа РАН. - 2024. - Т. 74, № 3. - С. 39-47.
4. Максимов, Т.Р. Снижение ошибки и вычислительной нагрузки в распознавании текста дорожной сцены / Т.Р. Максимов, К.Б. Булатов // Информационные технологии и вычислительные системы. - 2024. - № 3. - С. 1-15.
5. Deng Li. The MNIST Database of Handwritten Digit Images for Machine Learning Research [Best of the Web] / Li Deng // IEEE Signal Processing Magazine. - 2012. - V. 29, № 6. - P. 141-142.
6. Krizhevsky, A. Learning Multiple Layers of Features From Tiny Images / A. Krizhevsky, G. Hinton. - Toronto: University of Toronto, 2009.
7. Kowsari, K. RMDL: Random Multimodel Deep Learning for Classification / K. Kowsari, M. Heidarysafa, D.E. Brown, K.J. Meimandi, L.E. Barnes // Proceedings of the 2nd International Conference on Information System and Data Mining. - New York, 2018. - P. 19-28.
8. Ciregan, D. Multi-Column Deep Neural Networks for Image Classification / D. Ciregan, U. Meier, J. Schmidhuber // IEEE Conference on Computer Vision and Pattern Recognition. - Providence, 2012. - P. 3642-3649.
9. Romanuke, V. Training Data Expansion and Boosting of Convolutional Neural Networks for Reducing the MNIST Dataset Error Rate / V. Romanuke // Research Bulletin of the National Technical University of Ukraine ``Kyiv Politechnic Institute''. - 2016. - № 6. - P. 29-34.
10. Gesmundo, A. An Evolutionary Approach to Dynamic Introduction of Tasks in Large-Scale Multitask Learning Systems / A. Gesmundo, J. Dean // arXiv: Machine Learning. - 2022. - URL: https://arxiv.org/abs/2205.12755.
11. Byerly, A. No Routing Needed Between Capsules / A. Byerly, T. Kalganova, I. Dear // Neurocomputing. - 2021. - V. 463. - P. 545-553.
12. Hirata, D. Ensemble Learning in CNN Augmented with Fully Connected Subnetworks / D. Hirata, N. Takahashi // IEICE Transactions on Information and Systems. - 2023. - V. 106, №. 7. - P. 1258-1261.
13. Bruno, A. Efficient Adaptive Ensembling for Image Classification / A. Bruno, D. Moroni, M. Martinelli // arXiv: Computer Vision and Pattern Recognition. - 2022. - URL: https://arxiv.org/abs/2206.07394
14. Foret, P. Sharpness-Aware Minimization for Efficiently Improving Generalization / P. Foret, A. Kleiner, H. Mobahi, B. Neyshabur // arXiv: Machine Learning. - 2020. - URL: https://arxiv.org/abs/2010.01412
15. Gehring, J. Convolutional Sequence to Sequence Learning / J. Gehring, M. Auli, D. Grangier, D. Yarats, Y.N. Dauphin // Proceedings of the 34th International Conference on Machine Learning. - 2017. - P. 1243-1252.
16. Dosovitskiy, A. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy // arXiv: Computer Vision and Pattern Recognition. - 2020. - URL: https://arxiv.org/abs/2010.11929
17. Oquab, M. Dinov2: Learning Robust Visual Features without Supervision / M. Oquab, T. Darcet, T. Moutakanni, Vo Huy, et al. // arXiv: Computer Vision and Pattern Recognition. - 2023. - URL: https://arxiv.org/abs/2304.07193
18. Kabir, H.M. Reduction of Class Activation Uncertainty with Background Information / H.M. Kabir // arXiv: Computer Vision and Pattern Recognition. - 2023. - URL: https://arxiv.org/abs/2305.03238
19. Zhichao Lu. Neural Architecture Transfer / Lu Zhichao, G. Sreekumar, E. Goodman, W. Banzhaf, K. Deb, V.N. Boddeti // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2021. - V. 43, № 9. - P. 2971-2989.
20. Ridni, T. Ml-Decoder: Scalable and Versatile Classification Head / T. Ridnik, G. Sharir, A. Ben-Cohen, E. Ben-Baruch, A. Noy // Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. - 2023. - P. 32-41.
21. Ridnik, T. Imagenet-21k Pretraining for the Masses / T. Ridnik, E. Ben-Baruch, A. Noy, L. Zelnik-Manor // arXiv: Computer Vision and Pattern Recognition. - 2021. - URL: https://arxiv.org/abs/2104.10972
22. Haiping Wu. CVT: Introducing Convolutions to Vision Transformers / Wu Haiping, Bin Xiao, N. Codella, Liu Mengchen, Dai Xiyang, Lu Yuan, Lei Zhang // Proceedings of the IEEE/CVF International Conference on Computer Vision. - 2021. - P. 22-31.
23. Ching-Hsun Tseng. Perturbed Gradients Updating Within Unit Space for Deep Learning / Tseng Ching-Hsun, Liu-Hsueh Cheng, Shin-Jye Lee, Xiaojun Zeng // IEEE International Joint Conference on Neural Networks. - 2022. - P. 1-8.