Special Aspects of Matrix Operation Implementations for Low-Precision Neural Network Model on the Elbrus Platform

В работе исследуется возможность эффективной реализации вычислений в малобитных нейросетевых моделях на платформе с VLIW архитектурой Эльбрус. Такие модели широко применяются на практике для повышения вычислительной эффективности распознавания и хорошо подходят для вычислителей таких архитектур, как x86 и ARM. В данной работе была рассмотрена 8-битная нейросетевых модель, в которой наиболее ресурсоемкой частью реализации является матричное умножение. В данной работе приведена эффективная реализация матричного умножения, учитывающая особенности архитектуры Эльбрус: наличие нескольких вычислительных каналов с различными арифметико-логическими устройствами, буфера предварительной подкачки массивов и собственного SIMD-расширения. Проведено теоретическое и экспериментальное сравнение вычислительной производительности малобитной и классической нейросетевых моделей, показавшее, что процессоры Эльбрус имеют гораздо больше возможностей для выполнения оптимальных вещественных вычислений и требуют разработки новых подходов к повышению вычислительной эффективности нейросетевых моделей.

Ключевые слова

малобитные нейронные сети; вычислительная эффективность; архитектура Эльбрус; матричные операции.

Литература

1. Лимонова, Е.Е. Оценка быстродействия системы распознавания на VLIW архитектуре на примере платформы Эльбрус / Е.Е. Лимонова, Н.А. Бочаров, Н.Б. Парамонов, Д.С. Богданов, В.В. Арлазаров, О.А. Славин, Д.П. Николаев // Программирование. - 2019. - № 1. - C. 15-21.
2. Bulatov, K.B. Smart IDReader: Document Recognition in Video Stream / V.V. Arlazarov, T.S. Chernov, O.A. Slavin, D.P. Nikolaev // IAPR International Conference on Document Analysis and Recognition (ICDAR), 9-12 November, Kyoto, Japan. - 2017. - P. 39-44.
3. Lynchenko, A. Document Image Recognition Algorithm Based on Similarity Metric Robust to Projective Distortions for Mobile Devices / A. Lynchenko, A. Sheshkus, V.L. Arlazarov // International Conference on Machine Vision (ICMV 2018), 1-3 November, Munich, Germany. - 2019. - vol. 11041. - Article ID: 110411K. - 7 p. DOI: 10.1117/12.2523152
4. Islam, N.A Survey on Optical Character Recognition System / N. Islam, Z. Islam, N. Noor // Journal of Information and Communication Technology. - 2016. - V. 10, № 2. - Article ID: 18302720. - 11 p.
5. Болотова, Ю.А. Распознавание автомобильных номеров на основе метода связных компонент и иерархической временной сети / Ю.А. Болотова, В.Г. Спицын, М.Н. Рудометкина // Компьютерная оптика. - 2015. - V. 39, № 2. - С. 275-280.
6. Limonova, E.E. Convolutional Neural Network Structure Transformations for Complexity Reduction and Speed Improvement / E.E. Limonova, A.V. Sheshkus, A.A. Ivanova, D.P. Nikolaev // Pattern Recognition and Image Analysis. - 2018. - V. 28. - № 1. - P. 24-33.
7. Johnson J. Rethinking Floating Point for Deep Learning / J. Johnson. - 2018. - URL: https://arxiv.org/abs/1811.01721 [дата обращения 01.10.2019].
8. Zhou, A. Incremental Network Quantization: Towards Lossless CNNS with Low-Precision Weights / A. Zhou, A. Yao, Y. Guo, L. Xu, Y. Chen. -2017. - URL: https://arxiv.org/abs/1702.03044, [дата обращения 01.10.2019].
9. Low-precision matrix multiplication. URL: https://github.com/google/gemm lowp [дата обращения 01.10.2019].
10. QNNPACK: Open source library for optimized mobile deep learning. URL: https://code.fb.com/ml-applications/qnnpack, [дата обращения 01.10.2019].
11. Choukroun, Y. Low-Bit Quantization of Neural Networks for Efficient Inference / Y. Choukroun, E. Kravchik, P. Kisilev. - 2019. - URL: https://arxiv.org/abs/1902.06822 [дата обращения 01.10.2019].
12. Прохоров, Н.Л. К 60 летию Института электронных управляющих машин им. И.С. Брука / Н.Л. Прохоров, А.К. Ким, Г.А. Егоров // Информационные технологии и вычислительные системы. - 2018. - № 3. - P. 1-13.
13. Krizhevsky, A. ImageNet Classification with Deep Convolutional Neural Networks / A. Krizhevsky, I. Sutskever I., G.E. Hinton // Advances in Neural Information Processing Systems 25. - Curran Associates. - 2012. - P. 1097-1105.
14. Toshev, A. Deeppose: Human Pose Estimation Via Deep Neural Networks / A. Toshev, C. Szegedy // IIEEE Conference on Computer Vision and Pattern Recognition, 17-19 June, Washington, DC, United States. - 2014. - P. 1653-1660.
15. Szegedy, C. Going Deeper with Convolutions / C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovic // IEEE Conference on Computer Vision and Pattern Recognition, 7-12 June, Boston. - 2015. - P. 1-9.
16. Bashivan, P. Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks / P. Bashivan, I. Rish, M. Yeasin, N. Codella. - 2015. - URL: https://arxiv.org/abs/1511.06448.
17. Brahimi, S. Very Deep Recurrent Convolutional Neural Network for Object Recognition / S. Brahimi, N.B. Aoun, C.B. Amar // International Conference on Machine Vision, 18-20 November, Nice, France. - 2017. - V. 10341. - Article ID: 1034107.
18. Chellapilla, K. High Performance Convolutional Neural Networks for Document Processing / K. Chellapilla, S. Puri, P. Simard // Tenth International Workshop on Frontiers in Handwriting Recognition, 23-26 October, La Baule, France. - 2006. - P. 1237-1242.
19. Ким, А.К. Микропроцессоры и вычислительные комплексы семейства Эльбрус / А.К. Ким, В.И. Перекатов, С.Г. Ермаков - СПб.: Питер, - 2013.
20. Ишин, П.А. Ускорение вычислений с использованием высокопроизводительных математических и мультимедийных библиотек для архитектуры Эльбрус / П.А. Ишин, В.Е. Логинов, П.П. Васильев // Вестник воздушно-космической обороны. - 2015. - № 4 (8). - C. 64-68.
21. Limonova, E.E., Skoryukina N. S., Neyman-Zade M. I. Fast Hamming Distance Computation for 2D Art Recognition on VLIW-Architecture in Case of Elbrus Platform / E.E. Limonova, N.S. Skoryukina, M.I. Neyman-Zade // International Conference on Machine Vision, 16-18 November, Amsterdam, The Netherlands. - 2019. - V. 11041. - Article ID: 110411N. - 10 p.
22. Goto, K. Anatomy of High-Performance Matrix Multiplication / K. Goto, R.A. Geijn // Transactions on Mathematical Software. - 2008. - V. 34, № 3. - P. 12.