Система обработки изображений с автоматическим распараллеливанием на основе MAPREDUCE

Целью работы является создание системы обработки изображений в параллельном режиме под управлением Apache Hadoop на основе технологии MapReduce, которая скрывает от прикладного программиста детали внутреннего устройства Hadoop и предоставляет простой программный интерфейс для работы с изображением, уже загруженным в память. Основными результатами являются архитектура системы обработки изображений с автоматическим распараллеливанием на основе Hadoop и ее практическая реализация в виде первой очереди комплекса программ. Созданный комплекс программ применен для обработки изображений от системы Particle Image Velocimetry (источник данных - проект PIV Challenge). Тестирование комплекса программ на кластере Hadoop из четырех узлов показало почти линейную масштабируемость. Практическое применение возможно в научной сфере (обработка изображений от физических экспериментальных установок, астрономических наблюдений, спутниковых снимков земной поверхности и т.д.), медицине (обработка изображений, получаемых в результате применения высокотехнологичной медтехники) и коммерческих компаниях (анализ данных с камер видеонаблюдения в системах безопасности, в геоинформационных системах и т.п.). Предложенный подход позволяет повысить производительность обработки изображений за счет применения параллельных вычислительных систем и повышает эффективность работы прикладных программистов, позволяя им концентрироваться на алгоритмах обработки изображений, а не на деталях параллельной реализации.

Ключевые слова

обработка изображений, MapReduce, Hadoop, распределенная файловая система, автоматизация распараллеливания.

Литература

1. Horowitz, M. The peta age / M. Horowitz. [Электронный ресурс]. URL: http://www.wired.com/images/press/pdf/petaage.pdf (дата обращения 29.05.2012).
2. Apache Hadoop [Электронный ресурс]. URL: http://hadoop.apache.org/ (дата обращения 29.05.2012).
3. Dean, J. MapReduce: simplified data processing on large clusters / J. Dean, S. Ghemawat // Commun. ACM. - 2008. - № 51(1). - P. 107-113.
4. Ghemawat, S. The Google File System / S. Ghemawat, H. Gobioff, S.T. Leung // 19th ACM Symposium on Operating Systems Principles, Lake George, N.Y., 2003. - P. 29-43.
5. Hadoop Distributed File System [Электронный ресурс]. URL: http://hadoop.apache.org/hdfs (дата обращения 29.05.2012).
6. Hays, J. IM2GPS: estimating geographic information from a single image / J. Hays, A.A. Efros // Proceedings of the IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). - 2008. - P. 1-8.
7. Astronomy in the Cloud: Using MapReduce for Image Co-Addition / K. Wiley, A. Connolly, J. Gardner, S. Krughoff, M. Balazinska, B. Howe, Y. Kwon, Y. Bu // Publications of the Astronomical Society of the Pacific. - 2011. - V. 123, № 901. - P. 366-380.
8. Wiley, K. Astronomical Image Processing with Hadoop / K. Wiley, A. Connolly, S. Krughoff, J. Gardner, M. Balazinska, B. Howe, Y. Kwon, Y. Bu // Astronomical Data Analysis Software and Systems XX. ASP Conference Proceedings. - 2010. - V. 442. - P. 93-98.
9. Kumar, S. Distributed image processing using hadoop mapreduce framework [Электронный ресурс] / S. Kumar, B.A. Fernandez. URL: http://search.iiit.ac.in/cloud/presentations/26.pdf (дата обращения 29.05.2012).
10. Almeer, M.H. Cloud Hadoop Map Reduce For Remote Sensing Image Analysis / M.H. Almeer // J. of Emerging Trends in Computing and Information Sciences. - 2012. - V. 3, № 4. - P. 637 - 644.
11. Experiences on Processing Spatial Data with MapReduce / A. Cary, Z. Sun, V. Hristidis, N. Rishe // Proceedings of the 21st International Conference on Scientific and Statistical Database Management. Springer-Verlag Berlin, Heidelberg. - 2009. - P. 302-319.
12. HIPI: A Hadoop Image Processing Interface for Image-based MapReduce Tasks / C. Sweeney, L. Liu, S. Arietta, J. Lawrence, B.S. Thesis. - University of Virginia. Department of Computer Science. - 2011. - P. 5.
13. Adrian, R.J. Particle Image Velocimetry / R.J. Adrian, J. Westerweel. - Cambridge University Press. - 2011. - 584 p.
14. PIV Challenge [Электронный ресурс]. URL: http://www.pivchallenge.org (дата обращения 29.05.2012).
15. Мизева, И.А. Вейвлетные корреляции двумерных полей / И.А. Мизева, Р.А. Степанов, П.Г. Фрик // Вычислительные методы и программирование. - 2006. - Т. 7. - C. 172-179.
16. Шестаков, А.Л. Южно-Уральский государственный университет как стартовая площадка энергосберегающих технологий и использования возобновляемых источников энергии / А.Л. Шестаков, И.М. Кирпичникова // Альтернативная энергетика и экология. - 2010.- № 1. - С. 149-152.