Software system for analyzing cloudiness based on satellite observations

The article presents software system for analyzing cloudiness indicators in Ukraine based on satellite observations. This system was developed using an online dialog designer for automated workflow design based on algebra-algorithmic and ontological tools ODWF. The workflow for the implementation of...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2019
Hauptverfasser:	Doroshenko, А.Yu., Shpyg, V.M., Ovdii, O.M.
Format:	Artikel
Sprache:	Ukrainian
Veröffentlicht:	PROBLEMS IN PROGRAMMING 2019
Schlagworte:	distributed computing workflow Apache Hadoop Apache Spark image analysis monitoring cloudiness UDC 004.932.2:[551.501:551.576.2]
Online Zugang:	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/370
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Problems in programming
Завантажити файл:

Institution

Problems in programming

id	pp_isofts_kiev_ua-article-370
record_format	ojs
fulltext
resource_txt_mv
spelling	pp_isofts_kiev_ua-article-3702024-04-28T11:05:26Z Software system for analyzing cloudiness based on satellite observations Программная система анализа облачности по данным спутниковых наблюдений Програмна система аналізу хмарності за даними супутникових спостережень Doroshenko, А.Yu. Shpyg, V.M. Ovdii, O.M. distributed computing; workflow; Apache Hadoop; Apache Spark; image analysis; monitoring; cloudiness UDC 004.932.2:[551.501:551.576.2] распределенные вычисления; рабочие процессы; Apache Hadoop; Apache Spark; анализ изображений; мониторинг; облачность УДК 004.932.2:[551.501:551.576.2] розподілені обчислення; робочі процеси; Apache Hadoop; Apache Spark; аналіз зображень; моніторинг; хмарність УДК 004.932.2:[551.501:551.576.2] The article presents software system for analyzing cloudiness indicators in Ukraine based on satellite observations. This system was developed using an online dialog designer for automated workflow design based on algebra-algorithmic and ontological tools ODWF. The workflow for the implementation of the task was designed for Apache Oozie and distributed platform Apache Hadoop. In order to support scalability and optimize the processing of large volumes of satellite images, the Apache Spark framework was used to implement image analysis. An experiment was conducted to run the developed workflow on a different number of Apache Spark threads, the results of which demonstrated a good efficiency of calculation parallelization. It is shown that the results obtained during the experiment at a qualitative level are in good agreement with the data of long-term ground-based observations and actual observational data.Problems in programming 2019; 3: 116-126 В данной работе с помощью онлайнового диалогового конструктора для автоматизации проектирования рабочих процессов ОКРП был спроектирован рабочий процесс для обработки архива спутниковых снимков с целью анализа показателей облачности на территории Украины. Рабочий процесс для реализации поставленной задачи был разработан для системы Apache Oozie, предназначенной для управления работами распределенной платформы Apache Hadoop. С целью поддержки масштабируемости и оптимизации обработки большого объема спутниковых снимков для реализации анализа изображений был использован фреймворк Apache Spark. Проведен эксперимент по выполнению разработанного рабочего процесса при различном количестве потоков Apache Spark, результаты которого продемонстрировали хороший показатель эффективности распараллеливания вычислений. Показано, что полученные в ходе эксперимента результаты на качественном уровне хорошо согласуются с данными многолетних наземных наблюдений и фактическими данными наблюдений.Problems in programming 2019; 3: 116-126 У даній роботі за допомогою онлайнового діалогового конструктору для автоматизації проектування робочих процесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знімків з метою аналізу показників хмарності на території України. Робочий процес для реалізації поставленої задачі було розроблено для системи Apache Oozie, призначеної для управління роботами розподіленої платформи Apache Hadoop. З метою підтримки масштабованості та оптимізації обробки для реалізації аналізу знімків було використано фреймворк Apache Spark. Проведено експерименти, що довели ефективність обраного підходу та відповідність отриманих результатів даним фактичних спостережень.Problems in programming 2019; 3: 116-126 PROBLEMS IN PROGRAMMING ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ ПРОБЛЕМИ ПРОГРАМУВАННЯ 2019-08-21 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/370 10.15407/pp2019.03.116 PROBLEMS IN PROGRAMMING; No 3 (2019); 116-126 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 3 (2019); 116-126 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 3 (2019); 116-126 1727-4907 10.15407/pp2019.03 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/370/372 Copyright (c) 2019 PROBLEMS IN PROGRAMMING
institution	Problems in programming
baseUrl_str	https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date	2024-04-28T11:05:26Z
collection	OJS
language	Ukrainian
topic	distributed computing workflow Apache Hadoop Apache Spark image analysis monitoring cloudiness UDC 004.932.2:[551.501:551.576.2]
spellingShingle	distributed computing workflow Apache Hadoop Apache Spark image analysis monitoring cloudiness UDC 004.932.2:[551.501:551.576.2] Doroshenko, А.Yu. Shpyg, V.M. Ovdii, O.M. Software system for analyzing cloudiness based on satellite observations
topic_facet	distributed computing workflow Apache Hadoop Apache Spark image analysis monitoring cloudiness UDC 004.932.2:[551.501:551.576.2] распределенные вычисления рабочие процессы Apache Hadoop Apache Spark анализ изображений мониторинг облачность УДК 004.932.2:[551.501:551.576.2] розподілені обчислення робочі процеси Apache Hadoop Apache Spark аналіз зображень моніторинг хмарність УДК 004.932.2:[551.501:551.576.2]
format	Article
author	Doroshenko, А.Yu. Shpyg, V.M. Ovdii, O.M.
author_facet	Doroshenko, А.Yu. Shpyg, V.M. Ovdii, O.M.
author_sort	Doroshenko, А.Yu.
title	Software system for analyzing cloudiness based on satellite observations
title_short	Software system for analyzing cloudiness based on satellite observations
title_full	Software system for analyzing cloudiness based on satellite observations
title_fullStr	Software system for analyzing cloudiness based on satellite observations
title_full_unstemmed	Software system for analyzing cloudiness based on satellite observations
title_sort	software system for analyzing cloudiness based on satellite observations
title_alt	Программная система анализа облачности по данным спутниковых наблюдений Програмна система аналізу хмарності за даними супутникових спостережень
description	The article presents software system for analyzing cloudiness indicators in Ukraine based on satellite observations. This system was developed using an online dialog designer for automated workflow design based on algebra-algorithmic and ontological tools ODWF. The workflow for the implementation of the task was designed for Apache Oozie and distributed platform Apache Hadoop. In order to support scalability and optimize the processing of large volumes of satellite images, the Apache Spark framework was used to implement image analysis. An experiment was conducted to run the developed workflow on a different number of Apache Spark threads, the results of which demonstrated a good efficiency of calculation parallelization. It is shown that the results obtained during the experiment at a qualitative level are in good agreement with the data of long-term ground-based observations and actual observational data.Problems in programming 2019; 3: 116-126
publisher	PROBLEMS IN PROGRAMMING
publishDate	2019
url	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/370
work_keys_str_mv	AT doroshenkoayu softwaresystemforanalyzingcloudinessbasedonsatelliteobservations AT shpygvm softwaresystemforanalyzingcloudinessbasedonsatelliteobservations AT ovdiiom softwaresystemforanalyzingcloudinessbasedonsatelliteobservations AT doroshenkoayu programmnaâsistemaanalizaoblačnostipodannymsputnikovyhnablûdenij AT shpygvm programmnaâsistemaanalizaoblačnostipodannymsputnikovyhnablûdenij AT ovdiiom programmnaâsistemaanalizaoblačnostipodannymsputnikovyhnablûdenij AT doroshenkoayu programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ AT shpygvm programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ AT ovdiiom programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ
first_indexed	2025-07-17T09:55:50Z
last_indexed	2025-07-17T09:55:50Z
_version_	1850410295362584576

Software system for analyzing cloudiness based on satellite observations

Institution

Ähnliche Einträge