APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS
PACS numbers: 07.05.Tp,98.35.-a Purpose: In the process of astronomical observations vast amounts of data are collected. The BSA (Big Scanning Antenna) used in the study of impulse phenomena, daily logs 87.5 GB of data (32 TB per year). The aim of this work is to develop the web-service which assist...
Збережено в:
| Дата: | 2017 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | rus |
| Опубліковано: |
Видавничий дім «Академперіодика»
2017
|
| Теми: | |
| Онлайн доступ: | http://rpra-journal.org.ua/index.php/ra/article/view/1275 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Radio physics and radio astronomy |
Репозитарії
Radio physics and radio astronomy| id |
oai:ri.kharkov.ua:article-1275 |
|---|---|
| record_format |
ojs |
| institution |
Radio physics and radio astronomy |
| collection |
OJS |
| language |
rus |
| topic |
big data deep neural networks impulse phenomena classification большие данные глубокие нейронные сети классификация импульсных явлений великі дані глибокі нейронні мережі класифікація імпульсних явищ |
| spellingShingle |
big data deep neural networks impulse phenomena classification большие данные глубокие нейронные сети классификация импульсных явлений великі дані глибокі нейронні мережі класифікація імпульсних явищ Gorbunov, A. A. Isaev, E. A. Samodurov, V. A. APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| topic_facet |
big data deep neural networks impulse phenomena classification большие данные глубокие нейронные сети классификация импульсных явлений великі дані глибокі нейронні мережі класифікація імпульсних явищ |
| format |
Article |
| author |
Gorbunov, A. A. Isaev, E. A. Samodurov, V. A. |
| author_facet |
Gorbunov, A. A. Isaev, E. A. Samodurov, V. A. |
| author_sort |
Gorbunov, A. A. |
| title |
APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| title_short |
APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| title_full |
APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| title_fullStr |
APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| title_full_unstemmed |
APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS |
| title_sort |
application of deep learning neural network for classification of big data of astronomic observations |
| title_alt |
ПРИМЕНЕНИЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ БОЛЬШИХ ОБЪЕМОВ АСТРОНОМИЧЕСКИХ ДАННЫХ ЗАСТОСУВАННЯ ГЛИБОКИХ НЕЙРОННИХ МЕРЕЖ ДЛЯ КЛАСИФІКАЦІЇ ВЕЛИКИХ ОБСЯГІВ АСТРОНОМІЧНИХ ДАНИХ |
| description |
PACS numbers: 07.05.Tp,98.35.-a Purpose: In the process of astronomical observations vast amounts of data are collected. The BSA (Big Scanning Antenna) used in the study of impulse phenomena, daily logs 87.5 GB of data (32 TB per year). The aim of this work is to develop the web-service which assists the experts with classification of new astronomic observations. The Azure Machine Learning Studio which offers a Deep Neural Network algorithm is used as a tool for web-service developing.Design/methodology/approach: Experts classified 83096 individual observations (on the segment of the study July 2012 – October 2013). Over 89 % of the sample correspond to pulsars, twinkling springs and rapid radiotransmitters, and all other classes of observations belong to hardware failures, interference, the flight of the Earth satellite and aircraft. There were allocated 15 classes of observations.Findings: Such a sample, divided into classes allows using the machine learning algorithms. It has become possible to develop an automated service for short-term/long-term monitoring of various classes of radio sources (including radiotransmitted of different nature), monitoring the Earth’s ionosphere, the interplanetary and the interstellar plasma, search and monitoring of different classes of radio sources. Monitoring in this case refers to the automatic filtering and detection of earlier unclassified impulse phenomena. Currently, for automatic filtering, statistical analysis methods are used. This paper considers an alternative method supposed to be using neural network machine learning algorithm which processes the input into raw data, and after processing by the hidden layer through the output layer determines the class of pulse phenomena.Сonclusions: Creating a neural network model, trained on a sample and classifying earlier unclassified impulse phenomena, is performed using the cloud service Microsoft Azure Machine Learning Studio. The Web service, created based on the aforesaid model, allows classifying both single impulse phenomena in real time (Request / Reply) and data sampling for a certain period (Batch processing).Key words: big data, deep neural networks, impulse phenomena classificationManuscript submitted 20.10.2017Radio phys. radio astron. 2017, 22(4): 270-275REFERENCES1. SAMODUROV, V. A., DUMSKY, D. V., ISAEV, E. A., RODIN, A. E., KAZANCEV A. N., FEDOROVA, V. A. and BELYATSKIJ, YU. A., 2016. The daily 110 MHz radio wave sky survey: statistical analysis of impulse phenomena from observation in 2012-2013. Odessa Astronomical Publications. vol. 29, pp. 167–170. DOI: https://doi.org/10.18524/1810-4215.2016.29.85206 2. TAYLOR, G. B., ELLINGSON, S. W., KASSIM, N. E., CRAIG, J., DOWELL, J., WOLFE, C. N., HARTMAN, J., BERNARDI, G., CLARKE, T., COHEN, A., DALAL, N. P., ERICKSON, W. C., HICKS, B., GREENHILL, L. J., JACOBY, B., LANE, W., LAZIO, J., MITCHELL, D., NAVARRO, R., ORD, S. M., PIHLSTRÖM, Y., POLISENSKY, E., RAY, P. S., RICKARD, L. J., SCHINZEL, F. K., SCHMITT, H., SIGMAN, E., SORIANO, M., STEWART, K. P., STOVALL, K., TREMBLAY, S., WANG, D., WEILER, K. W., WHITE, S. and WOOD, D. L., 2012. First Light for the First Station of the Long Wavelength Array. J. Astron. Instrum. vol. 1, no. 1, id. 1250004. DOI: https://doi.org/10.1142/S2251171712500043 3. ROMAN, V. Ş. and BUIU, C., 2015. Automatic Analysis of Radio Meteor Events Using Neural Networks. Earth Moon Planets. vol. 116, is. 2, pp. 101–113. DOI: https://doi.org/10.1007/s11038-015-9473-y |
| publisher |
Видавничий дім «Академперіодика» |
| publishDate |
2017 |
| url |
http://rpra-journal.org.ua/index.php/ra/article/view/1275 |
| work_keys_str_mv |
AT gorbunovaa applicationofdeeplearningneuralnetworkforclassificationofbigdataofastronomicobservations AT isaevea applicationofdeeplearningneuralnetworkforclassificationofbigdataofastronomicobservations AT samodurovva applicationofdeeplearningneuralnetworkforclassificationofbigdataofastronomicobservations AT gorbunovaa primenenieglubokihnejronnyhsetejdlâklassifikaciibolʹšihobʺemovastronomičeskihdannyh AT isaevea primenenieglubokihnejronnyhsetejdlâklassifikaciibolʹšihobʺemovastronomičeskihdannyh AT samodurovva primenenieglubokihnejronnyhsetejdlâklassifikaciibolʹšihobʺemovastronomičeskihdannyh AT gorbunovaa zastosuvannâglibokihnejronnihmereždlâklasifíkacíívelikihobsâgívastronomíčnihdanih AT isaevea zastosuvannâglibokihnejronnihmereždlâklasifíkacíívelikihobsâgívastronomíčnihdanih AT samodurovva zastosuvannâglibokihnejronnihmereždlâklasifíkacíívelikihobsâgívastronomíčnihdanih |
| first_indexed |
2024-05-26T06:29:14Z |
| last_indexed |
2024-05-26T06:29:14Z |
| _version_ |
1800358360890998784 |
| spelling |
oai:ri.kharkov.ua:article-12752020-06-09T10:33:52Z APPLICATION OF DEEP LEARNING NEURAL NETWORK FOR CLASSIFICATION OF BIG DATA OF ASTRONOMIC OBSERVATIONS ПРИМЕНЕНИЕ ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ БОЛЬШИХ ОБЪЕМОВ АСТРОНОМИЧЕСКИХ ДАННЫХ ЗАСТОСУВАННЯ ГЛИБОКИХ НЕЙРОННИХ МЕРЕЖ ДЛЯ КЛАСИФІКАЦІЇ ВЕЛИКИХ ОБСЯГІВ АСТРОНОМІЧНИХ ДАНИХ Gorbunov, A. A. Isaev, E. A. Samodurov, V. A. big data; deep neural networks; impulse phenomena classification большие данные; глубокие нейронные сети; классификация импульсных явлений великі дані; глибокі нейронні мережі; класифікація імпульсних явищ PACS numbers: 07.05.Tp,98.35.-a Purpose: In the process of astronomical observations vast amounts of data are collected. The BSA (Big Scanning Antenna) used in the study of impulse phenomena, daily logs 87.5 GB of data (32 TB per year). The aim of this work is to develop the web-service which assists the experts with classification of new astronomic observations. The Azure Machine Learning Studio which offers a Deep Neural Network algorithm is used as a tool for web-service developing.Design/methodology/approach: Experts classified 83096 individual observations (on the segment of the study July 2012 – October 2013). Over 89 % of the sample correspond to pulsars, twinkling springs and rapid radiotransmitters, and all other classes of observations belong to hardware failures, interference, the flight of the Earth satellite and aircraft. There were allocated 15 classes of observations.Findings: Such a sample, divided into classes allows using the machine learning algorithms. It has become possible to develop an automated service for short-term/long-term monitoring of various classes of radio sources (including radiotransmitted of different nature), monitoring the Earth’s ionosphere, the interplanetary and the interstellar plasma, search and monitoring of different classes of radio sources. Monitoring in this case refers to the automatic filtering and detection of earlier unclassified impulse phenomena. Currently, for automatic filtering, statistical analysis methods are used. This paper considers an alternative method supposed to be using neural network machine learning algorithm which processes the input into raw data, and after processing by the hidden layer through the output layer determines the class of pulse phenomena.Сonclusions: Creating a neural network model, trained on a sample and classifying earlier unclassified impulse phenomena, is performed using the cloud service Microsoft Azure Machine Learning Studio. The Web service, created based on the aforesaid model, allows classifying both single impulse phenomena in real time (Request / Reply) and data sampling for a certain period (Batch processing).Key words: big data, deep neural networks, impulse phenomena classificationManuscript submitted 20.10.2017Radio phys. radio astron. 2017, 22(4): 270-275REFERENCES1. SAMODUROV, V. A., DUMSKY, D. V., ISAEV, E. A., RODIN, A. E., KAZANCEV A. N., FEDOROVA, V. A. and BELYATSKIJ, YU. A., 2016. The daily 110 MHz radio wave sky survey: statistical analysis of impulse phenomena from observation in 2012-2013. Odessa Astronomical Publications. vol. 29, pp. 167–170. DOI: https://doi.org/10.18524/1810-4215.2016.29.85206 2. TAYLOR, G. B., ELLINGSON, S. W., KASSIM, N. E., CRAIG, J., DOWELL, J., WOLFE, C. N., HARTMAN, J., BERNARDI, G., CLARKE, T., COHEN, A., DALAL, N. P., ERICKSON, W. C., HICKS, B., GREENHILL, L. J., JACOBY, B., LANE, W., LAZIO, J., MITCHELL, D., NAVARRO, R., ORD, S. M., PIHLSTRÖM, Y., POLISENSKY, E., RAY, P. S., RICKARD, L. J., SCHINZEL, F. K., SCHMITT, H., SIGMAN, E., SORIANO, M., STEWART, K. P., STOVALL, K., TREMBLAY, S., WANG, D., WEILER, K. W., WHITE, S. and WOOD, D. L., 2012. First Light for the First Station of the Long Wavelength Array. J. Astron. Instrum. vol. 1, no. 1, id. 1250004. DOI: https://doi.org/10.1142/S2251171712500043 3. ROMAN, V. Ş. and BUIU, C., 2015. Automatic Analysis of Radio Meteor Events Using Neural Networks. Earth Moon Planets. vol. 116, is. 2, pp. 101–113. DOI: https://doi.org/10.1007/s11038-015-9473-y УДК 004.048; 524.6Предмет и цель работы: В процессе астрономических наблюдений собираются огромные объемы данных. БСА ФИАН (Большая сканирующая антенна Физического института Российской академии наук), используемая при исследовании импульсных явлений, ежедневно регистрирует 87.5 Гб данных (32 Тб в год). Целью представленной работы является разработка веб-сервиса для помощи экспертам в классификации новых астрономических наблюдений. Студия машинного обучения Azure Machine Learning Studio, поддерживающая алгоритм глубокой нейронной сети, используется в качестве инструмента для разработки веб-сервиса.Методы и методология: Экспертами классифицированы 83096 индивидуальных наблюдений (на отрезке исследования июль 2012 – октябрь 2013). Свыше 89 % выборки соответствуют пульсарам, мерцающим источникам и быстрым радиотранзиентам, а остальные классы наблюдений относятся к аппаратурным сбоям, помехам, пролету спутника Земли, самолета. Всего выделено 15 классов наблюдений.Результаты: Наличие подобной выборки, разделенной на классы, позволяет воспользоваться алгоритмами машинного обучения, с помощью которых станет возможной разработка автоматизированного сервиса для краткосрочного/долгосрочного мониторинга различных классов радиоисточников (в том числе радиотранзиентов различной природы), мониторинга ионосферы Земли, межпланетной и межзвездной плазмы, поиска и мониторинга различных классов радиоисточников. Под мониторингом в данном случае понимается автоматическая фильтрация и распознавание ранее неклассифицированных импульсных явлений. На текущий момент для автоматической фильтрации используются методы статистического анализа. В работе рассматривается альтернативный метод с использованием алгоритма машинного обучения – нейронной сети, которая обрабатывает поданные на вход первичные данные и, после обработки скрытым слоем, посредством выходного слоя определяет класс импульсного явления.Заключение: Создание модели нейронной сети, обученной на выборке и выполняющей классификацию ранее неклассифицированных импульсных явлений, производится с помощью облачного сервиса Microsoft Azure Machine Learning Studio. Веб-сервис, созданный на основании модели, позволяет классифицировать как одиночные импульсные явления в режиме реального времени (запрос-ответ), так и выборку данных за определенный период (пакетная обработка).Ключевые слова: большие данные, глубокие нейронные сети, классификация импульсных явленийСтатья поступила в редакцию 20.10.2017Radio phys. radio astron. 2017, 22(4): 270-275СПИСОК ЛИТЕРАТУРЫ1. Samodurov V. A., Dumsky D. V., Isaev E. A., Rodin A. E., Kazancev A. N., Fedorova V. A., and Belyatskij Yu. A. The daily 110 MHz radio wave sky survey: statistical analysis of impulse phenomena from observation in 2012-2013 // Odessa Astronomical Publications. – 2016. – Vol. 29. – P. 167–170. DOI: 10.18524/1810-4215.2016.29.852062. Taylor G. B., Ellingson S. W., Kassim N. E., Craig J., Dowell J., Wolfe C. N., Hartman J., Bernardi G., Clarke T., Cohen A., Dalal N. P., Erickson W.C., Hicks B., Greenhill L. J., Jacoby1 B., Lane W., Lazio J., Mitchell D., Navarro R., Ord S. M., Pihlström Y., Polisensky E., Ray P. S., Rickard L. J., Schinzel F. K., Schmitt1 H., Sigman E., Soriano M., Stewart K. P., Stovall K., Tremblay S., Wang D., Weiler K. W., White S., and Wood D. L. First Light for the First Station of the Long Wavelength Array // J. Astron. Instrum. – 2012. – Vol. 1, No. 1. – id. 1250004. DOI: 10.1142/S22511717125000433. Roman V. Ş. and Buiu C. Automatic Analysis of Radio Meteor Events Using Neural Networks // Earth Moon Planets. – 2015. – Vol. 116, Is. 2. – P. 101–113. DOI: 10.1007/s11038-015-9473-y УДК 004.048; 524.6 Предмет і мета роботи: У процесі астрономічних спостережень накопичуються величезні обсяги даних. ВСА ФІАН (Велика скануюча антена Фізичного інституту Російської академії наук), яка використовується у дослідженні імпульсних явищ, щодня реєструє 87.5 Гб даних (32 Тб щороку). Метою роботи є розробка веб-сервісу для допомоги експертам у класифікації нових астрономічних спостережень. Студія машинного навчання Azure Machine Learning Studio, що підтримує алгоритм глибокої нейронної мережі, використовується як інструмент для розробки веб-сервісу. Методи і методологія: Експертами класифіковано 83096 індивідуальних спостережень (на відрізку дослідження липень 2012 – жовтень 2013). Понад 89 % вибірки відповідають пульсарам, мерехтливим джерелам і швидким радіотранзієнтам, а решта класів спостережень відносяться до апаратурних збоїв, перешкод, прольоту супутника Землі, літака. Всього виділено 15 класів спостережень.Результати: Наявність подібної вибірки, поділеної на класи, дозволяє скористатися алгоритмами машинного навчання, за допомогою яких уможливиться розробка автоматизованого сервісу для короткострокового довгострокового моніторингу різних класів радіоджерел (у тому числі радіотранзієнтів різної природи), моніторингу іоносфери Землі, міжпланетної та міжзоряної плазми, пошуку й моніторингу різних класів радіоджерел. Моніторингом у даному разі розуміємо автоматичну фільтрацію і розпізнавання раніше некласифікованих імпульсних явищ. Наразі для автоматичної фільтрації використовуються методи статистичного аналізу. В роботі розглядається альтернативний метод з використанням алгоритму машинного навчання – нейронної мережі, яка обробляє подані на вхід первинні дані і, після обробки прихованим шаром, за допомогою вихідного шару визначає клас імпульсного явища.Висновок: Створення моделі нейронної мережі, що навчена на вибірці та виконує класифікацію раніше некласифікованих імпульсних явищ, виконується за допомогою хмарного сервісу Microsoft Azure Machine Learning Studio. Веб-сервіс, створений на основі моделі, дозволяє класифікувати як поодинокі імпульсні явища в режимі реального часу (запит-відповідь), так і вибірку даних за певний період (пакетна обробка).Ключові слова: великі дані, глибокі нейронні мережі, класифікація імпульсних явищСтаття надійшла до редакції 20.10.2017Radio phys. radio astron. 2017, 22(4): 270-275СПИСОК ЛІТЕРАТУРИ1. Samodurov V. A., Dumsky D. V., Isaev E. A., Rodin A. E., Kazancev A. N., Fedorova V. A., and Belyatskij Yu. A. The daily 110 MHz radio wave sky survey: statistical analysis of impulse phenomena from observation in 2012-2013 // Odessa Astronomical Publications. – 2016. – Vol. 29. – P. 167–170. DOI: 10.18524/1810-4215.2016.29.852062. Taylor G. B., Ellingson S. W., Kassim N. E., Craig J., Dowell J., Wolfe C. N., Hartman J., Bernardi G., Clarke T., Cohen A., Dalal N. P., Erickson W.C., Hicks B., Greenhill L. J., Jacoby1 B., Lane W., Lazio J., Mitchell D., Navarro R., Ord S. M., Pihlström Y., Polisensky E., Ray P. S., Rickard L. J., Schinzel F. K., Schmitt1 H., Sigman E., Soriano M., Stewart K. P., Stovall K., Tremblay S., Wang D., Weiler K. W., White S., and Wood D. L. First Light for the First Station of the Long Wavelength Array // J. Astron. Instrum. – 2012. – Vol. 1, No. 1. – id. 1250004. DOI: 10.1142/S22511717125000433. Roman V. Ş. and Buiu C. Automatic Analysis of Radio Meteor Events Using Neural Networks // Earth Moon Planets. – 2015. – Vol. 116, Is. 2. – P. 101–113. DOI: 10.1007/s11038-015-9473-y Видавничий дім «Академперіодика» 2017-12-04 Article Article application/pdf http://rpra-journal.org.ua/index.php/ra/article/view/1275 10.15407/rpra22.04.270 РАДИОФИЗИКА И РАДИОАСТРОНОМИЯ; Vol 22, No 4 (2017); 270 RADIO PHYSICS AND RADIO ASTRONOMY; Vol 22, No 4 (2017); 270 РАДІОФІЗИКА І РАДІОАСТРОНОМІЯ; Vol 22, No 4 (2017); 270 2415-7007 1027-9636 10.15407/rpra22.04 rus http://rpra-journal.org.ua/index.php/ra/article/view/1275/pdf Copyright (c) 2017 RADIO PHYSICS AND RADIO ASTRONOMY |