DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS
PACS number: 95.85.BhPurpose: The goal of the work is to develop a workable technique for fast processing of large arrays of radio astronomy data to search for responses to extragalactic transient events, which a priori should have large dispersion (DM ~ 100÷2000 pc · cm-3). Records of 20-day conti...
Збережено в:
| Дата: | 2018 |
|---|---|
| Автори: | , , , , , , , , , , , |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Видавничий дім «Академперіодика»
2018
|
| Теми: | |
| Онлайн доступ: | http://rpra-journal.org.ua/index.php/ra/article/view/1300 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Radio physics and radio astronomy |
Репозитарії
Radio physics and radio astronomy| id |
rpra-journalorgua-article-1300 |
|---|---|
| record_format |
ojs |
| institution |
Radio physics and radio astronomy |
| baseUrl_str |
|
| datestamp_date |
2020-06-09T10:31:20Z |
| collection |
OJS |
| language |
Russian |
| topic |
radio observation big data processing technique |
| spellingShingle |
radio observation big data processing technique Samodurov, V. A. Pavlov, S. Yu. Tyurin, V. A. Zajcev, A. Yu. Isaev, E. A. Pozanenko, A. S. Logvinenko, S. V. Oreshko, V. V. Dumskij, D. V. Belyatskij, Yu. A. Pervuhin, D. V. Grokhlina, T. I. DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| topic_facet |
radio observation big data processing technique радионаблюдения большие данные методика обработки радіоспостереження великі дані методика обробки |
| format |
Article |
| author |
Samodurov, V. A. Pavlov, S. Yu. Tyurin, V. A. Zajcev, A. Yu. Isaev, E. A. Pozanenko, A. S. Logvinenko, S. V. Oreshko, V. V. Dumskij, D. V. Belyatskij, Yu. A. Pervuhin, D. V. Grokhlina, T. I. |
| author_facet |
Samodurov, V. A. Pavlov, S. Yu. Tyurin, V. A. Zajcev, A. Yu. Isaev, E. A. Pozanenko, A. S. Logvinenko, S. V. Oreshko, V. V. Dumskij, D. V. Belyatskij, Yu. A. Pervuhin, D. V. Grokhlina, T. I. |
| author_sort |
Samodurov, V. A. |
| title |
DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| title_short |
DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| title_full |
DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| title_fullStr |
DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| title_full_unstemmed |
DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS |
| title_sort |
development of data processing techniques for daily survey at 110 mhz by bsa lpi using high-performance computing methods |
| title_alt |
РАЗРАБОТКА МЕТОДИКИ ОБРАБОТКИ ДАННЫХ КРУГЛОСУТОЧНОГО ОБЗОРА БСА ФИАН НА ЧАСТОТЕ 110 МГЦ МЕТОДАМИ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ РОЗРОБКА МЕТОДИКИ ОБРОБКИ ДАНИХ ЦІЛОДОБОВОГО ОГЛЯДУ БСА ФІАН НА ЧАСТОТІ 110 МГЦ МЕТОДАМИ ВИСОКОПРОДУКТИВНИХ ОБЧИСЛЕНЬ |
| description |
PACS number: 95.85.BhPurpose: The goal of the work is to develop a workable technique for fast processing of large arrays of radio astronomy data to search for responses to extragalactic transient events, which a priori should have large dispersion (DM ~ 100÷2000 pc · cm-3). Records of 20-day continuous observations of the sky sphere circumpolar zone with an area of about 8 sq deg and separate files with repeating fast radio burst FRB 121102 were used as a test sample of the technique.Design/methodology/approach: The BSA (Big Scanning Antenna) LPI radio telescope has a multi-beam diagram and is capable of recording daily in the frequency range of 109–111.5 MHz in 96 beams in the declination range from – 8° to +42°. The number of frequency bands varies within 6 to 32 for the time constant varying within 0.1 to 0.0125 s, respectively. In the mode of recording 32 frequency bands with the time constant 0.0125 s, 3.4 GB of data are recorded every hour, 87 GB – daily, and 32 TB – per year. To end of August 2018, about 120 TB of data have been accumulated. Processing this amount of data for a number of scientific problems urgently requires the use of high-performance computing technologies.Findings: The paper proposes two ways to process data: using graphics processors (CPU+GPU, calculation in the C/C++ programming language using OpenCL) and using cluster computing (by using the message passing interface MPI on multiprocessor nodes). To refine the methodology, we use both the processing of pulsar data (using graphic accelerators allows us to increase the processing speed by 2–3 orders of magnitude) and search for responses to extragalactic transient events, which a priori should have large dispersion delays. Examples of such events include fast radio bursts (FRB), responses to gamma radio bursts (GRB) and, finally, possible responses to gravitational events recorded by the LIGO detectors. After processing the polar zone, 697 candidates for pulsed events with high dispersion measures were detected. About half of them is caused by man-made interference, the rest being caused both by the usual interplanetary scintillations of radio sources, and also by the possible soughtfor FRBs. It is still difficult to separate these two classes of events. Processing the data observed in the FRB 121102 zonealso indicates the presence of event candidates. The results require more thorough analysis.Сonclusions: After finalizing the high-performance computing methodology, it will allow us to process data observed with the BSA LPI multipath diagram immediately after they are recorded.Key words: radio observation, big data, processing techniqueManuscript submitted 10.10.2018Radio phys. radio astron. 2018, 23(4): 258–265 REFERENCES1. ORESHKO, V. V., 2014. The state and prospects for LPI PRAO radiotelescopes. (in Russian). [online]. [viewed 27.09.2018] Available from: http://www.prao.ru/conf/rrc2014/docs/22092014/06_Oreshko.pdf2. VAN HAARLEM, M. P., WISE, M. W., GUNST, A. W., HEALD, G., MCKEAN, J. P., HESSELS, J. W. T., DE BRUYN, A. G., NIJBOER, R., SWINBANK, J., FALLOWS, R., and 191 coauthors, 2013. LOFAR: The LOw-Frequency Array. Astron. Astrophys. vol. 556, id. A2. DOI: https://doi.org/10.1051/0004-6361/2012208733. LORIMER, D. R., BAILES, M., MCLAUGHLIN, M. A., NARKEVIC, D. J. and CRAWFORD, F. A., 2007. Bright Millisecond Radio Burst of Extragalactic Origin. Science. vol. 318, is. 5851, pp. 777–780. DOI: https://doi.org/10.1126/science.11475324. POZANENKO, A. S., BARKOV, M. V., MINAEV, P. YU., VOLNOVA, A. A., MAZAEVA, E. D., MOSKVITIN, A. S., KRUGOV, M. A., SAMODUROV, V. A., LOZNIKOV, V. M. and LYUTIKOV, M., 2018. GRB 170817A Associatedwith GW170817: Multi-frequency Observations and Modeling of Prompt Gamma-Ray Emission. Astrophys. J. Lett. vol. 852, no. 2, id. L30. DOI: https://doi.org/10.3847/2041-8213/aaa2f65. FEDOROVA, V. A., 2016. FRBs: search for variations of low-frequency radio emission from the corresponding areas of the sky. In: “High Energy Astrophysics Today and Tomorrow” Conference Proceedings [online]. Moscow, Russia, December 20–23. Available from: http://hea.iki.rssi.ru/heaconf/hea/2016/hea/talk/63/6. FEDOROVA, V. A., RODIN, A. E., SAMODUROV, V. A. and LOGVINENKO, S. V., 2018. Detection of fast radio bursts by BSA LPI radio telescope. Modern Problems for Extragalactic Astronomy: Proceedings of XXXV All-Russian Conference. Pushchino, Russia, Pushchino Radio AstronomyObservatory, April 24–27, 2018. p. 39.7. RODIN, A. E., FEDOROVA, V. A., SAMODUROV, V. A. and LOGVINENKO, S. V., 2018. Detection of Fast Radio Bursts at the LPA LPI Radio Telescope. Astron. Tsircular. no. 1641. (in Russian). [online]. [viewed 27.09.2018]. Available from: http://comet.sai.msu.ru/~gmr/AC/AC1641.pdf8. PAVLOV, S. YU., TYURIN, V. A. and SAMODUROV, V. A., 2018. Data processing for dayly survey (110 MHz) by BSA LPI using high-performance computing methods. Modern Problems for Extragalactic Astronomy: Proceedings of XXXV All-Russian Conference. Pushchino, Russia, Pushchino Radio Astronomy Observatory, April 24–27, 2018. p. 439. SCHOLZ, P., SPITLER, L. G., HESSELS, J. W. T., CHATTERJEE, S., CORDES, J. M., KASPI, V. M., WHARTON, R. S., BASSA, C. G., BOGDANOV, S., CAMILO, F., CRAWFORD, F., DENEVA, J., VAN LEEUWEN,J., LYNCH, R., MADSEN, E. C., MCLAUGHLIN, M. A., MICKALIGER, M., PARENT, E., PATEL, C., RANSOM, S. M., SEYMOUR, A., STAIRS, I. H., STAPPERS, B. W. and TENDULKAR, S. P., 2016. The Repeating Fast Radio Burst FRB 121102: Multi-wavelength Observations and Additional Bursts. Astrophys. J. vol. 833, is. 2, id. 177. DOI: https://doi.org/10.3847/1538-4357/833/2/17710. FRB TEAM, 2018. FRB Catalogue [online]. [viewed 22.09.2018]. Available from: http://frbcat.org/ |
| publisher |
Видавничий дім «Академперіодика» |
| publishDate |
2018 |
| url |
http://rpra-journal.org.ua/index.php/ra/article/view/1300 |
| work_keys_str_mv |
AT samodurovva developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT pavlovsyu developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT tyurinva developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT zajcevayu developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT isaevea developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT pozanenkoas developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT logvinenkosv developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT oreshkovv developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT dumskijdv developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT belyatskijyua developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT pervuhindv developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT grokhlinati developmentofdataprocessingtechniquesfordailysurveyat110mhzbybsalpiusinghighperformancecomputingmethods AT samodurovva razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT pavlovsyu razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT tyurinva razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT zajcevayu razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT isaevea razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT pozanenkoas razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT logvinenkosv razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT oreshkovv razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT dumskijdv razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT belyatskijyua razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT pervuhindv razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT grokhlinati razrabotkametodikiobrabotkidannyhkruglosutočnogoobzorabsafiannačastote110mgcmetodamivysokoproizvoditelʹnyhvyčislenij AT samodurovva rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT pavlovsyu rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT tyurinva rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT zajcevayu rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT isaevea rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT pozanenkoas rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT logvinenkosv rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT oreshkovv rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT dumskijdv rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT belyatskijyua rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT pervuhindv rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ AT grokhlinati rozrobkametodikiobrobkidanihcílodobovogooglâdubsafíannačastotí110mgcmetodamivisokoproduktivnihobčislenʹ |
| first_indexed |
2025-12-02T15:30:28Z |
| last_indexed |
2025-12-02T15:30:28Z |
| _version_ |
1850763776623640576 |
| spelling |
rpra-journalorgua-article-13002020-06-09T10:31:20Z DEVELOPMENT OF DATA PROCESSING TECHNIQUES FOR DAILY SURVEY AT 110 MHZ BY BSA LPI USING HIGH-PERFORMANCE COMPUTING METHODS РАЗРАБОТКА МЕТОДИКИ ОБРАБОТКИ ДАННЫХ КРУГЛОСУТОЧНОГО ОБЗОРА БСА ФИАН НА ЧАСТОТЕ 110 МГЦ МЕТОДАМИ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ РОЗРОБКА МЕТОДИКИ ОБРОБКИ ДАНИХ ЦІЛОДОБОВОГО ОГЛЯДУ БСА ФІАН НА ЧАСТОТІ 110 МГЦ МЕТОДАМИ ВИСОКОПРОДУКТИВНИХ ОБЧИСЛЕНЬ Samodurov, V. A. Pavlov, S. Yu. Tyurin, V. A. Zajcev, A. Yu. Isaev, E. A. Pozanenko, A. S. Logvinenko, S. V. Oreshko, V. V. Dumskij, D. V. Belyatskij, Yu. A. Pervuhin, D. V. Grokhlina, T. I. radio observation; big data; processing technique радионаблюдения; большие данные; методика обработки радіоспостереження; великі дані; методика обробки PACS number: 95.85.BhPurpose: The goal of the work is to develop a workable technique for fast processing of large arrays of radio astronomy data to search for responses to extragalactic transient events, which a priori should have large dispersion (DM ~ 100÷2000 pc · cm-3). Records of 20-day continuous observations of the sky sphere circumpolar zone with an area of about 8 sq deg and separate files with repeating fast radio burst FRB 121102 were used as a test sample of the technique.Design/methodology/approach: The BSA (Big Scanning Antenna) LPI radio telescope has a multi-beam diagram and is capable of recording daily in the frequency range of 109–111.5 MHz in 96 beams in the declination range from – 8° to +42°. The number of frequency bands varies within 6 to 32 for the time constant varying within 0.1 to 0.0125 s, respectively. In the mode of recording 32 frequency bands with the time constant 0.0125 s, 3.4 GB of data are recorded every hour, 87 GB – daily, and 32 TB – per year. To end of August 2018, about 120 TB of data have been accumulated. Processing this amount of data for a number of scientific problems urgently requires the use of high-performance computing technologies.Findings: The paper proposes two ways to process data: using graphics processors (CPU+GPU, calculation in the C/C++ programming language using OpenCL) and using cluster computing (by using the message passing interface MPI on multiprocessor nodes). To refine the methodology, we use both the processing of pulsar data (using graphic accelerators allows us to increase the processing speed by 2–3 orders of magnitude) and search for responses to extragalactic transient events, which a priori should have large dispersion delays. Examples of such events include fast radio bursts (FRB), responses to gamma radio bursts (GRB) and, finally, possible responses to gravitational events recorded by the LIGO detectors. After processing the polar zone, 697 candidates for pulsed events with high dispersion measures were detected. About half of them is caused by man-made interference, the rest being caused both by the usual interplanetary scintillations of radio sources, and also by the possible soughtfor FRBs. It is still difficult to separate these two classes of events. Processing the data observed in the FRB 121102 zonealso indicates the presence of event candidates. The results require more thorough analysis.Сonclusions: After finalizing the high-performance computing methodology, it will allow us to process data observed with the BSA LPI multipath diagram immediately after they are recorded.Key words: radio observation, big data, processing techniqueManuscript submitted 10.10.2018Radio phys. radio astron. 2018, 23(4): 258–265 REFERENCES1. ORESHKO, V. V., 2014. The state and prospects for LPI PRAO radiotelescopes. (in Russian). [online]. [viewed 27.09.2018] Available from: http://www.prao.ru/conf/rrc2014/docs/22092014/06_Oreshko.pdf2. VAN HAARLEM, M. P., WISE, M. W., GUNST, A. W., HEALD, G., MCKEAN, J. P., HESSELS, J. W. T., DE BRUYN, A. G., NIJBOER, R., SWINBANK, J., FALLOWS, R., and 191 coauthors, 2013. LOFAR: The LOw-Frequency Array. Astron. Astrophys. vol. 556, id. A2. DOI: https://doi.org/10.1051/0004-6361/2012208733. LORIMER, D. R., BAILES, M., MCLAUGHLIN, M. A., NARKEVIC, D. J. and CRAWFORD, F. A., 2007. Bright Millisecond Radio Burst of Extragalactic Origin. Science. vol. 318, is. 5851, pp. 777–780. DOI: https://doi.org/10.1126/science.11475324. POZANENKO, A. S., BARKOV, M. V., MINAEV, P. YU., VOLNOVA, A. A., MAZAEVA, E. D., MOSKVITIN, A. S., KRUGOV, M. A., SAMODUROV, V. A., LOZNIKOV, V. M. and LYUTIKOV, M., 2018. GRB 170817A Associatedwith GW170817: Multi-frequency Observations and Modeling of Prompt Gamma-Ray Emission. Astrophys. J. Lett. vol. 852, no. 2, id. L30. DOI: https://doi.org/10.3847/2041-8213/aaa2f65. FEDOROVA, V. A., 2016. FRBs: search for variations of low-frequency radio emission from the corresponding areas of the sky. In: “High Energy Astrophysics Today and Tomorrow” Conference Proceedings [online]. Moscow, Russia, December 20–23. Available from: http://hea.iki.rssi.ru/heaconf/hea/2016/hea/talk/63/6. FEDOROVA, V. A., RODIN, A. E., SAMODUROV, V. A. and LOGVINENKO, S. V., 2018. Detection of fast radio bursts by BSA LPI radio telescope. Modern Problems for Extragalactic Astronomy: Proceedings of XXXV All-Russian Conference. Pushchino, Russia, Pushchino Radio AstronomyObservatory, April 24–27, 2018. p. 39.7. RODIN, A. E., FEDOROVA, V. A., SAMODUROV, V. A. and LOGVINENKO, S. V., 2018. Detection of Fast Radio Bursts at the LPA LPI Radio Telescope. Astron. Tsircular. no. 1641. (in Russian). [online]. [viewed 27.09.2018]. Available from: http://comet.sai.msu.ru/~gmr/AC/AC1641.pdf8. PAVLOV, S. YU., TYURIN, V. A. and SAMODUROV, V. A., 2018. Data processing for dayly survey (110 MHz) by BSA LPI using high-performance computing methods. Modern Problems for Extragalactic Astronomy: Proceedings of XXXV All-Russian Conference. Pushchino, Russia, Pushchino Radio Astronomy Observatory, April 24–27, 2018. p. 439. SCHOLZ, P., SPITLER, L. G., HESSELS, J. W. T., CHATTERJEE, S., CORDES, J. M., KASPI, V. M., WHARTON, R. S., BASSA, C. G., BOGDANOV, S., CAMILO, F., CRAWFORD, F., DENEVA, J., VAN LEEUWEN,J., LYNCH, R., MADSEN, E. C., MCLAUGHLIN, M. A., MICKALIGER, M., PARENT, E., PATEL, C., RANSOM, S. M., SEYMOUR, A., STAIRS, I. H., STAPPERS, B. W. and TENDULKAR, S. P., 2016. The Repeating Fast Radio Burst FRB 121102: Multi-wavelength Observations and Additional Bursts. Astrophys. J. vol. 833, is. 2, id. 177. DOI: https://doi.org/10.3847/1538-4357/833/2/17710. FRB TEAM, 2018. FRB Catalogue [online]. [viewed 22.09.2018]. Available from: http://frbcat.org/ УДК 524.7PACS number: 95.85.BhПредмет и цель работы: Цель работы – разработка работоспособной методики быстрой обработки больших массивов радиоастрономических данных для поиска откликов на внегалактические транзиентные события, которые априори должны иметь большие дисперсионные задержки (DM ~ 100÷2000 пк · см-3). В качестве тестового образца использованы записи 20-суточных непрерывных наблюдений приполярной зоны небесной сферы площадью около 8 квадратных градусов и отдельные файлы с повторяющимся быстрым радиовсплеском FRB 121102.Методы и методология: Радиотелескоп БСА ФИАН имеет многолучевую диаграмму, способную круглосуточно наблюдать в 96 лучах в диапазоне склонений от – 8° до +42° в частотном диапазоне 109÷111.5 МГц. Число частотных полос – от 6 до 32, постоянная времени изменяется в пределах от 0.1 до 0.0125 с. В режиме записи 32 частотных полос с постоянной времени 0.0125 с каждый час записывается 3.4 ГБ данных, в сутки – 87 ГБ, в год – 32 ТБ. На август 2018 г. накоплено около 120 ТБ данных. Обработка такого объема данных для ряда научных задач настоятельно требует использования технологий высокопроизводительных вычислений.Результаты: В работе предлагаются два способа обработки данных: с использованием графических процессоров (CPU+GPU, расчет на языке программирования C/C++ с использованием OpenCL) и при помощи кластерных вычислений (с использованием интерфейса передачи сообщений MPI на многопроцессорных узлах). Для отработки методики используются как обработка пульсарных данных (использование графических ускорителей позволяет увеличить скорость обработки на 2–3 порядка), так и поиск откликов на внегалактические транзиентные события, которые априори должны иметь большие дисперсионные задержки. В качестве примеров таких событий можно назвать быстрые радиовсплески (FRB), отклики на гамма-всплески (GRB) и, наконец, возможные отклики на гравитационные события, зафиксированные детекторами LIGO. После обработки приполярной зоны было обнаружено 697 кандидатов в импульсные события с высокими мерами дисперсии. Примерно половина из них вызвана техногенными помехами, оставшаяся часть порождена как обычными межпланетными мерцаниями радиоисточников, так и возможными искомыми FRB. Разделить эти два класса событий пока затруднительно. Обработка данных наблюдений в зоне всплеска FRB 121102 также показывает наличие кандидатов в события. Результаты требуют более тщательного анализа.Заключение: После окончательной отработки методика высокопроизводительных вычислений позволит обрабатывать данные наблюдений с использованием многолучевой диаграммы БСА ФИАН сразу же после их записи.Ключевые слова: радионаблюдения, большие данные, методика обработкиСтатья поступила в редакцию 10.10.2018Radio phys. radio astron. 2018, 23(4): 258-265СПИСОК ЛИТЕРАТУРЫ1. Орешко В. В. Радиотелескопы ПРАО – состояние и перспективы. (2014). URL: http://www.prao.ru/conf/rrc2014/docs/22092014/06_Oreshko.pdf (дата обращения 27.09.2018)2. Van Haarlem M. P., Wise M. W., Gunst A. W., Heald G., McKean J. P., Hessels J. W. T., de Bruyn A. G., Nijboer R., Swinbank J., Fallows R., and 191 coauthors. LOFAR: The LOw-Frequency Array. Astron. Astrophys. 2013. Vol. 556. id. A2. DOI: 10.1051/0004-6361/2012208733. Lorimer D. R., Bailes M., McLaughlin M. A., Narkevic D. J., and Crawford F. A Bright Millisecond Radio Burst of Extragalactic Origin. Science. 2007. Vol. 318, Is. 5851. P. 777–780. DOI: 10.1126/science.11475324. Pozanenko A. S., Barkov M. V., Minaev P. Yu., Volnova A. A., Mazaeva E. D., Moskvitin A. S., Krugov M. A., Samodurov V. A., Loznikov V. M., and Lyutikov M. GRB 170817A Associated with GW170817: Multi-frequency Observations and Modeling of Prompt Gamma-Ray Emission.Astrophys. J. Lett. 2018. Vol. 852, No. 2. id. L30. DOI: 10.3847/2041-8213/aaa2f65. Федорова В. А. FRBs: поиск вариаций низкочастотного радиоизлучения из соответствующих участков неба. Всероссийская конференция “Астрофизика высоких энергий сегодня и завтра”: Архив докладов. (2016). URL: http://hea.iki.rssi.ru/heaconf/hea/2016/hea/talk/63/ (дата обращения 30.08.2018)6. Федорова В. А., Родин А. Е., Дагкесаманский Р. Д., Самодуров В. А., Логвиненко С. В. Обнаружение быстрых радиовсплесков на радиотелескопе БСА ФИАН. XXXV Всероссийская конференция “Актуальные проблемы внегалактической астрономии”. Тезисы докладов. (24–27 апреля 2018 г., Пущино). Пущино, Россия, 2018. с 39.7. Родин Е. А., Федорова В. А., Самодуров В. А., Логвиненко С. В. Обнаружение быстрых радиовсплесков на радиотелескопе БСА ФИАН. Астрономический циркуляр. 2018. № 1641. URL: http://comet.sai.msu.ru/~gmr/AC/AC1641.pdf (дата обращения 27.09.2018)8. Павлов С. Ю., Тюрин В. А., Самодуров В. А. Обработка данных круглосуточного обзора БСА ФИАН (110 МГц) методами высокопроизводительных вычислений. XXXV Всероссийская конференция “Актуальные проблемы внегалактической астрономии”. Тезисы докладов. (24–27 апреля 2018 г., Пущино). Пущино, Россия, 2018. с. 439. Scholz P., Spitler L. G., Hessels J. W. T., Chatterjee S., Cordes J. M., Kaspi V. M., Wharton R. S., Bassa C. G., Bogdanov S., Camilo F., Crawford F., Deneva J., van Leeuwen J., Lynch R., Madsen E. C., McLaughlin M. A., Mickaliger M., Parent E., Patel C., Ransom S. M., Seymour A., Stairs I. H., Stappers B. W., and Tendulkar S. P. The Repeating Fast Radio Burst FRB 121102: Multi-wavelength Observations and Additional Bursts. Astrophys. J. 2016. Vol. 833, Is. 2. id. 177. DOI: 10.3847/1538-4357/833/2/17710. FRB Catalogue. (2018). URL: http://frbcat.org/ (дата обращения 22.09.2018) УДК 524.7PACS number: 95.85.BhПредмет та мета роботи: Мета роботи – розробка працездатної методики швидкої обробки великих масивів радіоастрономічних даних для пошуку відгуків на позагалактичні транзієнтні події, які апріорі повинні мати великі дисперсійні затримки (DM ~ 100÷2000 пк · см-3). У якості тестового зразка використано записи 20-добових безперервних спостережень приполярної зони небесної сфери площею близько 8 квадратних градусів та окремі файли з повторюваним швидким радіосплеском FRB 21102.Методи і методологія: Радіотелескоп БСА ФІАН має багатопроменеву діаграму, здатну цілодобово спостерігати у 96 променях в діапазоні схилення від – 8° до +42° в частотному діапазоні 109÷111.5 МГц. Число частотних смуг – від 6 до 32, постійна часу змінюється в межах від 0.1 до 0.0125 с. У режимі запису 32 частотних смуг з постійною часу 0.0125 с щогодини записується 3.4 ГБ даних, за добу – 87 ГБ, за рік – 32 ТБ. На серпень 2018 р. накопичено близько 120 ТБ даних. Обробка такого обсягу даних для низки наукових завдань вкрай вимагає використання технологій високопродуктивних обчислень.Результати: Пропонується два способи обробки даних: з використанням графічних процесорів (CPU+GPU, обчислення мовою програмування C/C++ з використанням OpenCL) та за допомогою кластерних обчислень (з використанням інтерфейсу передачі повідомлень MPI на багатопроцесорних вузлах). Для відпрацювання методики використовуються як обробка пульсарних даних (використання графічних прискорювачів дозволяє підвищити швидкість обробки на 2–3 порядки), так і пошук відгуків на позагалактичні транзієнтні події, які апріорі повинні мати великі дисперсійні затримки. Прикладами таких подій можна назвати швидкі радіосплески (FRB), відгуки на гамма-сплески (GRB) і, нарешті, можливі відгуки на гравітаційні події, зафіксовані детекторами LIGO. Після обробки приполярної зони було виявлено 697 кандидатів в імпульсні події з високими мірами дисперсії. Приблизно половина з них викликана техногенними перешкодами, решта породжена як звичайними міжпланетними мерехтіннями радіоджерел, так і можливими шуканими FRB. Розділити ці два класи подій наразі важко. Обробка даних спостережень у зоні сплеску FRB 121102 також показує наявність кандидатів у події. Результати вимагають більш ретельного аналізу.Висновок: Після остаточного відпрацювання методика високопродуктивних обчислень дозволить обробляти дані спостережень з використанням багатопроменевої діаграми БСА ФІАН відразу ж після їх запису.Ключові слова: радіоспостереження, великі дані, методика обробкиСтаття надійшла до редакції 10.10.2018Radio phys. radio astron. 2018, 23(4): 258-265СПИСОК ЛІТЕРАТУРИ1. Орешко В. В. Радиотелескопы ПРАО – состояние и перспективы. (2014). URL: http://www.prao.ru/conf/rrc2014/docs/22092014/06_Oreshko.pdf (дата обращения 27.09.2018)2. Van Haarlem M. P., Wise M. W., Gunst A. W., Heald G., McKean J. P., Hessels J. W. T., de Bruyn A. G., Nijboer R., Swinbank J., Fallows R., and 191 coauthors. LOFAR: The LOw-Frequency Array. Astron. Astrophys. 2013. Vol. 556. id. A2. DOI: 10.1051/0004-6361/2012208733. Lorimer D. R., Bailes M., McLaughlin M. A., Narkevic D. J., and Crawford F. A Bright Millisecond Radio Burst of Extragalactic Origin. Science. 2007. Vol. 318, Is. 5851. P. 777–780. DOI: 10.1126/science.11475324. Pozanenko A. S., Barkov M. V., Minaev P. Yu., Volnova A. A., Mazaeva E. D., Moskvitin A. S., Krugov M. A., Samodurov V. A., Loznikov V. M., and Lyutikov M. GRB 170817A Associated with GW170817: Multi-frequency Observations and Modeling of Prompt Gamma-Ray Emission.Astrophys. J. Lett. 2018. Vol. 852, No. 2. id. L30. DOI: 10.3847/2041-8213/aaa2f65. Федорова В. А. FRBs: поиск вариаций низкочастотного радиоизлучения из соответствующих участков неба. Всероссийская конференция “Астрофизика высоких энергий сегодня и завтра”: Архив докладов. (2016). URL: http://hea.iki.rssi.ru/heaconf/hea/2016/hea/talk/63/ (дата обращения 30.08.2018)6. Федорова В. А., Родин А. Е., Дагкесаманский Р. Д., Самодуров В. А., Логвиненко С. В. Обнаружение быстрых радиовсплесков на радиотелескопе БСА ФИАН. XXXV Всероссийская конференция “Актуальные проблемы внегалактической астрономии”. Тезисы докладов. (24–27 апреля 2018 г., Пущино). Пущино, Россия, 2018. с 39.7. Родин Е. А., Федорова В. А., Самодуров В. А., Логвиненко С. В. Обнаружение быстрых радиовсплесков на радиотелескопе БСА ФИАН. Астрономический циркуляр. 2018. № 1641. URL: http://comet.sai.msu.ru/~gmr/AC/AC1641.pdf (дата обращения 27.09.2018)8. Павлов С. Ю., Тюрин В. А., Самодуров В. А. Обработка данных круглосуточного обзора БСА ФИАН (110 МГц) методами высокопроизводительных вычислений. XXXV Всероссийская конференция “Актуальные проблемы внегалактической астрономии”. Тезисы докладов. (24–27 апреля 2018 г., Пущино). Пущино, Россия, 2018. с. 439. Scholz P., Spitler L. G., Hessels J. W. T., Chatterjee S., Cordes J. M., Kaspi V. M., Wharton R. S., Bassa C. G., Bogdanov S., Camilo F., Crawford F., Deneva J., van Leeuwen J., Lynch R., Madsen E. C., McLaughlin M. A., Mickaliger M., Parent E., Patel C., Ransom S. M., Seymour A., Stairs I. H., Stappers B. W., and Tendulkar S. P. The Repeating Fast Radio Burst FRB 121102: Multi-wavelength Observations and Additional Bursts. Astrophys. J. 2016. Vol. 833, Is. 2. id. 177. DOI: 10.3847/1538-4357/833/2/17710. FRB Catalogue. (2018). URL: http://frbcat.org/ (дата обращения 22.09.2018) Видавничий дім «Академперіодика» 2018-12-03 Article Article application/pdf http://rpra-journal.org.ua/index.php/ra/article/view/1300 10.15407/rpra23.04.258 РАДИОФИЗИКА И РАДИОАСТРОНОМИЯ; Vol 23, No 4 (2018); 258 RADIO PHYSICS AND RADIO ASTRONOMY; Vol 23, No 4 (2018); 258 РАДІОФІЗИКА І РАДІОАСТРОНОМІЯ; Vol 23, No 4 (2018); 258 2415-7007 1027-9636 10.15407/rpra23.04 ru http://rpra-journal.org.ua/index.php/ra/article/view/1300/pdf Copyright (c) 2018 RADIO PHYSICS AND RADIO ASTRONOMY |