Automatic development of deep neural networks for improving numerical meteorological forecast

This paper briefly describes the examples of deep learning applications to scientific and technical problems, as well as the difficulties that may arise with these applications. The paper shows the importance of the automatic development of deep neural networks. The paper verifies the possibility of...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2024
Автори: Doroshenko, А.Yu., Kushnirenko, R.V.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2024
Теми:
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/607
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming
Завантажити файл: Pdf

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-607
record_format ojs
resource_txt_mv ppisoftskievua/27/2d83fc826dc6b47344db9d9e1be0a427.pdf
spelling pp_isofts_kiev_ua-article-6072024-04-27T17:10:38Z Automatic development of deep neural networks for improving numerical meteorological forecast Автоматизація глибокого навчання на прикладі уточнення чисельних метеорологічних прогнозів Doroshenko, А.Yu. Kushnirenko, R.V. deep learning; automatic development of neural networks; neuroevolution; meteorological forecasting UDC 51:681.3.06 глибоке навчання; автоматизація проєктування нейромереж; нейроеволюція; метеорологічне прогнозування УДК 51:681.3.0 This paper briefly describes the examples of deep learning applications to scientific and technical problems, as well as the difficulties that may arise with these applications. The paper shows the importance of the automatic development of deep neural networks. The paper verifies the possibility of the application of the neuroevolutionary approach to the post-processing of the results of meteorological forecasting (2m temperature) obtained using numerical hydrodynamic methods. The results show that in half of the cases, both the rootmean-square error value and the percentage of improved predictions are better (and in some cases much better) for the neuroevolutionary approach than the corresponding values for the manually designed architecture. Thus, neural network models obtained automatically can outperform manually designed models while applied to improving numerical meteorological forecastsPrombles in programming 2024; 1: 57-63 Зроблено короткий огляд застосування “глибокого навчання” до науково-технічних задач. Перевірено можливість застосування нейроеволюційного підходу до проєктування моделей “глибокого навчання”, призначених для постпроцесингу результатів метеорологічного прогнозування (на прикладі приземної температури), отриманого за допомогою чисельних гідродинамічних методів. Показано, що в половині випадків і значення стандартного середнього-квадратичного відхилення (RMSE), і відсотка покращених прогнозів для нейроеволюційного підходу є кращими (а в окремих випадках набагато кращими) за відповідні значення для підібраної вручну архітектури.Prombles in programming 2024; 1: 57-63 Інститут програмних систем НАН України 2024-04-01 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/607 10.15407/pp2024.01.057 PROBLEMS IN PROGRAMMING; No 1 (2024); 57-63 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 1 (2024); 57-63 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 1 (2024); 57-63 1727-4907 10.15407/pp2024.01 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/607/657 Copyright (c) 2024 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2024-04-27T17:10:38Z
collection OJS
language Ukrainian
topic deep learning
automatic development of neural networks
neuroevolution
meteorological forecasting
UDC 51:681.3.06
spellingShingle deep learning
automatic development of neural networks
neuroevolution
meteorological forecasting
UDC 51:681.3.06
Doroshenko, А.Yu.
Kushnirenko, R.V.
Automatic development of deep neural networks for improving numerical meteorological forecast
topic_facet deep learning
automatic development of neural networks
neuroevolution
meteorological forecasting
UDC 51:681.3.06
глибоке навчання
автоматизація проєктування нейромереж
нейроеволюція
метеорологічне прогнозування
УДК 51:681.3.0
format Article
author Doroshenko, А.Yu.
Kushnirenko, R.V.
author_facet Doroshenko, А.Yu.
Kushnirenko, R.V.
author_sort Doroshenko, А.Yu.
title Automatic development of deep neural networks for improving numerical meteorological forecast
title_short Automatic development of deep neural networks for improving numerical meteorological forecast
title_full Automatic development of deep neural networks for improving numerical meteorological forecast
title_fullStr Automatic development of deep neural networks for improving numerical meteorological forecast
title_full_unstemmed Automatic development of deep neural networks for improving numerical meteorological forecast
title_sort automatic development of deep neural networks for improving numerical meteorological forecast
title_alt Автоматизація глибокого навчання на прикладі уточнення чисельних метеорологічних прогнозів
description This paper briefly describes the examples of deep learning applications to scientific and technical problems, as well as the difficulties that may arise with these applications. The paper shows the importance of the automatic development of deep neural networks. The paper verifies the possibility of the application of the neuroevolutionary approach to the post-processing of the results of meteorological forecasting (2m temperature) obtained using numerical hydrodynamic methods. The results show that in half of the cases, both the rootmean-square error value and the percentage of improved predictions are better (and in some cases much better) for the neuroevolutionary approach than the corresponding values for the manually designed architecture. Thus, neural network models obtained automatically can outperform manually designed models while applied to improving numerical meteorological forecastsPrombles in programming 2024; 1: 57-63
publisher Інститут програмних систем НАН України
publishDate 2024
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/607
work_keys_str_mv AT doroshenkoayu automaticdevelopmentofdeepneuralnetworksforimprovingnumericalmeteorologicalforecast
AT kushnirenkorv automaticdevelopmentofdeepneuralnetworksforimprovingnumericalmeteorologicalforecast
AT doroshenkoayu avtomatizacíâglibokogonavčannânaprikladíutočnennâčiselʹnihmeteorologíčnihprognozív
AT kushnirenkorv avtomatizacíâglibokogonavčannânaprikladíutočnennâčiselʹnihmeteorologíčnihprognozív
first_indexed 2024-09-16T04:08:52Z
last_indexed 2024-09-16T04:08:52Z
_version_ 1818568375667785728
fulltext Моделі та методи машинного навчання 57 ©А.Ю. Дорошенко, Р.В.Кушніренко, 2024 ISSN 1727-4907. Проблеми програмування. 2024. №1 УДК 51:681.3.0 http://doi.org/10.15407/pp2024.01.57 А.Ю. Дорошенко, Р.В. Кушніренко АВТОМАТИЗАЦІЯ ГЛИБОКОГО НАВЧАННЯ НА ПРИКЛАДІ УТОЧНЕННЯ ЧИСЕЛЬНИХ МЕТЕОРОЛОГІЧНИХ ПРОГНОЗІВ Зроблено короткий огляд застосування “глибокого навчання” до науково-технічних задач. Перевірено мо- жливість застосування нейроеволюційного підходу до проєктування моделей “глибокого навчання”, при- значених для постпроцесингу результатів метеорологічного прогнозування (на прикладі приземної тем- ператури), отриманого за допомогою чисельних гідродинамічних методів. Показано, що в половині ви- падків і значення стандартного середнього-квадратичного відхилення (RMSE), і відсотка покращених прогнозів для нейроеволюційного підходу є кращими (а в окремих випадках набагато кращими) за від- повідні значення для підібраної вручну архітектури. Ключові слова: “глибоке навчання”, автоматизація проєктування нейромереж, нейроеволюція, метеоро- логічне прогнозування. Вступ Велика кількість даних, що стала до- ступною протягом останнього десятиліття, спричинила революцію в дослідницьких і оперативних схемах геонаукової обробки, уможлививши використання “глибокого на- вчання” для задач, що стосуються атмос- фери, поверхні суші та океану. Окрім збіль- шення доступності даних спостережень, цьому процесу сприяло, поміж іншого, під- вищення швидкості їхньої передачі, що вже перевищує сотні терабайт на день [1]. Ці дані надходять від безлічі датчиків, зок- рема, вони включають дані дистанційного зондування на висоті від кількох метрів до сотень кілометрів над Землею, а також спо- стереження на місці (на поверхні та під нею) за допомогою автономних датчиків. Використання “глибокого навчання” для розв’язання проблем, що постають перед геонаукою, знаходиться ще в зародковому стані (на відміну від помітних успіхів у моде- люванні впорядкованих послідовностей і да- них із просторовим контекстом у сферах комп’ютерного зору, систем розпізнавання мови та керування [2], а також у таких науко- вих галузях як фізика [3], хімія [4] та біологія [5]). Хоча, як показують дослідження, його застосування в геонауці є перспективним, особливо в задачах класифікації, регресії, ви- явлення аномалій та прогнозування залеж- ного від простору або часу стану. До прик- ладу, в дослідженнях [6,7] демонструється за- стосування “глибокого навчання” до про- блеми прогнозування екстремальних погод- них умов, задачі, проблемної для традицій- ного машинного навчання. Зазначимо, що особливо успішним є застосування архітек- тур “глибокого навчання” до виокремлення просторових і часових характеристик для ви- значення та класифікації екстремальних си- туацій (зокрема, штормів) у вихідних даних числової моделі прогнозування погоди. Важ- ливим є те, що виявлення цих подій та ство- рення прогнозів відбувається без викорис- тання суб’єктивних суджень людини або ме- тодів, які покладаються на заздалегідь визна- чені порогові значення для швидкості вітру та інших метеорологічних величин. Підходи “глибокого навчання” кла- сично поділяються на просторові (напри- клад, згорткові нейронні мережі [8] для кла- сифікації об’єктів) і послідовні (наприклад, рекурентні нейронні мережі для розпізна- вання мовлення [9]). Однак останнім часом спостерігається все більша зацікавленість у поєднанні цих двох підходів. Прикладом цього поєднання є прогнозування відео та руху [10], проблема, яка має разючу подіб- ність до багатьох динамічних геонаукових проблем. Уже існують дослідження, що по- чинають застосовувати комбіновані згорт- ково-рекурентні підходи до таких геонауко- вих проблем як прогнозування опадів [11]. Моделювання динаміки атмосфери та оке- ану, моделювання поширення вогню чи ру- ху ґрунту також є прикладами проблем, де Моделі та методи машинного навчання 58 важлива просторово-часова динаміка, але наразі вони не отримали переваг від засто- сування комбінованих згортково-рекурент- них підходів “глибокого навчання”. Коротко кажучи, подібність між ти- пами даних, притаманних для класичних застосувань “глибокого навчання”, і даних, з якими працює геонаука, є переконливим аргументом на користь проникнення “гли- бокого навчання” в геонауки. Зображення є аналогом двовимірних полів даних, що мі- стять певні змінні за аналогією з трипле- тами кольорів (значення RGB) на фотогра- фіях, тоді як відео можна пов’язати з пос- лідовністю зображень, тобто з двовимір- ними полями, які змінюються у часі. Так само, природна мова та мовлення мають такі ж характерні особливості динамічних часових рядів, що їх мають дані, прита- манні геонауковій сфері. Крім того, класи- фікація, регресія, виявлення аномалій і ди- намічне моделювання є типовими пробле- мами як для класичних застосувань “гли- бокого навчання”, так і для геонаук. Як бачимо, з розвитком “глибоких” нейронних мереж ми отримуємо все доско- наліші архітектури, які можемо застосову- вати у різних сферах, зокрема, в геонауці. Проте безплатний сир буває тільки в ми- шоловці, адже підвищення якості моделей є результатом усе більшої їх складності. Тому постає нова задача, а саме задача на- лаштування систем отримання рішень. Це налаштування полягає у підборі конфігу- раційних параметрів (гіперпараметрів). Якщо цих параметрів мало, то їх можна спробувати оптимізувати шляхом експери- ментів. Натомість сучасні “глибокі” ней- ронні мережі мають складну топологію та сотні гіперпараметрів. Окрім цього, як за- значалося вище, важить вибір архітектури нейромережевих моделей, оскільки успіш- ність отриманого рішення часто залежить від цього вибору. Власне, останнім часом велика частка робіт у галузі “глибокого” навчання була присвячена мануальній роз- робці різних архітектур для розв’язання нових проблем [12,13]. Зазначимо, що проблема складності не є притаманною лише для нейронних ме- реж. Загалом розробка програмного забез- печення та багатьох інших інженерних сис- тем стала надто складною для того, щоб люди могли її повністю оптимізувати. В ре- зультаті з’явився новий підхід до проєкту- вання програмного забезпечення. Цей під- хід залишає людям високорівневе проєкту- вання, натомість з’ясування деталей лежить на оптимізаційних системах. Наприклад, люди проєктують програмну систему, а па- раметри та код низького рівня оптимізу- ються автоматично [14]. Подібний підхід можна застосувати до проєктування архітектур “глибоких” ней- ронних мереж. Для цього треба уміти давати раду трьом аспектам: проєктуванню компо- нентів архітектури, об’єднанню компонентів (створення топології мережі) та підбору гі- перпараметрів (для кожного з компонентів та для системи в цілому). Звісно, що для ко- жного нового завдання матимемо окрему оп- тимізацію вищеперерахованого. Це дослідження використовує підхід до автоматичного проєктування “глибоких” нейронних мереж, описаний у [15]. Своєю чергою, цей підхід використовує техніку нейроеволюції доповнених топологій [16]. Ця техніка поширюється на коеволюційну оптимізацію компонентів, топологій і гіпе- рпараметрів. Власне, дана стаття присвячена за- стосуванню нейроеволюційного підходу до проєктування моделей “глибокого нав- чання”, призначених для постпроцесингу результатів прогнозу приземної темпера- тури, отриманого за допомогою чисельних гідродинамічних методів метеорологіч- ного прогнозування. В статті також вико- нане порівняння якості прогнозу з резуль- татами, отриманими раніше за допомогою ручного підбору нейромережевої архітек- тури [17,18]. Як буде видно, застосування нейроеволюційного підходу до задачі пок- ращення чисельного метеорологічного прогнозування показує, що можна без осо- бливих зусиль отримати результати кращі за отримані під час мануального проєкту- вання архітектури нейромережевої моделі. Звісно, цей підхід є надзвичайно вимогли- вим до обчислювальної потужності, проте, враховуючи невеликий об’єм даних, він дає гарні результати. Моделі та методи машинного навчання 59 Опис даних “Глибоке навчання” як техніка вио- кремлення характерних особливостей да- них суттєво залежить від якості, репрезе- нтативності та цілісності використовува- них даних. Тому правильний відбір і під- готовка даних є важливими факторами для отримання хороших узагальнюючих ре- зультатів. Зокрема, відбір даних має бути спрямований на охоплення найбільш пов- ної варіативності значень змінних, на яких базуватиметься власне навчання нейроме- режевої моделі. Хороші дані мають дозво- ляти моделі охоплювати зв’язки між змін- ними, на основі яких робиться прогноз. Водночас важливим є уникнення надлиш- ковості у даних. Нижче поданий опис даних, що були використані для дослідження, описаного у даній статті. Ці дані складалися з чотирие- лементних кортежів і містили наступну ін- формацію: • дата, • час за Гринвічем, • прогнозоване значення температури (Fcst), за одну добу до моменту ініці- алізації чисельної регіональної мо- делі, • спостережуване значення темпера- тури (Obs). Чисельною моделлю прогнозу по- годи, результат роботи якої ми хочемо пок- ращити, є модель однойменного європей- ського консорціуму COSMO (Consortium for Small-scale Modelling). Ця модель ви- користовується в Українському гідромете- орологічному інституті ДСНС України та НАН України для наукових та прикладних задач, починаючи із липня 2011 р. [19]. На- гадаємо, що COSMO є негідростатичною моделлю, яка здатна ефективно відтворю- вати широкий спектр атмосферних проце- сів в масштабі мезо-β та мезо-γ. В основу динамічного ядра моделі покладено рів- няння термо- та гідродинаміки, що опису- ють потік у вологій атмосфері. Різномані- тні фізичні процеси враховуються схемами параметризації [20]. Рис. 1 зображує розрахункову об- ласть чисельної регіональної моделі: кіль- кість вузлів із заходу на схід – 209; кількість вузлів із півдня на північ – 101; кількість рі- внів по вертикалі – 50; крок ~ 14 км. Рис. 1. Розрахункова область моделі про- гнозу погоди COSMO Наявні дані охоплюють проміжок часу від 01.07.2012 до 31.03.2014, або 639 днів. Спостереження здійснювалися кожні три години, а саме о 00:00, 03:00, 06:00, 09:00, 12:00, 15:00, 18:00 і 21:00 за Гринві- чем. Для цих же моментів часу обчислюва- вся і прогноз регіональної моделі. Таким чином, для кожної дати має- мо по вісім кортежів. Відповідно, 639 днів дають 5112 кортежів. Що ж до просторової приналежно- сті, то дані охоплюють спостережувані зна- чення і прогнози для станцій “Біла Церква”, “Бориспіль”, “Київ”, “Миронівка”, “Тете- рів”, “Фастів”, “Чорнобиль” та “Яготин”. Нейроеволюційний підхід Нагадаємо, що термін “нейроеволю- ція” позначає процес використання генети- чних алгоритмів для підбору архітектур нейромережевих моделей. У цьому дослідженні ми будемо ви- користовувати одну з модифікацій нейрое- волюції доповнених топологій. Даний під- хід, відповідно до [16], ставить собі за мету боротися із трьома основними викликами, що постають перед рішеннями, які базу- ються на еволюції топології. Ці виклики та запропоновані рішення наведені нижче: • Чи існує генетичне представлення, яке дозволяє розрізненим тополо- гіям схрещуватись значущим чи- ном? Рішення: використання істори- чних міток для виокремлення генів однакового походження. Моделі та методи машинного навчання 60 • Як захистити від передчасного зник- нення з популяції топологічну інно- вацію, для оптимізації якої потрібно кілька поколінь? Рішення: розподі- лення інновації між різними видами. • Як протягом процесу еволюції міні- мізувати топологію без залучення спеціально створеної для цього ці- льової функції, яка вимірює склад- ність? Рішення: усе починається з мінімальної структури, яка еволюці- онує лише за необхідності. Зазначимо, що застосування запро- понованих рішень до кожного з викликів є необхідним, оскільки ефективність нейрое- волюційного процесу знижується із вида- ленням будь-якого з основних компонентів. З іншого боку, злагоджена робота цих скла- дових створює новий перспективний підхід до розв'язання складних задач навчання з підкріпленням і не тільки. Таким чином, архітектура нейроево- люції доповнених топологій була розроб- лена з урахуванням перерахованих вище проблем. Опис цього підходу подається від- повідно до [16]. Дана архітектура репрезентує геном як список генів зв’язку, кожному з яких від- повідають два вузлових гени. Кожний ген зв’язку містить інформацію про вхідний та вихідний вузли, ваговий коефіцієнт зв’язку, прапорець активності, а також історичну мітку для пошуку генів однакового похо- дження під час кросинговеру. Нейроеволюція доповнених тополо- гій використовує мутації, що можуть змі- нювати і вагові коефіцієнти, і структуру ме- режі. Вагові коефіцієнти з’єднання зміню- ються як і в будь-якій іншій нейроеволюцій- ній системі. Водночас з’єднання не зо- бов’язане змінюватись, воно може лиши- тись незмінним. Структурні мутації розши- рюють геном і можуть відбуватися двома шляхами: додається або нове з’єднання, або новий вузол. Коли відбувається мутація першого типу, у геном додається новий ген зв’язку, який з’єднує два раніше не з’єднані вузли. Другий тип мутації зумовлює розрив наявного з’єднання, на місці якого розміщу- ється новий вузол. Старе з’єднання стає не- активним, натомість два нові з’єднання до- даються до геному. Такий спосіб додавання вузлів уможливлює миттєву інтеграцію но- вих вузлів у мережу. Мутації зумовлюють появу геномів різного розміру, іноді з абсолютно різними топологіями. Тут ми підходимо до першого виклику, означеного вище: знайти предста- влення геному, яке дозволятиме розрізне- ним топологіям схрещуватись значущим чином. Схрещування (кросинговер) мож- ливе лише тоді, коли система має можли- вість визначити, які гени є спільними для будь-яких двох особин в популяції. Клю- чове спостереження полягає в тому, що два гени з однаковим історичним походженням мають однакову структуру (хоча, можливо, із різними ваговими коефіцієнтами), оскі- льки вони обидва були отримані від одного гена-предка у певний момент у минулому. Отож, усе, що потрібно зробити системі, — це відстежувати історичне походження ко- жного гена. На щастя, відстеження історичного походження потребує дуже мало обчислень. Щоразу, коли з’являється новий ген (через структурну мутацію), ми збільшуємо глоба- льний номер інновації та присвоюємо цьому гену. Таким чином, історичне похо- дження кожного гена в системі відоме про- тягом еволюційного процесу, за це відпові- дають глобальні номери інновацій. Історичні мітки дають системі, побу- дованій на основі нейроеволюції доповне- них топологій, можливість визначати сумі- сні гени. Несумісні гени можуть бути або ексцесивними, або взагалі не перетинатися, залежно від того, чи їхні мітки лежать у ме- жах, чи поза межами діапазону історичних міток кожного з батьків. У процесі кросин- говеру в обох геномах впорядковуються гени з однаковими номерами інновації. Не- сумісні гени успадковуються від більш при- датного батька або випадково, якщо кожний з батьків однаково придатний. Таким чи- ном, історичні мітки дозволяють викону- вати операцію кросинговеру без залучення дорогого топологічного аналізу. Зазначимо, що описаний метод кро- синговеру вирізняється своєю простотою і за- гальністю. Будь-які дві структури можуть бути об’єднані без необхідності жодного то- пологічного аналізу. Проблема поєднання то- Моделі та методи машинного навчання 61 пологій перетворюється у проблему визна- чення відповідності історичних міток, а в та- кому вигляді її значно простіше розв’язувати. Зазвичай зміна структури мережі при- зводить спочатку до зниження її ефективно- сті. Тому необхідним є механізм захисту то- пологічних (структурних) інновацій від пе- редчасного зникнення з популяції. Нейроево- люція доповнених топологій має такий меха- нізм. Це досягається особливим чином: спо- чатку індивіди конкурують у межах власного виду, а не в рамках цілої популяції. Так, топо- логічні інновації захищені від передчасного зникнення та мають час для оптимізації своєї структури, перш ніж доведеться конкурувати з іншими видами в популяції. Історичні мітки дають змогу системі розділити популяцію на види за топологіч- ною подібністю. Кількість ексцесивних ге- нів і генів, що взагалі не перетинаються, є природними параметрами для вимірювання міри близькості геномів. Чим меншу спі- льну еволюційну історію мають два геноми, тим більше вони розрізнені, а отже, менш сумісні. Тож, ми можемо виміряти міру су- місності різних структур як зважену лі- нійну комбінацію кількості ексцесивних ге- нів та генів, що не перетинаються. Це метричне співвідношення дозво- ляє нам ввести порогове значення для сумі- сності двох геномів. Ми тестуємо геноми один за одним. Якщо відстань від геному до навмання обраного представника виду ме- нша за порогове значення, даний геном вва- жається приналежним до цього виду. При цьому кожний геном ми вважаємо принале- жним до першого виду, де ця умова викону- ється, що гарантує те, що жоден геном не міститься більше, ніж в одному виді. Декілька слів про третій виклик, що постає перед нейроеволюційними підхо- дами: мінімізація топології отриманого рі- шення. Рішення, що його пропонує нейрое- волюція доповнених топологій, — просте. Ми починаємо з найпростішої структури та ускладнюємо її лише за необхідності. Нова структура вводиться поступово в міру того, як відбуваються структурні мутації. В ре- зультаті виживають лише ті структури, які виявляються ефективними у сенсі значень цільової функції. Зазначимо, що такий під- хід можливий завдяки описаному вище ме- ханізму захисту інновацій. Без цього меха- нізму нові структури не могли б виживати, оскільки, як зазначено вище, щойно утво- рена структура спочатку призводить до зни- ження ефективності. Опис експерименту Як було зазначено вище, основною ідеєю даного дослідження є перевірка мож- ливості застосування нейроеволюційного підходу до проєктування моделей “глибо- кого навчання”, призначених для постпро- цесингу результатів прогнозу приземної те- мператури, отриманого за допомогою чисе- льних гідродинамічних методів метеороло- гічного прогнозування. Для кожної метеорологічної станції за допомогою нейроеволюції доповнених топологій тренувалася власна нейромере- жева модель, яка мала б якнайкраще виок- ремити фізичні особливості конкретного пункту спостереження. Таким чином, ми маємо 8 натренованих моделей. Що до даних, то для кожної метеоро- логічної станції уся їх сукупність була роз- бита на три класи: тренувальні (період з 01.07.2012 до 30.06.2013; 365 днів), валіда- ційні (період з 01.07.2013 до 31.10.2013; 123 дні) і тестувальні (з 01.11.2013 до 01.04.2014; 151 день). Зауважимо, що цей поділ на три класи (набори) — це загальна практика для “глибо- кого навчання” [21]. Тренувальний набір є найбільшим і використовується для онов- лення вагових коефіцієнтів моделі шляхом зворотного розповсюдження помилки або ін- ших алгоритмів навчання. Другий набір, ва- лідаційний, використовується виключно для налаштування гіперпараметрів: кількості ша- рів, типів шарів, функцій активації, цільових функцій, швидкості навчання тощо. Ключо- вою метою цього налаштування є підви- щення здатності мережі до узагальнення, щоб гарантувати, що мережа добре функціо- нуватиме на невідомих для неї даних. Третій набір даних — це тестовий набір, раніше не- відомі дані, які використовуються для оціню- вання мережі після налаштування. Зазначимо, що усі експерименти про- водилися з використанням відкритого ней- ромережевого інтерфейсу Keras [22], відкри- Моделі та методи машинного навчання 62 тої програмної бібліотеки для “глибокого на- вчання” TensorFlow [23] та фреймворку для нейроеволюції TFNE (Tensorflow- Neuroevolution Framework) [24]. Програм- ний код був написаний мовою Python [25]. Отримані результати Ефективність запропонованого під- ходу оцінювалась за двома критеріями. Пер- ший з них — це корінь середнього квадрати- чного відхилення (RMSE), стандартний спо- сіб оцінювання похибок у метеорологічній науці. Інша метрика — відсоток випадків, в яких прогноз покращено (або принаймні не погіршено) порівняно з чисельним. Як ба- чимо з таблиці, в більшості випадків і зна- чення RMSE, і відсоток покращених прогно- зів для нейроеволюційного підходу є кра- щими (не гіршими) за відповідні значення для підібраної вручну архітектури. Таблиця. Порівняльна таблиця Станція RMS E (NN) , °C Покра- щення, % RMSE (NE), °C Покра- щення, % Біла Церква 1.89 54.81 1.96 54.81 Бориспіль 2.00 53.21 1.70 54.56 Київ 1.98 53.97 1.85 56.84 Миронівка 2.01 57.48 1.84 58.42 Тетерів 2.02 52.29 2.03 50.79 Фастів 1.86 54.68 1.86 54.42 Чорнобиль 2.01 50.59 1.94 52.53 Яготин 2.12 52.21 2.05 49.40 Висновки На прикладі прогнозів моделі COSMO приземної температури повітря для восьми метеорологічних станцій Київ- ської області та відповідних їм даних фак- тичних спостережень було перевірено мож- ливість застосування нейроеволюційного підходу до проєктування моделей “глибо- кого навчання”, призначених для постпро- цесингу результатів прогнозу приземної те- мператури, отриманого за допомогою чисе- льних гідродинамічних методів метеороло- гічного прогнозування. Було показано, що в половині випадків і значення кореня середнього квадратичного відхилення, і відсотка поліпшених прогно- зів для нейроеволюційного підходу є кра- щими (а в окремих випадках набагато кра- щими) за відповідні значення для підібра- ної вручну архітектури. Отримані результати дають підстави для за- стосування нейроеволюційного підходу до коригування прогнозів інших неперервних метеорологічних величин. References 1. Agapiou, A., 2017. Remote sensing heritage in a petabyte-scale: satellite data and heritage Earth Engine© applications. International Journal of Digital Earth, 10(1), pp.85-102. 2. LeCun, Y., Bengio, Y. and Hinton, G., 2015. Deep learning. nature, 521(7553), pp.436-444. 3. Bhimji, W., Farrell, S.A., Kurth, T., Paganini, M., Prabhat and Racah, E., 2018, September. Deep neural networks for physics analysis on low-level whole- detector data at the LHC. In Journal of Physics: Conference Series (Vol. 1085, p. 042034). IOP Publishing. 4. Schütt, K.T., Arbabzadah, F., Chmiela, S., Müller, K.R. and Tkatchenko, A., 2017. Quantum-chemical insights from deep tensor neural networks. Nature communications, 8(1), p.13890. 5. Alipanahi, B., Delong, A., Weirauch, M.T. and Frey, B.J., 2015. Predicting the sequence specificities of DNA-and RNA- binding proteins by deep learning. Nature biotechnology, 33(8), pp.831-838. 6. Liu, Y., Racah, E., Correa, J., Khosrowshahi, A., Lavers, D., Kunkel, K., Wehner, M. and Collins, W., 2016. Application of deep convolutional neural networks for detecting extreme weather in climate datasets. arXiv preprint arXiv:1605.01156. 7. Racah, E., Beckham, C., Maharaj, T., Ebrahimi Kahou, S., Prabhat, M. and Pal, C., 2017. Extremeweather: A large-scale climate dataset for semi-supervised detection, localization, and understanding of extreme weather events. Advances in neural information processing systems, 30. 8. LeCun, Y., Bottou, L., Bengio, Y. and Haffner, P., 1998. Gradient-based learning Моделі та методи машинного навчання 63 applied to document recognition. Proceedings of the IEEE, 86(11), pp.2278- 2324. 9. Sak, H., Senior, A. and Beaufays, F., 2014. Long short-term memory based recurrent neural network architectures for large vocabulary speech recognition. arXiv preprint arXiv:1402.1128. 10. Oh, J., Guo, X., Lee, H., Lewis, R.L. and Singh, S., 2015. Action-conditional video prediction using deep networks in atari games. Advances in neural information processing systems, 28. 11. Shi, X., Chen, Z., Wang, H., Yeung, D.Y., Wong, W.K. and Woo, W.C., 2015. Convolutional LSTM network: A machine learning approach for precipitation nowcasting. Advances in neural information processing systems, 28. 12. Che, Z., Purushotham, S., Cho, K., Sontag, D. and Liu, Y., 2018. Recurrent neural networks for multivariate time series with missing values. Scientific reports, 8(1), p.6085. 13. Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. and Wojna, Z., 2016. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2818-2826). 14. Hoos, H.H., 2012. Programming by optimization. Communications of the ACM, 55(2), pp.70-80. 15. Miikkulainen, R., Liang, J., Meyerson, E., Rawal, A., Fink, D., Francon, O., Raju, B., Shahrzad, H., Navruzyan, A., Duffy, N. and Hodjat, B., 2024. Evolving deep neural networks. In Artificial intelligence in the age of neural networks and brain computing (pp. 269-287). Academic Press. 16. Stanley, K.O. and Miikkulainen, R., 2002. Evolving neural networks through augmenting topologies. Evolutionary computation, 10(2), pp.99-127. 17. Doroshenko, А.Y., Shpyg, V.M. and Kushnirenko, R.V., 2023. Deeplearning- based approach to improving numerical weather forecasts. PROBLEMS IN PROGRAMMING, (3), pp.91-98. 18. Doroshenko, А.Y. and Kushnirenko, R.V., 2023. Recurrent neural networks for the problem of improving numerical meteorological forecasts. PROBLEMS IN PROGRAMMING, (4), pp.90-97. 19. Shpyg, V., Budak, I., Pishniak, D. and Poperechnyi, P., 2013, November. The application of regional NWP models to operational weather forecasting in Ukraine. In CAS Technical Conference (TECO) on" Responding to the Environmental Stressors of the 21st Century" Available from: http://www. wmo. int/pages/prog/arep/ cas/documents/Ukraine-NWPModels. pdf [Accessed 27/02/2020]. 20. Doms, G. and Baldauf, M., 2011. A description of the nonhydrostatic regional COSMO-Model Part I: dynamics and numerics. Deutscher Wetterdienst, Offenbach. 21. Goodfellow, I., Bengio, Y. and Courville, A., 2016. Deep learning. MIT press. 22. https://keras.io/ 23. https://www.tensorflow.org/ 24. https://tfne.readthedocs.io/en/latest/ 25. https://www.python.org/ Одержано: 03.03.2024 Про авторів: Дорошенко Анатолій Юхимович, доктор фізико-математичних наук, професор, завідувач відділу ІПС НАНУ та професор кафедри інформаційних систем та технологій КПІ імені Ігоря Сікорського. Кількість наукових публікацій в українських виданнях – понад 200. Кількість наукових публікацій в зарубіжних виданнях – понад 90. Індекс Гірша — 7 http://orcid.org/0000-0002-8435-1451, Кушніренко Роман Владиславович, аспірант. Кількість наукових публікацій в українських виданнях – 5. https://orcid.org/0000-0002-1990-8727. Місце роботи авторів: Інститут програмних систем НАН України, 03187, м. Київ-187, проспект Академіка Глушкова, 40. Тел.: (38)(044) 526-60-33. E-mail: doroshenkoanatoliy2@gmail.com, roman.kushnirenk@gmail.com.