Self-adaptive CMA-ES Algorithm
This article will consider one of the self-adaptive algorithms for selecting parameters of complex systems, examples of which are neural networks. Self-adaptive algorithms are algorithms that change their behavior at runtime based on available information and predetermined reward mechanisms. These a...
Gespeichert in:
| Datum: | 2023 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
Кам'янець-Подільський національний університет імені Івана Огієнка
2023
|
| Online Zugang: | http://mcm-math.kpnu.edu.ua/article/view/296476 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Mathematical and computer modelling. Series: Physical and mathematical sciences |
Institution
Mathematical and computer modelling. Series: Physical and mathematical sciences| _version_ | 1856543273549561856 |
|---|---|
| author | Літвінчук, Юлія |
| author_facet | Літвінчук, Юлія |
| author_sort | Літвінчук, Юлія |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2024-09-30T22:18:10Z |
| description | This article will consider one of the self-adaptive algorithms for selecting parameters of complex systems, examples of which are neural networks. Self-adaptive algorithms are algorithms that change their behavior at runtime based on available information and predetermined reward mechanisms. These algorithms are widely used in various fields, including machine learning, optimization, and data compression. The self-adaptiveness of the algorithm in this case will be based on the selection of the number of peaks in the mixture of distributions in the extended CMA-ES algorithm under the condition of a normal base distribution.
The work presents an improved self-adaptive CMA-ES algorithm, with an emphasis on the parameter that selects the number of pixels in a mixture of normal distributions. The algorithm takes into account the methods of setting this optimal value, which is used when choosing cluster numbers in the CURE, BIRCH, etc. clustering algorithms. It is obvious that the given justification of this approach can be extended to mixtures with a different base distribution, each of which is characterized by a skin number of peaks in the mixture distribution. This implies self-adaptability and applicability of the algorithm to a wider range of scenarios involving different distribution characteristics.
There is no doubt that the proposed sado-adaptive parameter setting algorithm, based on the CMA-ES algorithm, can be extended to other genetic and evolutionary algorithms that include the selection of additional chromosomes (individuals) during the transition between iteration epochs of the algorithm. Another feature of the proposed algorithm is the use of theoretical foundations of cluster analysis to estimate the number of peaks in the distribution of chromosomes. This approach is widely used in the latest self-adaptive algorithms for determining the initial parameters (hyperparameters) of complex systems |
| first_indexed | 2025-07-17T10:43:57Z |
| format | Article |
| id | mcm-mathkpnueduua-article-296476 |
| institution | Mathematical and computer modelling. Series: Physical and mathematical sciences |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:43:57Z |
| publishDate | 2023 |
| publisher | Кам'янець-Подільський національний університет імені Івана Огієнка |
| record_format | ojs |
| spelling | mcm-mathkpnueduua-article-2964762024-09-30T22:18:10Z Self-adaptive CMA-ES Algorithm Самоадаптивний CMA-ES алгоритм Літвінчук, Юлія This article will consider one of the self-adaptive algorithms for selecting parameters of complex systems, examples of which are neural networks. Self-adaptive algorithms are algorithms that change their behavior at runtime based on available information and predetermined reward mechanisms. These algorithms are widely used in various fields, including machine learning, optimization, and data compression. The self-adaptiveness of the algorithm in this case will be based on the selection of the number of peaks in the mixture of distributions in the extended CMA-ES algorithm under the condition of a normal base distribution. The work presents an improved self-adaptive CMA-ES algorithm, with an emphasis on the parameter that selects the number of pixels in a mixture of normal distributions. The algorithm takes into account the methods of setting this optimal value, which is used when choosing cluster numbers in the CURE, BIRCH, etc. clustering algorithms. It is obvious that the given justification of this approach can be extended to mixtures with a different base distribution, each of which is characterized by a skin number of peaks in the mixture distribution. This implies self-adaptability and applicability of the algorithm to a wider range of scenarios involving different distribution characteristics. There is no doubt that the proposed sado-adaptive parameter setting algorithm, based on the CMA-ES algorithm, can be extended to other genetic and evolutionary algorithms that include the selection of additional chromosomes (individuals) during the transition between iteration epochs of the algorithm. Another feature of the proposed algorithm is the use of theoretical foundations of cluster analysis to estimate the number of peaks in the distribution of chromosomes. This approach is widely used in the latest self-adaptive algorithms for determining the initial parameters (hyperparameters) of complex systems У роботі буде розглянуто один із самоадаптивних алгоритмів підбору параметрів складних систем, прикладами яких являються нейронні мережі. Самоадаптивні алгоритми – це алгоритми, які змінюють свою поведінку під час виконання на основі доступної інформації та заздалегідь визначених механізмів винагороди. Ці алгоритми широко використовуються в різних галузях, включаючи машинне навчання, оптимізацію та стиснення даних. Самоадаптивність алгоритму у даному випадку буде ґрунтуватися на підборі кількості піків у суміші розподілів у розширеному CMA-ES алгоритмі за умови нормального базового розподілу. У статті представлений покращений самоадаптивний алгоритм CMA-ES, з акцентом на параметр, що визначає кількість піків у суміші нормальних розподілів. У алгоритмі враховуються методи налаштування даного оптимального значення, що використовуються при виборі номерів кластерів в алгоритмах кластеризації CURE, BIRCH тощо. Очевидно, що наведене обґрунтування цього підходу може бути поширене на суміші з іншим базовим розподілом, кожен з яких характеризується скінченним числом піків у суміші розподілів. Це означає самоадаптивність та застосовність алгоритму до ширшого спектру сценаріїв, що включають різні характеристики розподілу. Немає сумніву у тому, що запропонований садоадаптивний алгоритм налаштування параметрів, що базується на CMA-ES алгоритмі, може бути розширений і на інші генетичні та еволюційні алгоритми які містять відбір додаткових хромосом (індивідів) при переході між ітераційними епохами алгоритму. Ще однією особливістю запропонованого алгоритму є використання теоретичних основ кластерного аналізу для оцінки кількості піків у розподілі хромосом. Даний підхід широко використовується у новітніх самоадаптивних алгоритмів для визначення початкових параметрів (гіперпараметрів) складних систем. Кам'янець-Подільський національний університет імені Івана Огієнка 2023-11-22 Article Article Рецензована Стаття application/pdf http://mcm-math.kpnu.edu.ua/article/view/296476 10.32626/2308-5878.2023-24.81-90 Mathematical and computer modelling. Series: Physical and mathematical sciences; 2023: Mathematical and computer modelling. Series: Physical and mathematical sciences. Issue 24; 81-90 Математичне та комп'ютерне моделювання. Серія: Фізико-математичні науки; 2023: Математичне та комп'ютерне моделювання. Серія: Фізико-математичні науки. Випуск 24; 81-90 2308-5878 10.32626/2308-5878.2023-24 uk http://mcm-math.kpnu.edu.ua/article/view/296476/289472 |
| spellingShingle | Літвінчук, Юлія Self-adaptive CMA-ES Algorithm |
| title | Self-adaptive CMA-ES Algorithm |
| title_alt | Самоадаптивний CMA-ES алгоритм |
| title_full | Self-adaptive CMA-ES Algorithm |
| title_fullStr | Self-adaptive CMA-ES Algorithm |
| title_full_unstemmed | Self-adaptive CMA-ES Algorithm |
| title_short | Self-adaptive CMA-ES Algorithm |
| title_sort | self-adaptive cma-es algorithm |
| url | http://mcm-math.kpnu.edu.ua/article/view/296476 |
| work_keys_str_mv | AT lítvínčukûlíâ selfadaptivecmaesalgorithm AT lítvínčukûlíâ samoadaptivnijcmaesalgoritm |