Про одне узагальнення еволюційних алгоритмів
У реальному світі існує безліч сценаріїв оптимізації з великою кількістю обмежень та цільових функцій, які за своєю природою є розривними, нелінійними, невипуклими та мультимодальними. Крім того, задачі оптимізації є багатовимірними зі змішаними типами змінних, такими як цілі, дійсні, дискретні, дві...
Gespeichert in:
| Datum: | 2023 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Schlagworte: | |
| Online Zugang: | https://jais.net.ua/index.php/files/article/view/206 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Problems of Control and Informatics |
Institution
Problems of Control and Informatics| id |
oai:ojs2.jais.net.ua:article-206 |
|---|---|
| record_format |
ojs |
| institution |
Problems of Control and Informatics |
| baseUrl_str |
|
| datestamp_date |
2024-03-14T10:32:01Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
сумiш розподiлiв оптимiзацiя гiперпараметрiв генетичні алгоритми CMA-ES-алгоритм метод Монте–Карло стохастичні диференціальні рівняння |
| spellingShingle |
сумiш розподiлiв оптимiзацiя гiперпараметрiв генетичні алгоритми CMA-ES-алгоритм метод Монте–Карло стохастичні диференціальні рівняння Litvinchuk, Yuliia Про одне узагальнення еволюційних алгоритмів |
| topic_facet |
смесь распределений оптимизация гиперпараметров генетические алгоритмы CMA-ES-алгоритм метод Монте-Карло стохастические дифференциальные уравнения сумiш розподiлiв оптимiзацiя гiперпараметрiв генетичні алгоритми CMA-ES-алгоритм метод Монте–Карло стохастичні диференціальні рівняння mixture distribution hyperparameters optimization genetic algorithms CMA-ES algorithm Monte–Carlo method stochastic differential equations |
| format |
Article |
| author |
Litvinchuk, Yuliia |
| author_facet |
Litvinchuk, Yuliia |
| author_sort |
Litvinchuk, Yuliia |
| title |
Про одне узагальнення еволюційних алгоритмів |
| title_short |
Про одне узагальнення еволюційних алгоритмів |
| title_full |
Про одне узагальнення еволюційних алгоритмів |
| title_fullStr |
Про одне узагальнення еволюційних алгоритмів |
| title_full_unstemmed |
Про одне узагальнення еволюційних алгоритмів |
| title_sort |
про одне узагальнення еволюційних алгоритмів |
| title_alt |
On a generalization of evolutionary algorithms Об одном обобщении эволюционных алгоритмов |
| description |
У реальному світі існує безліч сценаріїв оптимізації з великою кількістю обмежень та цільових функцій, які за своєю природою є розривними, нелінійними, невипуклими та мультимодальними. Крім того, задачі оптимізації є багатовимірними зі змішаними типами змінних, такими як цілі, дійсні, дискретні, двійкові, та мають різний діапазон значень, що вимагає нормалізації. Отже, простір пошуку задачі не завжди може бути гладким. Таким чином, еволюційні алгоритми почали використовуватися і розвиватися в обчислювальних процесах та вирішенні складних інженерних завдань, а також у методах штучного інтелекту. У запропонованій роботі розглянуто сукупність методів оцінки оптимальних параметрів тренувальних функцій з використанням еволюційних та генетичних алгоритмів пошуку в порівнянні з розширеним CMA-ES-алгоритмом. Проаналізовано метаевристичні алгоритми оптимізації ALO, ABCO, GA, PSO та класичний CMA-ES, які ґрунтуються на поведінці живих організмів в реальних природних середовищах. Для аналізу використано метод Монте–Карло, який дає можливість зробити висновки про розподіл кількості обчислень цільової функції. В роботi також запропоновано розширення алгоритму CMA-ES з використанням сумiшей нормальних розподiлiв з невизначеною величиною розмірності суміші та з відомим базовим розподілом для оцінки оптимальних значень відомих тестових функцій. Розроблений алгоритм побудовано за припущенням багатопiковостi розподiлу параметрiв складних систем, у тому числі гіперпараметрів нейронних мереж та параметрів стохастичних диференціальних рівнянь. Дослідження показують, що з ростом кількості піків для розширеного CMA-ES-алгоритму кількість звернень до цільової функції спадає і тим самим підтверджує ефективність запропонованого розширеного алгоритму CMA-ES. Однак для малої розмірності вибір великої кількості піків є недоцільним. Дані властивості свідчать про існування взаємозалежності між розмірністю початкової задачі та кількістю вибраних піків. |
| publisher |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine |
| publishDate |
2023 |
| url |
https://jais.net.ua/index.php/files/article/view/206 |
| work_keys_str_mv |
AT litvinchukyuliia proodneuzagalʹnennâevolûcíjnihalgoritmív AT litvinchukyuliia onageneralizationofevolutionaryalgorithms AT litvinchukyuliia obodnomobobŝeniiévolûcionnyhalgoritmov |
| first_indexed |
2025-10-30T02:48:47Z |
| last_indexed |
2025-10-30T02:48:47Z |
| _version_ |
1847373361759387648 |
| spelling |
oai:ojs2.jais.net.ua:article-2062024-03-14T10:32:01Z Про одне узагальнення еволюційних алгоритмів On a generalization of evolutionary algorithms Об одном обобщении эволюционных алгоритмов Litvinchuk, Yuliia смесь распределений оптимизация гиперпараметров генетические алгоритмы CMA-ES-алгоритм метод Монте-Карло стохастические дифференциальные уравнения сумiш розподiлiв оптимiзацiя гiперпараметрiв генетичні алгоритми CMA-ES-алгоритм метод Монте–Карло стохастичні диференціальні рівняння mixture distribution hyperparameters optimization genetic algorithms CMA-ES algorithm Monte–Carlo method stochastic differential equations У реальному світі існує безліч сценаріїв оптимізації з великою кількістю обмежень та цільових функцій, які за своєю природою є розривними, нелінійними, невипуклими та мультимодальними. Крім того, задачі оптимізації є багатовимірними зі змішаними типами змінних, такими як цілі, дійсні, дискретні, двійкові, та мають різний діапазон значень, що вимагає нормалізації. Отже, простір пошуку задачі не завжди може бути гладким. Таким чином, еволюційні алгоритми почали використовуватися і розвиватися в обчислювальних процесах та вирішенні складних інженерних завдань, а також у методах штучного інтелекту. У запропонованій роботі розглянуто сукупність методів оцінки оптимальних параметрів тренувальних функцій з використанням еволюційних та генетичних алгоритмів пошуку в порівнянні з розширеним CMA-ES-алгоритмом. Проаналізовано метаевристичні алгоритми оптимізації ALO, ABCO, GA, PSO та класичний CMA-ES, які ґрунтуються на поведінці живих організмів в реальних природних середовищах. Для аналізу використано метод Монте–Карло, який дає можливість зробити висновки про розподіл кількості обчислень цільової функції. В роботi також запропоновано розширення алгоритму CMA-ES з використанням сумiшей нормальних розподiлiв з невизначеною величиною розмірності суміші та з відомим базовим розподілом для оцінки оптимальних значень відомих тестових функцій. Розроблений алгоритм побудовано за припущенням багатопiковостi розподiлу параметрiв складних систем, у тому числі гіперпараметрів нейронних мереж та параметрів стохастичних диференціальних рівнянь. Дослідження показують, що з ростом кількості піків для розширеного CMA-ES-алгоритму кількість звернень до цільової функції спадає і тим самим підтверджує ефективність запропонованого розширеного алгоритму CMA-ES. Однак для малої розмірності вибір великої кількості піків є недоцільним. Дані властивості свідчать про існування взаємозалежності між розмірністю початкової задачі та кількістю вибраних піків. In the real world, there are many optimization scenarios with a large number of constraints and objective functions that are discontinuous, nonlinear, nonconvex, and multimodal in nature. In addition, optimization problems are multidimensional with mixed variable types such as integer, real, discrete, binary, and have a different range of values, which requires normalization. Therefore, the problem search space may not always be smooth. Thus, evolutionary algorithms began to be used and developed in computational processes and solving complex engineering tasks, as well as in artificial intelligence methods. The proposed work considers a set of methods for estimating the optimal parameters of training functions using evolutionary and genetic search algorithms in comparison with the extended CMA-ES algorithm. The metaheuristic optimization algorithms ALO, ABCO, GA, PSO and classical CMA-ES, which are based on the behavior of living organisms in real natural environments, are analyzed. The Monte Carlo method was used for the analysis, which makes it possible to draw conclusions about the distribution of the number of calculations of the objective function. The work also proposes an extension of the CMA-ES algorithm using mixtures of normal distributions with an undefined dimension of the mixture and with a known base distribution for estimating optimal values of known test functions. The developed algorithm is built according to the assumption of multipeaked distribution of parameters of complex systems, including hyperparameters of neural networks and parameters of stochastic differential equations. Research shows that with the increase in the number of peaks for the extended CMA-ES algorithm, the number of calls to the objective function decreases and thus confirms the effectiveness of the proposed extended CMA-ES algorithm. However, for low dimensionality, choosing a large number of peaks is impractical. These properties suggest the existence of interdependence between the dimension of the initial problem and the number of selected peaks. В реальном мире существует множество сценариев оптимизации с большим количеством ограничений и целевых функций, по своей природе разрывных, нелинейных, невыпуклых и мультимодальных. Кроме того, задачи оптимизации многомерны со смешанными типами переменных, такими как целые, действительные, дискретные, двоичные, и имеют разный диапазон значений, требующий нормализации. Следовательно, пространство поиска задачи не всегда может быть гладким. Таким образом, эволюционные алгоритмы стали использоваться и развиваться в вычислительных процессах и в решении сложных инженерных задач, а также в методах искусственного интеллекта. В данной работе рассмотрена совокупность методов оценки оптимальных параметров тренировочных функций с использованием эволюционных и генетических алгоритмов поиска по сравнению с расширенным CMA-ES-алгоритмом. Проанализированы метаэвристические алгоритмы оптимизации ALO, ABCO, GA, PSO и классический CMA-ES, основанные на поведении живых организмов в реальных природных средах. Для анализа использован метод Монте-Карло, позволяющий сделать выводы о распределении количества вычислений целевой функции. В работе также предложено расширение алгоритма CMA-ES с использованием смеси нормальных распределений с неопределенной величиной размерности смеси и с известным базовым распределением для оценки оптимальных значений известных тестовых функций. Разработанный алгоритм построен по предположению многопиковости распределения параметров сложных систем, в том числе гиперпараметров нейронных сетей и параметров стохастических дифференциальных уравнений. Исследования показывают, что с ростом количества пиков для расширенного CMA-ES-алгоритма количество обращений к целевой функции снижается и тем самым подтверждает эффективность предлагаемого расширенного алгоритма CMA-ES. Однако для малой размерности выбор большого количества пиков нецелесообразен. Данные свойства свидетельствуют о существовании взаимозависимости между размерностью исходной задачи и количеством выбранных пиков. V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2023-10-09 Article Article application/pdf https://jais.net.ua/index.php/files/article/view/206 10.34229/1028-0979-2023-6-4 Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; Том 68 № 6 (2023): Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; 64-75 International Scientific Technical Journal "Problems of Control and Informatics; Том 68 № 6 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 64-75 International Scientific Technical Journal "Problems of Control and Informatics"; Vol. 68 No. 6 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 64-75 2786-6505 2786-6491 10.34229/1028-0979-2023-6 uk https://jais.net.ua/index.php/files/article/view/206/292 Copyright (c) 2023 Yuliia Litvinchuk https://creativecommons.org/licenses/by-nc-nd/4.0 |