Про одне узагальнення еволюційних алгоритмів

• Date: 2023
• Main Author: Litvinchuk, Yuliia
• Format: Article
• Language: Ukrainian
• Published: V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2023
• Subjects: сумiш розподiлiв; оптимiзацiя гiперпараметрiв; генетичні алгоритми; CMA-ES-алгоритм; метод Монте–Карло; стохастичні диференціальні рівняння
• Online Access: https://jais.net.ua/index.php/files/article/view/206
• Journal Title: Problems of Control and Informatics

У реальному світі існує безліч сценаріїв оптимізації з великою кількістю обмежень та цільових функцій, які за своєю природою є розривними, нелінійними, невипуклими та мультимодальними. Крім того, задачі оптимізації є багатовимірними зі змішаними типами змінних, такими як цілі, дійсні, дискретні, двійкові, та мають різний діапазон значень, що вимагає нормалізації. Отже, простір пошуку задачі не завжди може бути гладким. Таким чином, еволюційні алгоритми почали використовуватися і розвиватися в обчислювальних процесах та вирішенні складних інженерних завдань, а також у методах штучного інтелекту. У запропонованій роботі розглянуто сукупність методів оцінки оптимальних параметрів тренувальних функцій з використанням еволюційних та генетичних алгоритмів пошуку в порівнянні з розширеним CMA-ES-алгоритмом. Проаналізовано метаевристичні алгоритми оптимізації ALO, ABCO, GA, PSO та класичний CMA-ES, які ґрунтуються на поведінці живих організмів в реальних природних середовищах. Для аналізу використано метод Монте–Карло, який дає можливість зробити висновки про розподіл кількості обчислень цільової функції. В роботi також запропоновано розширення алгоритму CMA-ES з використанням сумiшей нормальних розподiлiв з невизначеною величиною розмірності суміші та з відомим базовим розподілом для оцінки оптимальних значень відомих тестових функцій. Розроблений алгоритм побудовано за припущенням багатопiковостi розподiлу параметрiв складних систем, у тому числі гіперпараметрів нейронних мереж та параметрів стохастичних диференціальних рівнянь. Дослідження показують, що з ростом кількості піків для розширеного CMA-ES-алгоритму кількість звернень до цільової функції спадає і тим самим підтверджує ефективність запропонованого розширеного алгоритму CMA-ES. Однак для малої розмірності  вибір великої кількості піків є недоцільним. Дані властивості свідчать про існування взаємозалежності між розмірністю початкової задачі та кількістю вибраних піків.