Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж
Зі зростанням об’ємів даних для обробки та з ускладненням задач з обробки даних науковці та спеціалісти з індустрії поступаються складністю та швидкістю моделей штучних нейронних мереж (ШНМ) на користь покращення їх апроксимуючих здатностей. Підвищення складності моделей, зокрема збільшення глибини...
Збережено в:
| Дата: | 2023 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine
2023
|
| Теми: | |
| Онлайн доступ: | https://jais.net.ua/index.php/files/article/view/209 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Problems of Control and Informatics |
Репозитарії
Problems of Control and Informatics| id |
oai:ojs2.jais.net.ua:article-209 |
|---|---|
| record_format |
ojs |
| institution |
Problems of Control and Informatics |
| baseUrl_str |
|
| datestamp_date |
2024-03-14T10:35:00Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
модель нейронної мережі адаптивне нечітке перетворення активаційна функція |
| spellingShingle |
модель нейронної мережі адаптивне нечітке перетворення активаційна функція Bodyanskiy, Yevgeniy Kostiuk, Serhii Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| topic_facet |
модель нейронной сети адаптивное нечеткое преобразование активационная функция neural network model adaptive fuzzy transform activation function модель нейронної мережі адаптивне нечітке перетворення активаційна функція |
| format |
Article |
| author |
Bodyanskiy, Yevgeniy Kostiuk, Serhii |
| author_facet |
Bodyanskiy, Yevgeniy Kostiuk, Serhii |
| author_sort |
Bodyanskiy, Yevgeniy |
| title |
Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_short |
Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_full |
Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_fullStr |
Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_full_unstemmed |
Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_sort |
нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж |
| title_alt |
Neuron based on an adaptive fuzzy transform for modern artificial neural network models Нейрон на основе адаптивного нечеткого преобразования для современных моделей искусственных нейронных сетей |
| description |
Зі зростанням об’ємів даних для обробки та з ускладненням задач з обробки даних науковці та спеціалісти з індустрії поступаються складністю та швидкістю моделей штучних нейронних мереж (ШНМ) на користь покращення їх апроксимуючих здатностей. Підвищення складності моделей, зокрема збільшення глибини та кількості шарів, призводить до небажаних ефектів, наприклад, зникаючого та вибухаючого градієнтів. Комерційні моделі ШНМ часто використовують кусково-лінійні активаційні функції типу ReLU для уникнення обчислювальних складнощів та прискорення навчання. Хоча кусково-лінійні активаційні функції і доказали ефективність у комерційних моделях, наприкладі згорткових моделей (convolutional neural networks — CNN), для класифікації зображень вони, як правило, мають фіксовану форму, що обмежує здатність моделі до оптимізації та адаптування до поточної задачі. Запропоновано адаптивну кусково-лінійну активаційну функцію (Adaptive Piece-Wise Activation — APWA) як адаптивну альтернативу для фіксованих кусково-лінійних активацій. Основою APWA-функції є адаптивне нечітке перетворення вхідного сигналу, реалізоване множиною функцій належності з адаптивними параметрами підсилення вихідного сигналу. Як і кусково-лінійні активаційні функції, APWA позбавлена ефектів вибухаючого та зникаючого градієнтів, а також відносно проста в обчисленні, що зменшує тривалість навчання та сприяє прямому поширенню в мережах з нейронами на основі APWA. Показано ефективність нейронів та моделей на основі APWA на прикладі двох різних наборів даних для класифікації зображень, а також двох моделей різного рівня складності. Моделі з APWA адаптують форму активаційних функцій у процесі навчання, що покращує точність класифікації порівнянно з базовими моделями, які не є адаптивними. |
| publisher |
V.M. Glushkov Institute of Cybernetics of NAS of Ukraine |
| publishDate |
2023 |
| url |
https://jais.net.ua/index.php/files/article/view/209 |
| work_keys_str_mv |
AT bodyanskiyyevgeniy nejronnaosnovíadaptivnogonečítkogoperetvorennâdlâsučasnihmodelejštučnihnejronnihmerež AT kostiukserhii nejronnaosnovíadaptivnogonečítkogoperetvorennâdlâsučasnihmodelejštučnihnejronnihmerež AT bodyanskiyyevgeniy neuronbasedonanadaptivefuzzytransformformodernartificialneuralnetworkmodels AT kostiukserhii neuronbasedonanadaptivefuzzytransformformodernartificialneuralnetworkmodels AT bodyanskiyyevgeniy nejronnaosnoveadaptivnogonečetkogopreobrazovaniâdlâsovremennyhmodelejiskusstvennyhnejronnyhsetej AT kostiukserhii nejronnaosnoveadaptivnogonečetkogopreobrazovaniâdlâsovremennyhmodelejiskusstvennyhnejronnyhsetej |
| first_indexed |
2025-10-30T02:48:48Z |
| last_indexed |
2025-10-30T02:48:48Z |
| _version_ |
1847373362108563456 |
| spelling |
oai:ojs2.jais.net.ua:article-2092024-03-14T10:35:00Z Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж Neuron based on an adaptive fuzzy transform for modern artificial neural network models Нейрон на основе адаптивного нечеткого преобразования для современных моделей искусственных нейронных сетей Bodyanskiy, Yevgeniy Kostiuk, Serhii модель нейронной сети адаптивное нечеткое преобразование активационная функция neural network model adaptive fuzzy transform activation function модель нейронної мережі адаптивне нечітке перетворення активаційна функція Зі зростанням об’ємів даних для обробки та з ускладненням задач з обробки даних науковці та спеціалісти з індустрії поступаються складністю та швидкістю моделей штучних нейронних мереж (ШНМ) на користь покращення їх апроксимуючих здатностей. Підвищення складності моделей, зокрема збільшення глибини та кількості шарів, призводить до небажаних ефектів, наприклад, зникаючого та вибухаючого градієнтів. Комерційні моделі ШНМ часто використовують кусково-лінійні активаційні функції типу ReLU для уникнення обчислювальних складнощів та прискорення навчання. Хоча кусково-лінійні активаційні функції і доказали ефективність у комерційних моделях, наприкладі згорткових моделей (convolutional neural networks — CNN), для класифікації зображень вони, як правило, мають фіксовану форму, що обмежує здатність моделі до оптимізації та адаптування до поточної задачі. Запропоновано адаптивну кусково-лінійну активаційну функцію (Adaptive Piece-Wise Activation — APWA) як адаптивну альтернативу для фіксованих кусково-лінійних активацій. Основою APWA-функції є адаптивне нечітке перетворення вхідного сигналу, реалізоване множиною функцій належності з адаптивними параметрами підсилення вихідного сигналу. Як і кусково-лінійні активаційні функції, APWA позбавлена ефектів вибухаючого та зникаючого градієнтів, а також відносно проста в обчисленні, що зменшує тривалість навчання та сприяє прямому поширенню в мережах з нейронами на основі APWA. Показано ефективність нейронів та моделей на основі APWA на прикладі двох різних наборів даних для класифікації зображень, а також двох моделей різного рівня складності. Моделі з APWA адаптують форму активаційних функцій у процесі навчання, що покращує точність класифікації порівнянно з базовими моделями, які не є адаптивними. As the industry deals with growing datasets and more complex data processing challenges, researchers and enterprise specialists trade artificial neural network model complexity and speed for increased approximation capabilities. An increase in the model complexity, particularly in its number of layers and depth, leads to undesired computational effects like vanishing and exploding gradients. The production models often employ piece-wise linear activation functions, similar to ReLU, to avoid computational difficulties and improve the learning speed. While the piece-wise linear activation functions have proven their effectiveness in production models, namely in convolutional networks, such functions are usually constrained in their form, limiting the model’s ability to optimize and adapt to the current task. We propose an Adaptive Piece-Wise Activation (APWA) function as an adaptive replacement for the fixed piece-wise linear activation functions. The core of the APWA function is an adaptive fuzzy transform of the input signal, implemented by a set of membership functions with adaptive output gains. Like the piece-wise linear units, APWA does not suffer from the effects of exploding and vanishing gradients and is relatively simple to compute, reducing the learning and inference time for networks with APWA-based neurons. We demonstrate the effectiveness of APWA-based neurons on two different image classification sets and two model architectures of distinct complexities. During the learning, the models with APWA adapt their activation function form, providing improved classification accuracy compared to the baseline non-adaptive variants. С ростом объемов данных для обработки и с усложнением задач по обработке данных ученые и специалисты по индустрии уступают сложности и скорости моделей искусственных нейронных сетей (ШНМ) в пользу улучшения их аппроксимирующих способностей. Повышение сложности моделей, в частности, увеличение глубины и количества слоев, приводит к нежелательным эффектам, например, исчезающим и взрывающимся градиентам. Коммерческие модели ШНМ часто используют кусочно-линейные активационные функции типа ReLU во избежание вычислительных сложностей и ускорения обучения. Хотя кусочно-линейные активационные функции и доказали эффективность в коммерческих моделях, например сверточных моделей (convolutional neural networks — CNN), для классификации изображений они, как правило, имеют фиксированную форму, ограничивающую способность модели к оптимизации и адаптации к текущей задаче. Предложена адаптивная кусково-линейная активационная функция (Adaptive Piece-Wise Activation — APWA) в качестве адаптивной альтернативы для фиксированных кусково-линейных активаций. Основой APWA-функции является адаптивное нечеткое преобразование входного сигнала, реализуемое множеством функций принадлежности с адаптивными параметрами усиления выходного сигнала. Как и кусочно-линейные активационные функции, APWA лишена эффектов взрывающегося и исчезающего градиентов, а также относительно проста в вычислении, что уменьшает продолжительность обучения и способствует прямому распространению в сетях с нейронами на основе APWA. Показана эффективность нейронов и моделей на основе APWA на примере двух разных наборов данных для классификации изображений, а также двух моделей разного уровня сложности. Модели с APWA адаптируют форму активационных функций в процессе обучения, что улучшает точность классификации по сравнению с базовыми моделями, не адаптивными. V.M. Glushkov Institute of Cybernetics of NAS of Ukraine 2023-10-28 Article Article application/pdf https://jais.net.ua/index.php/files/article/view/209 10.34229/1028-0979-2023-6-7 Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; Том 68 № 6 (2023): Міжнародний науково-технічний журнал "Проблеми керування та інформатики"; 94-105 International Scientific Technical Journal "Problems of Control and Informatics; Том 68 № 6 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 94-105 International Scientific Technical Journal "Problems of Control and Informatics"; Vol. 68 No. 6 (2023): International Scientific Technical Journal "PROBLEMS OF CONTROL AND INFORMATICS"; 94-105 2786-6505 2786-6491 10.34229/1028-0979-2023-6 uk https://jais.net.ua/index.php/files/article/view/209/295 Copyright (c) 2023 Yevgeniy Bodyanskiy, Serhii Kostiuk https://creativecommons.org/licenses/by-nc-nd/4.0 |