Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж

• Опубліковано в: : Проблеми керування та інформатики
• Дата: 2023
• Автори: Бодянський, Є.В., Костюк, С.О.
• Формат: Стаття
• Мова: Українська
• Опубліковано: Інститут кібернетики ім. В.М. Глушкова НАН України 2023
• Теми: Роботи та системи штучного інтелекту
• Онлайн доступ: https://nasplib.isofts.kiev.ua/handle/123456789/211071
• Назва журналу: Digital Library of Periodicals of National Academy of Sciences of Ukraine
• Цитувати: Нейрон на основі адаптивного нечіткого перетворення для сучасних моделей штучних нейронних мереж / Є.В. Бодянський, С.О. Костюк // Проблеми керування та інформатики. — 2023. — № 6. — С. 94-105. — Бібліогр.: 19 назв. — укр.

Зі зростанням об’ємів даних для обробки та з ускладненням задач з обробки даних науковці та спеціалісти з індустрії поступаються складністю та швидкістю моделей штучних нейронних мереж (ШНМ) на користь покращення їх апроксимуючих здатностей. Підвищення складності моделей, зокрема збільшення глибини та кількості шарів, призводить до небажаних ефектів, наприклад, зникаючого та вибухаючого градієнтів. Комерційні моделі ШНМ часто використовують кусково-лінійні активаційні функції типу ReLU для уникнення обчислювальних складнощів та прискорення навчання. Запропоновано адаптивну кусково-лінійну активаційну функцію (Adaptive Piece-Wise Activation — APWA) як адаптивну альтернативу для фіксованих кусково-лінійних активацій. Основою APWA-функції є адаптивне нечітке перетворення вхідного сигналу, реалізоване множиною функцій належності з адаптивними параметрами підсилення вихідного сигналу. With the growing volume of data to process and the increasing complexity of data processing tasks, scientists and industry specialists are prioritizing the approximation capabilities of artificial neural network (ANN) models over their complexity and speed. The increase in model complexity, particularly the depth and number of layers, leads to undesirable effects such as vanishing and exploding gradients. Commercial ANN models often use piecewise linear activation functions, such as ReLU, to avoid computational difficulties and speed up training. An adaptive piecewise linear activation function (Adaptive Piece-Wise Activation — APWA) is proposed as an adaptive alternative to fixed piecewise linear activations. The foundation of the APWA function is an adaptive fuzzy transformation of the input signal, implemented with a set of membership functions and adaptive parameters for enhancing the output signal.