Адаптивна гібридна функція активації для глибоких нейронних мереж
The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions...
Збережено в:
| Дата: | 2022 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | English |
| Опубліковано: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2022
|
| Теми: | |
| Онлайн доступ: | http://journal.iasa.kpi.ua/article/view/259203 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | System research and information technologies |
Репозитарії
System research and information technologies| id |
journaliasakpiua-article-259203 |
|---|---|
| record_format |
ojs |
| spelling |
journaliasakpiua-article-2592032022-06-21T10:27:50Z Adaptive hybrid activation function for deep neural networks Адаптивная гибридная функция активации для глубоких нейронных сетей Адаптивна гібридна функція активації для глибоких нейронних мереж Bodyanskiy, Yevgeniy Kostiuk, Serhii адаптивна гібридна функція активації двоетапний процес налаштування параметрів глибокі нейронні мережі адаптивная гибридная функция активации двухэтапный процесс настройки параметров глубокие нейронные сети adaptive hybrid activation function double-stage parameter turning process deep neural networks The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions during the training. The effectiveness of the function was evaluated on the image classification task using the Fashion-MNIST and CIFAR-10 datasets. The evaluation shows that the neural networks with AHAF activations achieve better classification accuracy comparing to their base implementations that use ReLU and SiL. A double-stage parameter tuning process for training the neural networks with AHAF is proposed. The proposed approach is sufficiently simple from the implementation standpoint and provides high performance for the neural network training process. Предложена адаптивная гибридная функция активации (AHAF), которая объединяет свойства выпрямительных блоков (rectifier units) и сжимающих (squashing) функций. Предложенная функция может быть использована как прямая замена активационных функций ReLU, SiL и Swish для глубоких нейронных сетей, а также принимать форму одной из этих функций в процессе обучения. Эффективность функции исследована на задаче классификации изображений на наборах данных Fashion-MNIST и CIFAR-10. Результаты исследования показывают, что нейронные сети с активационными функциями AHAF показывают точность классификации лучшую, чем их базовые реализации на основе ReLU и SiL. Предложено двухэтапный процесс настройки параметров для обучения нейронных сетей с AHAF. Предложенный подход достаточно простой в реализации и обеспечивает высокую продуктивность в обучении нейронной сети. Запропоновано адаптивну гібридну функцію активації (AHAF), що поєднує особливості випрямних блоків (rectifier units) та стискальних (squashing) функцій. Запропонована функція може бути використана як пряма заміна активаційних функцій ReLU, SiL і Swish для глибоких нейронних мереж, а також набути форми однієї з цих функцій в процесі навчання. Ефективність функції досліджено на задачі класифікації зображень на наборах даних Fashion-MNIST і CIFAR-10. Результати дослідження показують, що нейронні мережі з активаційними функціями AHAF показують точність класифікації кращу, ніж їх базові реалізації на основі ReLU та SiL. Запропоновано двоетапний процес налаштування параметрів для навчання нейронних мереж з AHAF. Запропонований підхід достатньо простий в реалізації та забезпечує високу продуктивність у навчанні нейронної мережі. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022-04-25 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/259203 10.20535/SRIT.2308-8893.2022.1.07 System research and information technologies; No. 1 (2022); 87-96 Системные исследования и информационные технологии; № 1 (2022); 87-96 Системні дослідження та інформаційні технології; № 1 (2022); 87-96 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/259203/255848 |
| institution |
System research and information technologies |
| collection |
OJS |
| language |
English |
| topic |
адаптивна гібридна функція активації двоетапний процес налаштування параметрів глибокі нейронні мережі адаптивная гибридная функция активации двухэтапный процесс настройки параметров глубокие нейронные сети adaptive hybrid activation function double-stage parameter turning process deep neural networks |
| spellingShingle |
адаптивна гібридна функція активації двоетапний процес налаштування параметрів глибокі нейронні мережі адаптивная гибридная функция активации двухэтапный процесс настройки параметров глубокие нейронные сети adaptive hybrid activation function double-stage parameter turning process deep neural networks Bodyanskiy, Yevgeniy Kostiuk, Serhii Адаптивна гібридна функція активації для глибоких нейронних мереж |
| topic_facet |
адаптивна гібридна функція активації двоетапний процес налаштування параметрів глибокі нейронні мережі адаптивная гибридная функция активации двухэтапный процесс настройки параметров глубокие нейронные сети adaptive hybrid activation function double-stage parameter turning process deep neural networks |
| format |
Article |
| author |
Bodyanskiy, Yevgeniy Kostiuk, Serhii |
| author_facet |
Bodyanskiy, Yevgeniy Kostiuk, Serhii |
| author_sort |
Bodyanskiy, Yevgeniy |
| title |
Адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_short |
Адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_full |
Адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_fullStr |
Адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_full_unstemmed |
Адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_sort |
адаптивна гібридна функція активації для глибоких нейронних мереж |
| title_alt |
Adaptive hybrid activation function for deep neural networks Адаптивная гибридная функция активации для глубоких нейронных сетей |
| description |
The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions during the training. The effectiveness of the function was evaluated on the image classification task using the Fashion-MNIST and CIFAR-10 datasets. The evaluation shows that the neural networks with AHAF activations achieve better classification accuracy comparing to their base implementations that use ReLU and SiL. A double-stage parameter tuning process for training the neural networks with AHAF is proposed. The proposed approach is sufficiently simple from the implementation standpoint and provides high performance for the neural network training process. |
| publisher |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| publishDate |
2022 |
| url |
http://journal.iasa.kpi.ua/article/view/259203 |
| work_keys_str_mv |
AT bodyanskiyyevgeniy adaptivehybridactivationfunctionfordeepneuralnetworks AT kostiukserhii adaptivehybridactivationfunctionfordeepneuralnetworks AT bodyanskiyyevgeniy adaptivnaâgibridnaâfunkciâaktivaciidlâglubokihnejronnyhsetej AT kostiukserhii adaptivnaâgibridnaâfunkciâaktivaciidlâglubokihnejronnyhsetej AT bodyanskiyyevgeniy adaptivnagíbridnafunkcíâaktivacíídlâglibokihnejronnihmerež AT kostiukserhii adaptivnagíbridnafunkcíâaktivacíídlâglibokihnejronnihmerež |
| first_indexed |
2024-04-08T15:08:03Z |
| last_indexed |
2024-04-08T15:08:03Z |
| _version_ |
1795779601661689856 |