Адаптивна гібридна функція активації для глибоких нейронних мереж

• Дата: 2022
• Автори: Bodyanskiy, Yevgeniy, Kostiuk, Serhii
• Формат: Стаття
• Мова: English
• Опубліковано: The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022
• Теми: адаптивна гібридна функція активації; двоетапний процес налаштування параметрів; глибокі нейронні мережі; адаптивная гибридная функция активации; двухэтапный процесс настройки параметров; глубокие нейронные сети; adaptive hybrid activation function; double-stage parameter turning process; deep neural networks
• Онлайн доступ: http://journal.iasa.kpi.ua/article/view/259203
• Назва журналу: System research and information technologies

The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions...