Адаптивна гібридна функція активації для глибоких нейронних мереж

• Datum: 2022
• Hauptverfasser: Bodyanskiy, Yevgeniy, Kostiuk, Serhii
• Format: Artikel
• Sprache: Englisch
• Veröffentlicht: The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2022
• Schlagworte: адаптивна гібридна функція активації; двоетапний процес налаштування параметрів; глибокі нейронні мережі
• Online Zugang: http://journal.iasa.kpi.ua/article/view/259203
• Назва журналу: System research and information technologies

The adaptive hybrid activation function (AHAF) is proposed that combines the properties of the rectifier units and the squashing functions. The proposed function can be used as a drop-in replacement for ReLU, SiL and Swish activations for deep neural networks and can evolve to one of such functions...