Про еволюцію рекурентних нейронних систем
The evolution of neural network architectures, first of the recurrent type and then with the use of attention technology, is considered. It shows how the approaches changed and how the developers’ experience was enriched. It is important that the neural networks themselves learn to understand the de...
Saved in:
| Date: | 2024 |
|---|---|
| Main Authors: | , , |
| Format: | Article |
| Language: | English |
| Published: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2024
|
| Subjects: | |
| Online Access: | http://journal.iasa.kpi.ua/article/view/322523 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | System research and information technologies |
Institution
System research and information technologies| _version_ | 1856543608659771392 |
|---|---|
| author | Abramov, Gennadii Gushchin, Ivan Sirenka, Tetiana |
| author_facet | Abramov, Gennadii Gushchin, Ivan Sirenka, Tetiana |
| author_sort | Abramov, Gennadii |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2025-02-09T21:55:38Z |
| description | The evolution of neural network architectures, first of the recurrent type and then with the use of attention technology, is considered. It shows how the approaches changed and how the developers’ experience was enriched. It is important that the neural networks themselves learn to understand the developers’ intentions and actually correct errors and flaws in technologies and architectures. Using new active elements instead of neurons expanded the scope of connectionist networks. It led to the emergence of new structures — Kolmogorov–Arnold Networks (KANs), which may become serious competitors to networks with artificial neurons. |
| first_indexed | 2025-07-17T10:28:40Z |
| format | Article |
| id | journaliasakpiua-article-322523 |
| institution | System research and information technologies |
| language | English |
| last_indexed | 2025-07-17T10:28:40Z |
| publishDate | 2024 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| spelling | journaliasakpiua-article-3225232025-02-09T21:55:38Z On the evolution of recurrent neural systems Про еволюцію рекурентних нейронних систем Abramov, Gennadii Gushchin, Ivan Sirenka, Tetiana recurrent neural networks transformer technology KANs рекурентні нейронні мережі технологія трансформер KAN The evolution of neural network architectures, first of the recurrent type and then with the use of attention technology, is considered. It shows how the approaches changed and how the developers’ experience was enriched. It is important that the neural networks themselves learn to understand the developers’ intentions and actually correct errors and flaws in technologies and architectures. Using new active elements instead of neurons expanded the scope of connectionist networks. It led to the emergence of new structures — Kolmogorov–Arnold Networks (KANs), which may become serious competitors to networks with artificial neurons. Розглянуто еволюцію нейромережевих архітектур, спочатку рекурентного типу, а потім із використанням технології уваги. Показано, як змінювалися підходи та збагачувався досвід розробників. Важливо, що нейронні мережі самі навчилися розуміти наміри розробників і фактично виправляли помилки та недоліки в технологіях і архітектурах. Використання нових активних елементів замість нейронів розширило сферу застосування конекціоністських мереж і призвело до появи нових структур — мережі Колмогорова–Арнольда (KAN), які можуть стати серйозними конкурентами мереж зі штучними нейронами. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2024-12-25 Article Article Peer-reviewed Article application/pdf http://journal.iasa.kpi.ua/article/view/322523 10.20535/SRIT.2308-8893.2024.4.06 System research and information technologies; No. 4 (2024); 77-85 Системные исследования и информационные технологии; № 4 (2024); 77-85 Системні дослідження та інформаційні технології; № 4 (2024); 77-85 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/322523/312903 |
| spellingShingle | рекурентні нейронні мережі технологія трансформер KAN Abramov, Gennadii Gushchin, Ivan Sirenka, Tetiana Про еволюцію рекурентних нейронних систем |
| title | Про еволюцію рекурентних нейронних систем |
| title_alt | On the evolution of recurrent neural systems |
| title_full | Про еволюцію рекурентних нейронних систем |
| title_fullStr | Про еволюцію рекурентних нейронних систем |
| title_full_unstemmed | Про еволюцію рекурентних нейронних систем |
| title_short | Про еволюцію рекурентних нейронних систем |
| title_sort | про еволюцію рекурентних нейронних систем |
| topic | рекурентні нейронні мережі технологія трансформер KAN |
| topic_facet | recurrent neural networks transformer technology KANs рекурентні нейронні мережі технологія трансформер KAN |
| url | http://journal.iasa.kpi.ua/article/view/322523 |
| work_keys_str_mv | AT abramovgennadii ontheevolutionofrecurrentneuralsystems AT gushchinivan ontheevolutionofrecurrentneuralsystems AT sirenkatetiana ontheevolutionofrecurrentneuralsystems AT abramovgennadii proevolûcíûrekurentnihnejronnihsistem AT gushchinivan proevolûcíûrekurentnihnejronnihsistem AT sirenkatetiana proevolûcíûrekurentnihnejronnihsistem |