Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)

У доповіді наведено результати досліджень штучного інтелекту на основі нейронних мереж, властивостей нейронних мереж та використання теорії випадкових матриць. Ці результати, отримані у відділі математичної фізики Фізико-технічного інституту низьких температур ім. Б.І. Вєркіна НАН України, можуть бу...

Full description

Saved in:

Bibliographic Details
Published in:	Вісник НАН України
Date:	2025
Main Author:	Афанасьєв, Є.В.
Format:	Article
Language:	Ukrainian
Published:	Видавничий дім "Академперіодика" НАН України 2025
Subjects:	Молоді вчені
Online Access:	https://nasplib.isofts.kiev.ua/handle/123456789/208559
Tags:	Add Tag No Tags, Be the first to tag this record!
Journal Title:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Cite this:	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.) / Є.В. Афанасьєв // Вісник Національної академії наук України. — 2025. — № 8. — С. 69-73. — Бібліогр.: 15 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

_version_	1860265528642240512
author	Афанасьєв, Є.В.
author_facet	Афанасьєв, Є.В.
citation_txt	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.) / Є.В. Афанасьєв // Вісник Національної академії наук України. — 2025. — № 8. — С. 69-73. — Бібліогр.: 15 назв. — укр.
collection	DSpace DC
container_title	Вісник НАН України
description	У доповіді наведено результати досліджень штучного інтелекту на основі нейронних мереж, властивостей нейронних мереж та використання теорії випадкових матриць. Ці результати, отримані у відділі математичної фізики Фізико-технічного інституту низьких температур ім. Б.І. Вєркіна НАН України, можуть бути застосовані до побудови глибоких нейронних мереж. The report is devoted to recent results in the field of Artificial Intelligence and Neural Networks (NNs), both based on the spectral properties of random matrices. Nowadays, the development of Artificial Intelligence is skyrocketing, but we still lack an understanding of how it works. One of the modern approaches to solving this problem is the application of advanced mathematical theories, in particular, Random Matrix Theory. We present our results on the spectral properties of random matrices, obtained at the Department of Mathematical Physics at B. Verkin Institute for Low Temperature Physics and Engineering of the National Academy of Sciences of Ukraine. These matrices are closely connected with NNs: weight matrices of trained NNs could be represented in the form W = R + S, where R is random and S is deterministic. The spectrum of such matrices plays a key role in the rigorous underpinning of the novel pruning technique based on Random Matrix Theory.
first_indexed	2025-12-07T19:00:20Z
format	Article
fulltext	ISSN 1027-3239. Вісн. НАН України, 2025, № 8 69 ШТУЧНИЙ ІНТЕЛЕКТ, НЕЙРОННІ МЕРЕЖІ ТА СПЕКТРАЛЬНІ ВЛАСТИВОСТІ ВИПАДКОВИХ МАТРИЦЬ За матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р. У доповіді наведено результати досліджень штучного інтелекту на осно- ві нейронних мереж, властивостей нейронних мереж та використання теорії випадкових матриць. Ці результати, отримані у відділі мате- матичної фізики Фізико-технічного інституту низьких температур ім. Б.І. Вєркіна НАН України, можуть бути застосовані до побудови гли- боких нейронних мереж. Останніми роками технологія штучних нейронних мереж на- була дуже стрімкого розвитку. Наприклад, у 2014 р. було ство- рено штучний інтелект (ШІ), який міг описувати зображення одним реченням. Для однієї з фотографій було отримано такі описи. Людина: «Група чоловіків, які грають у фрісбі в парку». Програма: «Група молодих людей, які грають у гру фрісбі». Комп’ютер описав зображення з дивовижною точністю! Звісно, це був один із найбільш вдалих прикладів роботи цієї програ- ми. У деяких випадках комп’ютер видавав фразу, яка була мало пов’язана або зовсім не пов’язана із зображенням. Однак факт залишався фактом — було створено програму, яка може дати досить точний опис зображення. І стало це можливим саме за- вдяки розвитку нейронних мереж. У наведеному вище прикладі було використано дві нейронні мережі: мережу для розпізнавання образів та частину мережі для машинного перекладу текстів. Проте застосування нейрон- них мереж аж ніяк не обмежується розпізнаванням образів та машинним перекладом. Штучний інтелект використовують для розпізнавання мови, облич, створення фейкових відео- та ауді- озаписів, персоналізації реклами, пошуку в Інтернеті, автома- тичної т оргівлі акціями на фондових ринках тощо. АФАНАСЬЄВ Євгеній Володимирович — доктор філософії (математика), науковий співробітник відділу математичної фізики Фізико- технічного інституту низьких температур ім. Б.І. Вєркіна Національної академії наук України doi: https://doi.org/10.15407/visn2025.08.069МОЛОДІ МОЛОДІ ВЧЕНІВЧЕНІ 70 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2025. (8) МОЛОДІ ВЧЕНІ Зокрема, ШІ на основі нейронних мереж було використано в програмі AlphaGo, ство- реній компанією Google DeepMind. У 2016 р. AlphaGo перемогла майже всіх найбільш титу- лованих професійних гравців у давню китай- ську гру го. Слід зазначити, що гра в го наба- гато складніша за шахи — кількість можливих конфігурацій дошки в ній сягає 10170. Це біль- ше, ніж число атомів у відомому нам Всесвіті! Одним із проривів у цій галузі стала поява великих мовних моделей, таких як GPT (Gen- erative Pre-Trained Transformer). Наприкінці 2022 р. компанія OpenAI представила широко- му загалу у вільному доступі демонстраційну версію ChatGPT — чат-бот на основі ШІ, що стимулювало «вибуховий» розвиток подібних програмних продуктів. У 2024 р. досягнення в галузі штучного інте- лекту було відзначено Нобелівською премією, причому одразу в двох номінаціях. Премію з фі- зики присуджено Джону Гопфілду (John J. Hop- fi eld) і Джеффрі Гінтону (Geoff rey E. Hinton) за «фундаментальні відкриття та винаходи, що уможливили машинне навчання з а допомогою штучних нейронни х мереж», а з хімії — Девіду Бейкеру (David Baker) за «комп’ютерний ди- зайн білків», а також представникам компанії Google DeepMind Демісу Гассабісу (Demis Has- sabis) і Джону Джамперу (John M. Jumper) за «прогнозування структури білка» з викорис- танням програми AlphaFold. Однак, незважаючи на стрімке розширен- ня сфери практичного застосування ШІ, гли- бокого розуміння закономірностей того, як саме навчаються нейронні мережі, і досі немає. Принцип роботи вже навчених нейронних ме- реж показано на рис. 1. Нейронні мережі скла- даються з шарів, у кожному з яких є багато нейронів — комірок пам’яті. Під час обробки інформації в нейрони пошарово записують- ся числа. Між сусідніми шарами нейронів є зв’язки, які визначають, як саме з чисел по- переднього шару отримати числа наступного. Кожен зв’язок, грубо кажучи, може бути більш або менш міцним. Ця міцність описується від- повідним ваговим коефіцієнтом, тобто числом. Саме ці вагові коефіцієнти визначають, як саме нейронна мережа обробляє вхідну інформа- цію. По суті, процес на вчання нейронної ме- режі — це поступовий підбір вагових коефіці- єнтів. Станом на зараз цей процес являє собою «чорний ящик». Одним із сучасних підходів до розв’язання цієї проблеми є застосування розвинених ма- тематичних теорій, зокрема теорії випадкових матриць. Який же тут зв’язок з випадковими матрицями? Річ у тім, що вагові коефіцієнти між сусідніми шарами нейронів можна впо- рядкувати у вигляді мат риці великого розміру. Перед початком навчання вагові коефіцієнти обирають випадково, потім коефіцієнти по- кроково змінюються так, щоб нейронна мережа якомога краще класифікувала відомі об’єкти. Отже, спочатку ми маємо випадкові вагові коефіцієнти, організовані у формі випадкових матриць. Тому для дослідження штучних ней- ронних мереж застосування теорії випадкових матриць є доцільним. Предметом дослідження є спектральні влас- тивості випадкових матриць, тобто, як і для звичайних матриць, — власні значення та влас- ні вектори, а також усе, що з ними пов’язано, наприклад детермінанти. Ключова відмінність від звичайних матриць полягає в тому, що всі ці величини є випадковими. Рис. 1. Схема роботи штучних нейронних мереж. Ней- ронні мережі складаються з шарів, у кожному з яких є багато нейронів, тобто комірок пам’яті. Під час об- робки інформації в нейрони пошарово записуються числа. Між сусідніми шарами нейронів є зв’язки, які визначають, як із чисел попереднього шару отримати числа наступного. Кожен зв’язок може бути більш або менш міцним, і ця міцність описується відповідним ваговим коефіцієнтом. Саме ці вагові коефіцієнти й визначають, як саме нейронна мережа обробляє вхід- ну інформацію ISSN 1027-3239. Вісн. НАН України, 2025, № 8 71 МОЛОДІ ВЧЕНІ Теорія випадкових матриць виникла у фізи- ці в 1950-х роках у зв’язку з дослідженням рів- нів збудження важких атомних ядер і з часом знайшла застосування в математиці, інших фі- зичних напрямах, економіці тощо. А в останні роки з’явилася нова сфера її використання — поліпшення алгоритмів ШІ. Сьогодні засто- сування випадкових матриць для поліпшення алгоритмів ШІ — це дуже перспективний на- прям, яким активно займаються науковці в усьому світі (див., напр., [1—9]). У Фізико-технічному інституті низьких тем- ператур ім. Б.І. Вєркіна НАН України функці- онує всесвітньо відома наукова школа з теорії випадкових матриць, до якої я належу і в якій уже понад 70 років проводять фундаментальні дослідження спектральних властивостей різно- манітних видів випадкових матриць. Яскравим прикладом є фундаментальні роботи академіка Л.А. Пастура і В.В. Славіна [2, 3], в яких вони за найбільш загальних на сьогодні припущень знайшли розподіл власних значень нейронних мереж як функції від випадкових матриць. У наших дослідженнях спектральних влас- тивостей випадкових матриць, які можна за- стосовувати до вивчення глибоких нейронних мереж, було отримано такі результати [10]. Теорема. Нехай вагова матриця має вигляд W = R + S, де R — випадкова матриця, а S — невипадкова. Тоді при a > 1 кількість власних значень WTW на відрізку [(1 + a2)/a; (1 + b2)/b] ≈ кількість власних значень STS на відрізку [a; b]. Знання про спектр таких матриць буде ко- рисним для дослідження попередньо навчених штучних нейронних мереж. На рис. 2 наведено гістограми розподілу власних значень матриць вагових коефіцієн- тів нейронної мережі на різних стадіях на- вчання, отримані американськими фахівцями з комп’ютерних наук Ч. Мартіном і М. Махо- неєм [8]. На рис. 2а зображено розподіл влас- них значень при ініціалізації, тобто до початку навчання. Цей розподіл збігається з асимпто- тичним розподілом власних значень випадко- вих матриць ансамблю Марченка—Пастура. У процесі навчання (рис. 2б) частина власних значень усе ще розподілена, так само як для ан- самблю Марченка—Пастура, а частина власних значень виходить за праву межу цього розподі- лу. Після навчання (рис. 2в) ті власні значення, які відійшли від основної групи, відділяються ще більше. Моделлю вагових матриць навчених штуч- них нейронних мереж є ті випадкові матриці, які досліджувалися в роботі [10], — матриці виду W = R + S, де R — випадкова матриця, а S — невипадкова. Можна припустити, що саме великі власні значення матриці, які знаходять- Рис. 2. Розподіл власних значень матриць вагових коефіцієнтів: а — до початку навчання; матриця вагових коефі- цієнтів W — випадкова; б — після часткового навчання; в — після навчання; W = R + S, де матриця R — випадкова, а матриця S — невипадкова [8] 72 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2025. (8) МОЛОДІ ВЧЕНІ ся поза розподілом Марченка—Пастура, відо- бражають те, чого навчилася нейронна мережа. Тоді всі інші власні значення можна замінити нулями без істотних втрат якості роботи ней- ронної мережі — зробити так звану «обрізку». Є різні способи робити «обрізку», але най- більш значущою є саме «обрізка» власних зна- чень, оскільки цей метод потребує менше об- числювальних потужностей при зіставних ре- зультатах. Більше того, чисельні експерименти професора Берлянда зі співавторами показу- ють [4], що в деяких випадках точність штуч- них нейронних мереж після «обрізки» може на- віть зростати. Для теоретичного обґрунтуван- ня можна використати отриманий результат про розподіл власних значень матриць W [10]. Це ми плануємо зробити в подальшому. Крім уже зазначеної роботи [10], ми досліди- ли також спектральні властивості випадкових матриць у локальному режимі, тобто в мало- му околі однієї точки (розмір околу прямує до нуля). Було отримано асимптотичну поведінку детермінантів для різних ансамблів випадко- вих матриць [11—15]. Знаходження асимп- тотичної поведінки детермінантів є першим кроком у д ослідженні локального розподілу власних значень. А знання про локальний роз- поділ у перспективі також можуть виявитися корисними для розвитку штучних нейронних мереж або для застосувань в інших галузях. Підсумовуючи свій виступ, зазначу, що за останні шість років мною (зі співавторами) було отримано такі результати [10—15]: • одержано асимптотичний розподіл вели- ких власних значень випадкових матриць де- формованого ансамблю Марченка—Пастура виду (R + S)T(R + S); • отримано асимптотичну поведінку детер- мінантів кількох ансамблів випадкових ма- триць. Ці результати мають значний потенціал за- стосування для теоретичного обґрунтування методу «обрізки» власних значень матриць ва- гових коефіцієнтів штучних нейронних мереж. Надалі ми плануємо розвивати такі напрями досліджень: • вивчення асимптотичної поведінки влас- них векторів випадкових матриць деформова- ного ансамблю Марченка—Пастура; • теоретичне обґрунтування методу «обріз- ки» власних значень матриць вагових коефіці- єнтів штучних нейронних мереж. REFERENCES 1. Pennington J., Schoenholz S., Ganguli S. Th e emergence of spectral universality in deep networks. Proc. of the 21st Int. Conf. on Artifi cial Intelligence and Statistics (AISTATS). 2018. P. 1924. arXiv:1802.09979. https://doi.org/10.48550/arXiv.1802.09979 2. Pastur L. On random matrices arising in deep neural networks: Gaussian case. Pure Appl. Funct. Anal. 2020. 5(6): 1395—1424. 3. Pastur L., Slavin V. On random matrices arising in deep neural networks: general I.I.D. case. Random Matrices Th eory Appl. 2023. 12(1): 2250046. https://doi.org/10.1142/S2010326322500460 4. Berlyand L., Sandier E., Shmalo Y., Zhang L. Enhancing Accuracy in Deep Learning Using Random Matrix Th eory. Journal of Machine Learning Research. 2024. 3: 347—412. https://doi.org/10.4208/jml.231220 5. Price I., Tanner J. Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Off set. Proc. of the 38th Int. Conf. on Machine Learning. 2021. P. 8620—8629. https://doi.org/10.48550/arXiv.2102.07655 6. Saada T.N., Tanner J. On the Initialization of Wide Low-Rank Feedforward Neural Networks. arXiv:2301.13710. 2023. https://doi.org/10.48550/arXiv.2301.13710 7. Couillet R., Liao Z. Random Matrix Methods for Machine Learning. Cambridge University Press, 2022. https://doi.org/10.1017/9781009128490 8. Martin C.H., Mahoney M.W. Implicit self-regularization in deep neural networks: evidence from random matrix theory and implications for learning. Journal of Machine Learning Research. 2021. 22(165): 1—73. http://jmlr.org/papers/v22/20-410.html 9. Martin C.H., Mahoney M.W. Heavy-Tailed Universality Predicts Trends in Test Accuracies for Very Large Pre-Trained Deep Neural Networks. Proc. of the SIAM Int. Conf. on Data Mining. 2020. P. 505—513. https://doi.org/10.1137/1.9781611976236.57 ISSN 1027-3239. Вісн. НАН України, 2025, № 8 73 МОЛОДІ ВЧЕНІ 10. Afanasiev I., Berlyand L., Kiyashko M. Asymptotic behavior of eigenvalues of large rank perturbations of large random matrices. arXiv:2507.12182. 2025. https://doi.org/10.48550/arXiv.2507.12182 11. Afanasiev I., Shcherbina T. Characteristic Polynomials of Sparse Non-Hermitian Random Matrices. J. Stat. Phys. 2025. 192: 12. https://doi.org/10.1007/s10955-024-03379-5 12. Afanasiev I. On the Correlation Functions of the Characteristic Polynomials of Non-Hermitian Random Matrices with Independent Entries. J. Stat. Phys. 2019. 176(6): 1561—1582. https://doi.org/10.1007/s10955-019-02353-w 13. Afanasiev I. On the Correlation Functions of the Characteristic Polynomials of the Sparse Hermitian Random Matri- ces. J. Stat. Phys. 2016. 163(2): 324—356. https://doi.org/10.1007/s10955-016-1486-z 14. Afanasiev I. On the Correlation Functions of the Characteristic Polynomials of Random Matrices with Independent Entries: Interpolation Between Complex and Real Cases. J. Math. Phys. Anal. Geom. 2022. 18(2): 159—181. https://doi.org/10.15407/mag18.02.159 15. Afanasiev I. On the Correlation Functions of the Characteristic Polynomials of Real Random Matrices with Indepen- dent Entries. J. Math. Phys. Anal. Geom. 2020. 16(2): 91—118. https://doi.org/10.15407/mag16.02.091 Ievgenii V. Afanasiev B. Verkin Institute for Low Temperature Physics and Engineering of the National Academy of Sciences of Ukraine, Kharkiv, Ukraine ORCID: https://orcid.org/0000-0002-9238-7331 ARTIFICIAL INTELLIGENCE, NEURAL NETWORKS AND SPECTRAL PROPERTIES OF RANDOM MATRICES According to the materials of report at the meeting of the Presidium of the NAS of Ukraine, May 28, 2025 Th e report is devoted to recent results in the fi eld of Artifi cial Intelligence and Neural Networks (NNs), both based on the spectral properties of random matrices. Nowadays, the development of Artifi cial Intelligence is skyrocketing, but we still lack an understanding of how it works. One of the modern approaches to solving this problem is the application of ad- vanced mathematical theories, in particular, Random Matrix Th eory. We present our results on the spectral properties of random matrices, obtained at the Department of Mathematical Physics at B. Verkin Institute for Low Temperature Physics and Engineering of the National Academy of Sciences of Ukraine. Th ese matrices are closely connected with NNs: weight matrices of trained NNs could be represented in the form W = R + S, where R is random and S is deterministic. Th e spec- trum of such matrices plays a key role in the rigorous underpinning of the novel pruning technique based on Random Matrix Th eory. Cite this article: Afanasiev I.V. Artifi cial intelligence, neural networks and spectral properties of random matrices (accord- ing t o the materials of report at the meeting of the Presidium of the NAS of Ukraine, May 28, 2025). Visn. Nac. Akad. Nauk Ukr. 2025. (8): 69—73. https://doi.org/10.15407/visn2025.08.069
id	nasplib_isofts_kiev_ua-123456789-208559
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
issn	1027-3239
language	Ukrainian
last_indexed	2025-12-07T19:00:20Z
publishDate	2025
publisher	Видавничий дім "Академперіодика" НАН України
record_format	dspace
spelling	Афанасьєв, Є.В. 2025-11-01T17:11:31Z 2025 Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.) / Є.В. Афанасьєв // Вісник Національної академії наук України. — 2025. — № 8. — С. 69-73. — Бібліогр.: 15 назв. — укр. 1027-3239 https://nasplib.isofts.kiev.ua/handle/123456789/208559 https://doi.org/10.15407/visn2025.08.069 У доповіді наведено результати досліджень штучного інтелекту на основі нейронних мереж, властивостей нейронних мереж та використання теорії випадкових матриць. Ці результати, отримані у відділі математичної фізики Фізико-технічного інституту низьких температур ім. Б.І. Вєркіна НАН України, можуть бути застосовані до побудови глибоких нейронних мереж. The report is devoted to recent results in the field of Artificial Intelligence and Neural Networks (NNs), both based on the spectral properties of random matrices. Nowadays, the development of Artificial Intelligence is skyrocketing, but we still lack an understanding of how it works. One of the modern approaches to solving this problem is the application of advanced mathematical theories, in particular, Random Matrix Theory. We present our results on the spectral properties of random matrices, obtained at the Department of Mathematical Physics at B. Verkin Institute for Low Temperature Physics and Engineering of the National Academy of Sciences of Ukraine. These matrices are closely connected with NNs: weight matrices of trained NNs could be represented in the form W = R + S, where R is random and S is deterministic. The spectrum of such matrices plays a key role in the rigorous underpinning of the novel pruning technique based on Random Matrix Theory. uk Видавничий дім "Академперіодика" НАН України Вісник НАН України Молоді вчені Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.) Artificial intelligence, neural networks and spectral properties of random matrices (according to the materials of report at the meeting of the Presidium of the NAS of Ukraine, May 28, 2025) Article published earlier
spellingShingle	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.) Афанасьєв, Є.В. Молоді вчені
title	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)
title_alt	Artificial intelligence, neural networks and spectral properties of random matrices (according to the materials of report at the meeting of the Presidium of the NAS of Ukraine, May 28, 2025)
title_full	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)
title_fullStr	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)
title_full_unstemmed	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)
title_short	Штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні Президії НАН України 28 травня 2025 р.)
title_sort	штучний інтелект, нейронні мережі та спектральні властивості випадкових матриць (за матеріалами наукового повідомлення на засіданні президії нан україни 28 травня 2025 р.)
topic	Молоді вчені
topic_facet	Молоді вчені
url	https://nasplib.isofts.kiev.ua/handle/123456789/208559
work_keys_str_mv	AT afanasʹêvêv štučniiíntelektneironnímerežítaspektralʹnívlastivostívipadkovihmatricʹzamateríalaminaukovogopovídomlennânazasídanníprezidíínanukraíni28travnâ2025r AT afanasʹêvêv artificialintelligenceneuralnetworksandspectralpropertiesofrandommatricesaccordingtothematerialsofreportatthemeetingofthepresidiumofthenasofukrainemay282025

Institution

Similar Items