Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням
The huge complexity of molecular mechanisms that support memory formation makes it difficult to build simple, but precise and sufficient models for an efficient simulation of large neural networks. In this paper, we propose the phenomenological model of a learning rule that describes the synaptic st...
Gespeichert in:
| Datum: | 2017 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainisch |
| Veröffentlicht: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2017
|
| Schlagworte: | |
| Online Zugang: | https://journal.iasa.kpi.ua/article/view/86521 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | System research and information technologies |
| Завантажити файл: |  |
Institution
System research and information technologies| _version_ | 1866301941998419968 |
|---|---|
| author | Osaulenko, Viacheslav M. |
| author_facet | Osaulenko, Viacheslav M. |
| author_sort | Osaulenko, Viacheslav M. |
| baseUrl_str | http://journal.iasa.kpi.ua/oai |
| collection | OJS |
| datestamp_date | 2018-03-30T15:35:30Z |
| description | The huge complexity of molecular mechanisms that support memory formation makes it difficult to build simple, but precise and sufficient models for an efficient simulation of large neural networks. In this paper, we propose the phenomenological model of a learning rule that describes the synaptic strength via slow and fast variables. Two variables interact with each other in a bidirectional manner that allows to combine the reward and unsupervised learning. Results show the stability of synaptic strength due to coupling of two variables and fast homeostatic plasticity. The multiplicative approach of synaptic scaling preserves memory patterns of statistically more frequent input signals. Similar to the eligibility traces approach, the model tracks recent synaptic changes and allows to reinforce these changes. Also, we speculate on a possible biophysical interpretation of such a model that includes the fast movement of receptors to the membrane and their stabilization into clusters. |
| doi_str_mv | 10.20535/SRIT.2308-8893.2017.1.12 |
| first_indexed | 2025-07-17T10:22:03Z |
| format | Article |
| fulltext |
В.М. Осауленко, 2017
130 ISSN 1681–6048 System Research & Information Technologies, 2017, № 2
УДК 004.942
DOI: 10.20535/SRIT.2308-8893.2017.1.12
ДВОВИМІРНА МОДЕЛЬ НАВЧАННЯ
У СПАЙКОВИХ НЕЙРОННИХ МЕРЕЖАХ З ГОМЕОСТАЗОМ
ТА НАВЧАННЯМ З ПІДКРІПЛЕННЯМ
В.М. ОСАУЛЕНКО
Анотація. Cкладність молекулярних механізмів, що підтримують формування
пам’яті, заважає побудові простих, але вичерпних моделей для ефективної си-
муляції великих нейронних мереж. Запропоновано феноменологічну модель
правила навчання, що описує силу зв’язку через повільну і швидку змінні. Їх
взаємодія дозволяє об’єднати навчання без учителя та навчання з підкріплен-
ням. Результати симуляції свідчать про стабільність сили зв’язку завдяки вза-
ємодії двох змінних та швидкій формі гомеостатичної пластичності. Мульти-
плікативна форма масштабування ваг зберігає патерни пам’яті статистично
більш частих стимулів. Подібним чином до підходу допоміжних слідів модель
відслідковує нещодавні зміни сили зв’язку між нейронами і дозволяє їх підси-
лити. Наведено міркування про можливу біологічну інтерпретацію запропоно-
ваної моделі, що включає швидке переміщення рецепторів до мембрани і ста-
білізацію їх у кластери.
Ключові слова: правила навчання, спайкові нейронні мережі, навчання з під-
кріпленням.
ВСТУП
Нейронні мережі третього покоління [1], так звані спайкові нейронні мере-
жі, вважаються перспективними в побудові адаптивних систем з навчанням
і пам’яттю, що відтворюють характеристики живих організмів. Використан-
ня математичних моделей для відтворення динаміки реального нейрона при-
зводить до складної і різноманітної поведінки розв’язків у штучних систе-
мах. Головне завдання — з’ясувати, як з хаотичної динаміки об’єднаних у
мережу тисяч нейронів сформувати здатність запам’ятовувати велику кіль-
кість стимулів і надалі їх відтворювати та розпізнавати. Досі залишається не
зрозумілим, яким чином кодується інформація в таких нейронних мережах і
в реальному мозку в цілому.
Реальний біологічний нейрон використовує безліч механізмів, які за-
безпечують стабільне навчання на великих проміжках часу, такі як гомоси-
наптичні хебівські та гетеросинаптичні гомеостатичні механізми [2], а також
механізми, що змінюють структуру мережі через створення і видалення
зв’язків [3]. Окремі механізми добре вивчені і побудовані їх математичні
моделі, проте залишається проблема об’єднати їх у єдину робочу модель [4].
У роботі пропонується об’єднати навчання з підкріпленням та навчання
без учителя в поєднанні з гомеостатичним механізмом. Модель навчання
включає дві змінні, які відслідковують силу зв’язку між нейронами на двох
різних часових масштабах. Завдяки взаємодії змінних удалося включити
в модель швидке підсилення зв’язку з надходженням сигналу підкріплення,
Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом …
Системні дослідження та інформаційні технології, 2017, № 2 131
а також сформувати стійкі зв’язки у випадку статистично частих вхідних
стимулів. Гомеостатичний механізм є формою швидкого негативного зворо-
тного зв’язку, який протидіє насиченню сили зв’язків до граничних значень.
Пропонована модель подібна до існуючих підходів з використанням
допоміжних слідів, де додаткова змінна відслідковує попередню активність і
в разі сигналу підкріплення підсилює зв’язок [5]. Проте в цьому випадку
змінною, що відслідковує попередню активність, є сама сила зв’язку, і тому
реалізується форма короткострокової пам’яті. У поєднанні з повільною
змінною можна впровадити навчання без учителя, де нейрон вибирає стати-
стичні закономірності з вхідного сигналу.
МЕТОДИ
Для тестування моделі симулювали один вихідний нейрон, який отримує
сигнал від 100 вхідних нейронів, і обмежилися лише додатними вагами. То-
му вхідні нейрони можуть тільки збуджувати вихідний.
Як модель нейрона використано стандартну дисипативну модель «інте-
груй–активуй», що описує зміну напруги на мембрані [6]:
))(()( uutguug
dt
du
C AMPAAMPArestleak .
Якщо thruu , то напруга скидається restuu і нейрон генерує спайк.
Провідність АМРА рецепторів AMPAg описується таким чином:
}{
)(
inputi
iiAMPA
AMPA
AMPA tSwg
dt
dg
.
Тут AMPAg збільшується на iw у момент надходження спайку від i -го
вхідного нейрона;
f
f
ii tttS )()( , де — функція Дірака; f
it — час на-
дходження спайку.
Зміну сили зв’язку, або синаптичну пластичність можна подати у вигляді
.1
1
)(
1
))())(((
1
)(
1
3
hom A
y
wMww
dt
dw
ptSpxtSww
dt
dw
s
i
s
i
s
i
w
i
s
postslow
ii
hebb
ii
s
w
i
s
(1)
Це власне і є запропонована модель. Тут slowpx, — сліди спайків для
вхідного нейрона і p — для вихідного. Слід розуміється як низькочастот-
ний фільтр і описується системою рівнянь:
.)(
),(
),(
tSp
dt
dp
tSp
dt
dp
tSx
dt
dx
postslow
slow
p
postp
ii
i
x
slow
В.М. Осауленко
ISSN 1681–6048 System Research & Information Technologies, 2017, № 2 132
Симуляцію виконували у такий спосіб: 100 вхідних нейронів генерува-
ли випадково спайки з розподілом
Пуассона з частотою Hzbg 1 . Якщо
нейрон кодує вхідний патерн, тоді ча-
стота збільшується: )()( tt i
bg
ii ,
де Гц19)( ti , якщо i -й вхідний
нейрон у момент часу t активується, і
0)( ti , якщо не активується. Вхідні
патерни кодуються 10–15 вхідними
нейронами, які далі збуджують вихід-
ний. Схематичне зображення мережі
показано на рис. 1, на якому вхідні
нейрони активують один вихідний.
Симуляцію виконано мовою програмування Python з використанням
бібліотеки Brian2. Код і значення параметрів для детального ознайомлення
доступні за посиланням [7].
ОГЛЯД МОДЕЛІ
Сила зв’язку між двома нейронами пов’язана з кількістю і ефективністю
АМРА рецепторів, що регулюється взаємною активністю вхідного і вихідно-
го нейронів. АМРА рецептори розміщуються на шипику, малому дендрит-
ному відростку, який приймає, обробляє і зберігає сигнал від вхідного ней-
рона. Усі основні збуджувальні нейрони головного мозку в місцях контакту
з іншими нейронами утворюють шипики і вважається, що вони є субстратом
пам’яті. Визначення сили зв’язку залежить не лише від моменту навчання,
але й від динаміки стану шипика, яка має повільний масштаб часу і зале-
жить від інших рецепторів і регуляторних білків. Тому пропонується розріз-
няти моментальне значення сили зв’язку і динамічний стан шипика, який
впливає на силу зв’язку і після синхронної активації вхідного та вихідного
нейронів.
Необхідність опису зв’язку між нейронами з кількома змінними вини-
кає під час навчання з підкріпленням. Вважається, що нейрон має відслідко-
вувати попередню активність протягом 1–5 с, щоб із надходженням сигналу
підкріплювалися лише потрібні зв’язки. Для цього вводять додаткову
змінну, яку в літературі називають допоміжним слідом. Установлено, що
це теоретичне припущення відповідає поведінці реального нейрона [8].
Детальні молекулярні механізми ще мають бути з’ясовані, але потенційні
кандидати — певні кінази і фосфатази, що регулюють силу зв’язку через
модуляцію кількості та ефективності АМРА рецепторів, мають часовий
масштаб залишкової активності порівняно з тим, який має допоміжний слід
в теоретичних моделях. Тому є підстави надати допоміжному сліду фізичної
інтерпретації.
Інший важливий фактор формування сили зв’язків — стабільність. Згі-
дно із хебівським правилом зв’язки між нейронами А і Б підсилюються, як-
що нейрон А бере участь в активації нейрона Б, за своєю природою має по-
зитивний зворотний зв’язок, тобто збільшення сили зв’язку приводить до
1 Гц
20 Гц
Рис. 1. Схематичне зображення мережі
Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом …
Системні дослідження та інформаційні технології, 2017, № 2 133
підвищення активації, яку, у свою чергу, ще більше підсилює зв’язок. У біо-
логічних мережах стабільність забезпечується багатьма механізмами через
збалансовану активацію пригнічувальних нейронів [9], короткочасове при-
гнічення чи швидку форму гомеостазу [10,11,12]. У математичних моделях
хебівське правило має бути доповнене стабілізуючими механізмами, що зу-
мовлює формування простої пам’яті в спайкових нейронних мережах [13].
Запропонована модель грунтується на кількох ідеях:
є дві змінні, що описують силу зв’язку між двома нейронами, —
швидка і повільна. Ці змінні взаємодіють на різних часових масштабах;
повільна змінна описує стан шипика і може швидко зрівнятися зі
швидкою з надходженням сигналу підкріплення;
нейрон повинен мати частоту активації в певних межах. Гомео-
статична пластичність забезпечує цю стабільність через масштабування сил
зв’язку.
Модель описується такою системою рівнянь:
,
1
)(
1
,
1
)(
1
hom
HomeoMww
dt
dw
Hebbww
dt
dw
eo
s
w
s
hebb
s
w
s
(2)
де w — швидка змінна, миттєве значення сили зв’язку; sw — повільна
змінна, що описує стан шипика; M — сигнал підкріплення, 1M без сигна-
лу. Hebb і Homeo описують гомосинаптичну хебівську пластичність і гете-
росинаптичну гомеостатичну пластичність відповідно. Має справджуватися
співвідношення часових масштабів wws
, що визначає відношення шви-
дкості динаміки двох змінних.
Розглянемо фіксований момент навчання, коли відповідно до хебівської
пластичності w зросла (рис. 2, а). Тоді згідно з рівняннями (2) w починає
зменшуватись, а sw збільшуватися. Загалом повільна змінна збільшиться на
w , що залежить від співвідношення
sw
w
. Якщо навчальна подія повто-
риться, тоді загальне зростання w буде більшим (рис. 2, б). Це добре від-
повідає твердженню, що реактивація навчання зміцнює пам’ять [14].
Рис. 2. Зображення еволюції швидкої та повільної змінних: а — зображення дина-
міки двох змінних у разі одного моменту навчання; б — повторення навчання, що
підсилює зв’язок; в — сигнал підкріплення, що майже миттєво збільшує силу
зв’язку
w
w
t
w
t
w
а б
w
w
t в
В.М. Осауленко
ISSN 1681–6048 System Research & Information Technologies, 2017, № 2 134
Основна відмінність запропонованої моделі навчання полягає в тому,
що вона природно включає навчання з підкріпленням. Припустімо, що після
навчання нейрон отримує сигнал підкріплення M. Тоді швидкість зміни sw
буде значно більшою і wws , що виразиться у великій w (рис. 2, в).
Модель (2) показує такі властивості:
сила зв’язку залежить не тільки від моменту навчання, але і від біль-
шого часового проміжку;
модель одночасно включає навчання без учителя і навчання з підкрі-
пленням.
Для хебівської форми використано правило триплетної спайк-
часовозалежної пластичності [15], яке може бути зведено до розширеного
правила BCM [16].
Гомеостатична пластичність:
3
1
A
y
wHomeo s
s , (3)
де sw — відповідає мультиплікативній природі пластичності, коли зміна
сили зв’язку залежить від самої величини; sy — слід активації нейрона
)(tSy
dt
dy
posts
s
y ; A — задана частота активації.
Кубічну залежність (рис. 3) використано для підсилення негативного
зворотного зв’язку за сильної активації і послаблення, коли частота актива-
ції близька до заданої частоти. Недолік такого припущення — зміна сили
зв’язку за низької активації значно повільніша, а у випадку 0sw зміни не
відбуваються.
ДОСЛІДЖЕННЯ СТАБІЛЬНОСТІ ЗВ’ЯЗКІВ
Симульовано роботу 100 вхідних нейронів, які надсилають спайки з роз-
поділом Пуассона з частотою 1ГЦ до одного вихідного нейрона. На ме-
режу перші 20 с подавався активний патерн, у результаті чого 11 вхідних
Рис. 3. Графік зміни сили зв’язку залежно від сліду активації вихідного нейрона
Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом …
Системні дослідження та інформаційні технології, 2017, № 2 135
нейронів активувалися з частотою 20Гц. Відповідно до хебівського правила
навчання зв’язки, пов’язані з активним патерном, підсилилися (рис. 4).
Графіки, показані на рис. 4, а, б, відповідають сліду активності актива-
ції постсинаптичного нейрона з часовими сталими 1 с і 10 с. Графік, зобра-
жений на рис. 4, в, показує залежність від часу двох змінних зв’язку до од-
ного нейрона з групи, які активувались від патерну. Залежність повільної
змінної від часу для всіх 100 зв’язків ілюструє рис. 4, в. Стрілками показано
активний патерн. Градієнт сірого вказує на роботу гомеостатичної пластич-
ності.
Рис. 4. Регуляція активності нейрона
a
y
б
ys
г
Time ms
w
s
в
w,
ws
w
ws
В.М. Осауленко
ISSN 1681–6048 System Research & Information Technologies, 2017, № 2 136
Зі збільшенням частоти активації вихідного нейрона член Homeo
зменшує зв’язки і нейрон перестає збуджуватись. Тоді гомеостатична плас-
тичність починає працювати у зворотному напрямку для вирівнювання ак-
тивації до бажаного рівня. Завдяки sw у виразі (3) навчений патерн збіль-
шує зв’язки сильніше, оскільки він має більше значення sw , а, отже, тому
можливе виділення і збереження навченого патерну. Така властивість нази-
вається мультиплікативністю і узгоджується з експериментальними даними
на реальних нейронах [11]. У випадку відсутності мультиплікативності на-
вчений патерн після відновлення активації нейрона був би відсутній. Отри-
мано результати, коли під час навчання спочатку сили зв’язку збільшують-
ся, а за рахунок гомеостатичної пластичності зменшуються подібно до
результатів, отриманих у праці [17]. Проте в розгляданому випадку кінцеве
значення сили зв’язку навченого патерну більше за початкове.
Стабілізаційний ефект виникає за різниці wws у рівнянні (2). Чим бі-
льша різниця, тобто чим далі система від стабільності, тим менший вплив
хебівського члена, який відповідає за виникнення нестабільності.
Якщо врахувати гіпотезу, що спонтанна активність, симульована через
розподіл Пуассона, дійсно має просторово часові кореляції [18], які відпові-
дають попередньо навченим стимулам, тоді гомеостаз відновиться швидше і
помітно не зменшиться період неактивності.
Застосовано лише один з багатьох механізмів стабільності. Для повної
картини нейрони-інгібітори мусять бути додані в систему. Проте навіть за-
стосоване просте правило гомеостатичної пластичності узгоджує значення
ваг відповідно до вхідної активності і протидіє насиченню сили зв’язків до
граничних значень ),0( maxw , а головне — зберігає навчений патерн.
ВПЛИВ АКТИВАЦІЇ КІЛЬКОХ ПАТЕРНІВ
Досліджено поведінку моделі у випадку активації кількох патернів, переду-
сім, чи збережеться сила зв’язків до кількох патернів за гомеостатичної ре-
гуляції і чи буде виділятися частий стимул. Використано 5 різних патернів,
кожен з яких активує 10–15 нейронів, Один патерн використовувася частіше
від інших.
На рис. 5, а показано залежність змінних від часу, на рис. 5, б — залеж-
ність sw від ,t великі стрілки вказують на частий патерн, малі стрілки — на
інші менш частіші патерни. Частіший патерн отримав найбільший приріст
сил зв’язку, як і очікувано; збережено й інші патерни, хоча і з меншим
значенням сили зв’язку. Таким чином, нейрон навчається на більш статис-
тично вагоміші стимули, тим самим реалізуючи простий варіант навчання
без учителя.
Процедура масштабування ваг згідно з виразом (3) подібна до нормалі-
зації ваг 1)( /1 p
i
p
iww , що використовується в правилі Оджі [19]. Тому
така модель імовірно також виділяє принципові компоненти з вхідного сти-
мулу, проте для підтвердження потрібні додаткові дослідження.
Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом …
Системні дослідження та інформаційні технології, 2017, № 2 137
ДОСЛІДЖЕННЯ НАВЧАННЯ З ПІДКРІПЛЕННЯМ
В обчислювальному експерименті на мережу також подавалися кілька пате-
рнів, і їх комбінували із сигналом підкріплення (рис. 6).
Загалом використано три патерни і останній з них підкріплено. На
рис. 6 зірочка вказує на час надходження сигналу підкріплення. Підкріпле-
ний патерн має значно більші значення синаптичних ваг порівняно з попе-
редніми патернами.
Два патерни подавалися на початку експерименту протягом 5 с роботи
мережі, далі в момент часу 9,8 с — третій патерн і через 0,3 с — сигнал під-
кріплення. Відповідно до моделі повільна змінна зросла до швидкої,
у результаті чого відбулося швидке навчання. Якщо у випадку навчання без
учителя потрібно було подавати велику кількість раз потрібний патерн, щоб
Рис. 5. Поведінка моделі за активації кількох патернів
б
Time ms
ws
ys
2
y
1
1 — w
2 — ws
1
2
а
w
ws
В.М. Осауленко
ISSN 1681–6048 System Research & Information Technologies, 2017, № 2 138
нейрон вважав його важливим і навчився до певного рівня, то в разі навчан-
ня з підкріпленням одного разу достатньо, щоб відбулося значне пе-
рерозподілення ваг.
ВИСНОВКИ
Основна відмінність запропонованої моделі полягає у використанні двох
змінних для опису сили зв’язку. Через взаємодію змінних удалось зручно
впровадити навчання з підкріпленням зі збереженням навчання без учителя.
Оскільки змінні мають різні часові масштаби, швидка змінна реагує на вхідний
стимул, а повільна з часом консолідується, що, у свою чергу, стабілізує зв’язок.
Симуляцією моделі на простій нейронній мережі показано здатність до
вивчення активного патерну, збереження сили зв’язку у випадку багатьох
Рис. 6. Дослідження підкріплення ваг зв’язків
Time ms б
ws
а Time ms
1 — w
2 — ws1
2
w
ws
y
1
ys
2
Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом …
Системні дослідження та інформаційні технології, 2017, № 2 139
вхідних патернів, а також здатність до стабілізації зв’язків для підтримання
заданого рівня активації нейрона. Показано здатність моделі до швидкого
навчання через сигнал підкріплення.
У роботі обрано сталу часу швидкої змінної w порядку 1 с, тому вона
відслідковувала попередню активність і використовувалась для навчання з
підкріпленням. Проте, якщо часова константа становила десятки хвилин, то
швидку змінну можна інтерпретувати як опис ранньої фази довготермінової
пластичності, а повільну — як консолідацію сили зв’язку. Тут сигналом під-
кріплення може бути висока активність вихідного нейрона, який генерує
пачки спайків, і тоді швидка консолідація співвідноситься з експериментами
у межах гіпотези синаптичної мітки і закріплення [20].
Пропонована модель подібна до загального підходу до навчання з під-
кріпленням на спайкових нейронних мережах – допоміжні сліди [5]. У таких
моделях уводиться допоміжна змінна, яка відслідковує активність і в разі
потреби підкріплює зв’язок. Проте в запропонованому підході швидка змін-
на відіграє роль сили зв’язку і може слугувати формою короткострокової
пам’яті, яка впливає на активацію нейрона.
Модель має цікаву можливу біологічну інтерпретацію. Після активації
синапсу в постсинаптичний нейрон входять іони Ca2+, які активують регуля-
торні протеїни, такі як CaMKII та PKA, які, у свою чергу, спричиняють
швидке переміщення АМРА рецепторів зі внутрішніх сховищ на поверхню
мембрани [21], [22]. Активація протеїнів спадає протягом однієї хвилини
[23] і нестійкі АМРА рецептори інтерналізуються назад у клітину. Якщо
прийняти гіпотезу про те, що АМРА рецептори формують стабільний клас-
тер на поверхні мембрани [24], то зміну повільної змінної можна інтерпре-
тувати як випадкове включення (виключення) рецепторів у кластер. Із над-
ходженням сигналу підкріплення активуються дофамінові рецептори, які
запускають невідомі молекулярні механізми, які закріплюють вільні АМРА
рецептори в кластери, тим самим збільшуючи силу зв’язку. Тому модель
може мати біологічну основу, де sw відповідає розміру шипика і молекуляр-
ній машинерії, що підтримує його стан, і w відповідає кількості та ефекти-
вності АМРА рецепторів.
Основу роботи нейрона становить множина механізмів пластичності,
що забезпечують навчання просторово-часових стимулів і в результаті коо-
перації з іншими нейронами формується пам’ять складних вхідних стиму-
лів. Усі необхідні механізми об’єднуються в єдину модель лише на початку
розвитку адекватних моделей, але вже отримано цікаві результати [13]. На-
вчання без учителя і навчання з підкріпленням разом з механізмами стабіль-
ності, реалізовані у спайковій нейронній мережі, мають перспективи щодо
ефективного оброблення інформації і подальшого вдосконалення адаптив-
них роботів.
ЛІТЕРАТУРА
1. Maass W. Networks of spiking neurons: The third generation of neural network
models // Neural Networks. — Vol. 10, N. 9. — 1997. — P. 1659–1671.
2. Zenke F. Synaptic Plasticity in Neural Networks Needs Homeostasis with a Fast
Rate Detector / F. Zenke, G. Hennequin, W. Gerstner // PLoS Comput. Biol. —
2013. — Vol. 9, N 11. е1003330, 11 р.
3. Fauth M. Opposing Effects of Neuronal Activity on Structural Plasticity / M. Fauth,
C. Tetzlaff // Front. Neuroanat. — Vol. 10, N June. — 2016. — P. 1–18.
4. Brea J. Does computational neuroscience need new synaptic learning paradigms? /
J. Brea and W. Gerstner // Curr. Opin. Behav. Sci. — 2016. — P. 1–6.
В.М. Осауленко
ISSN 1681–6048 System Research & Information Technologies, 2017, № 2 140
5. Frémaux N. Neuromodulated Spike-Timing-Dependent Plasticity and Theory of
Three-Factor Learning Rules / N. Frémaux and W. Gerstner // Front. Neural
Circuits. — Vol. 9, N. 85. — 2016. — 85 p.
6. Вiдибiда О.К. Вихiдний потiк iнтегруючого нейрона з втратами / О.К. Вiдибiда
// arXiv:1501.04874 [q-bio.NC]. — 2015. — 11 р.
7. (https://github.com/hronoses/ProjectOne)
8. He K. Distinct Eligibility Traces for LTP and LTD in Cortical Synapses / K. He,
M. Huertas, S. Z. Hong, X. Tie, J. W. Hell, H. Shouval, and A. Kirkwood //
Neuron. — Vol. 88, N 3. — 2015. — P. 528–538.
9. Abbott L.F. Synaptic plasticity: taming the beast / L.F. Abbott, S.B. Nelson // Nat.
Neurosci. — Vol. 3, N November. — 2000. — P. 1178–1183.
10. Chistiakova M. Heterosynaptic Plasticity: Multiple Mechanisms and Multiple Roles
// M. Chistiakova, N.M. Bannon, M. Bazhenov and M. Volgushev // Neurosci. —
Vol. 20, N. 5. —2014. — P. 483–498.
11. Turrigiano G.G. Homeostatic plasticity in the developing nervous system /
G.G.Turrigiano, S.B. Nelson // Nat. Rev. Neurosci. — 2004. — Vol. 5. —
Р. 97–107.
12. Ibata K. Rapid Synaptic Scaling Induced by Changes in Postsynaptic Firing /
K. Ibata, Q. Sun, G.G. Turrigiano // Neuron. — Vol. 57, N. 6. — 2008. —
P. 819–826.
13. Zenke F. Diverse synaptic plasticity mechanisms orchestrated to form and retrieve
memories in spiking neural networks / F. Zenke, E.J. Agnes, W. Gerstner // Nat.
Commun. — Vol. 6. — 2015. — P. 6922.
14. Nadel L. Memory formation, consolidation and transformation / L. Nadel,
A. Hupbach, R. Gomez , K. Newman-Smith // Neurosci. Biobehav. Rev. —
Vol. 36, N 7. — 2012. — P. 1640–1645.
15. Pfister J.-P. Triplets of Spikes in a Model of Spike Timing-Dependent Plasticity
/ J.-P. Pfister, W. Gerstner // J. Neurosci. — Vol. 26, N 38. — 2006. —
P. 9673–9682.
16. Gjorgjieva J. A triplet spike-timing-dependent plasticity model generalizes the
Bienenstock-Cooper-Munro rule to higher-order spatiotemporal correlations /
J. Gjorgjieva, C. Clopath, J. Audet, J.-P. Pfister // Proc. Natl. Acad. Sci. U.S.A.
— Vol. 108, N 48. — 2011. — P. 19383–8.
17. Yeung L.C. Synaptic homeostasis and input selectivity follow from a calcium-
dependent plasticity model / L.C. Yeung, H.Z. Shouval, B.S. Blais, L.N. Cooper
// Proc. Natl. Acad. Sci. U. S. A. — Vol. 101, N 41. — 2004. — P. 14943–8.
18. Leighton A.H. The Wiring of Developing Sensory Circuits: From Patterned
Spontaneous Activity to Synaptic Plasticity Mechanisms / A.H. Leighton,
C. Lohmann // Front. Neural Circuits. — Vol. 10, N September. — 2016. — P. 1–13.
19. Oja E. A simplified neuron model as a principal component analyzer / Oja E. //
J. Math. Biol. — Vol. 15, N 3. — 1982. — P. 267–273.
20. Redondo R.L. Making memories last: the synaptic tagging and capture hypothesis /
R.L. Redondo, R.G.M. Morris // Nat. Rev. Neurosci. — Vol. 12, N 1. — 2011.
— P. 17–30.
21. Song I. Regulation of AMPA receptors during synaptic plasticity / I. Song,
R.L. Huganir // Trends Neurosci. — Vol. 25, N 11. — 2002. — P. 578–588.
22. Esteban J.A. PKA phosphorylation of AMPA receptor subunits controls synaptic
trafficking underlying plasticity / J.A. Esteban, S.-H. Shi, C. Wilson, M. Nuriya,
R.L. Huganir, R. Malinow // Nat. Neurosci. — Vol. 6, N 2. — 2003. — P. 136–143.
23. Lee S.-J.R. Activation of CaMKII in single dendritic spines during long-term
potentiation / S.-J.R. Lee, Y. Escobedo-Lozoya, E.M. Szatmari, R. Yasuda //
Nature. — Vol. 458, N 7236. — 2009. — P. 299–304.
24. Shouval H.Z. Clusters of interacting receptors can stabilize synaptic efficacies /
H.Z. Shouval // Proc. Natl. Acad. Sci. U.S.A. — Vol. 102, N 40. — 2005. —
P. 14440–14445.
Надійшла 22.12.2016
|
| id | journaliasakpiua-article-86521 |
| institution | System research and information technologies |
| keywords_txt_mv | keywords |
| language | Ukrainian |
| last_indexed | 2025-07-17T10:22:03Z |
| publishDate | 2017 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| resource_txt_mv | journaliasakpiua/98/24a4e2b7f4c5053e50211d7c2691e098.pdf |
| spelling | journaliasakpiua-article-865212018-03-30T15:35:30Z Two dimensional model of learning in spiking neural networks with homeostasis and reward Двумерная модель обучения в спайковых нейронных сетях с гомеостазом и обучением с подкреплением Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням Osaulenko, Viacheslav M. learning rules spiking neural networks reward learning правила обучения спайковые нейронные сети обучение с подкреплением правила навчання спайкові нейронні мережі навчання з підкріпленням The huge complexity of molecular mechanisms that support memory formation makes it difficult to build simple, but precise and sufficient models for an efficient simulation of large neural networks. In this paper, we propose the phenomenological model of a learning rule that describes the synaptic strength via slow and fast variables. Two variables interact with each other in a bidirectional manner that allows to combine the reward and unsupervised learning. Results show the stability of synaptic strength due to coupling of two variables and fast homeostatic plasticity. The multiplicative approach of synaptic scaling preserves memory patterns of statistically more frequent input signals. Similar to the eligibility traces approach, the model tracks recent synaptic changes and allows to reinforce these changes. Also, we speculate on a possible biophysical interpretation of such a model that includes the fast movement of receptors to the membrane and their stabilization into clusters. Сложность молекулярных механизмов, которые поддерживают формирование памяти, затрудняет построение простых, но точных и исчерпывающих моделей для эффективного моделирования больших нейронных сетей. Предложена феноменологическая модель правила обучения, описывающая силу связи нейронов посредством медленной и быстрой переменных. Их взаимодействие позволяет сочетать обучение с подкреплением и обучение без учителя. Результаты показывают стабильность силы связи за счет сочетания двух переменных и быстрой гомеостатической пластичности. Мультипликативный способ масштабирования весов сохраняет паттерны памяти статистически более частых входных сигналов. Схожим образом к подходу дополнительных следов модель отслеживает последние изменения весов и позволяет их усилить. Приведены соображения о возможной биофизической интерпретации модели, которая включает в себя быстрое перемещение рецепторов к мембране и стабилизации их в кластеры. Cкладність молекулярних механізмів, що підтримують формування пам’яті, заважає побудові простих, але вичерпних моделей для ефективної симуляції великих нейронних мереж. Запропоновано феноменологічну модель правила навчання, що описує силу зв’язку через повільну і швидку змінні. Їх взаємодія дозволяє об’єднати навчання без учителя та навчання з підкріпленням. Результати симуляції свідчать про стабільність сили зв’язку завдяки взаємодії двох змінних та швидкій формі гомеостатичної пластичності. Мультиплікативна форма масштабування ваг зберігає патерни пам’яті статистично більш частих стимулів. Подібним чином до підходу допоміжних слідів модель відслідковує нещодавні зміни сили зв’язку між нейронами і дозволяє їх підсилити. Наведено міркування про можливу біологічну інтерпретацію запропонованої моделі, що включає швидке переміщення рецепторів до мембрани і стабілізацію їх у кластери. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2017-06-26 Article Article application/pdf https://journal.iasa.kpi.ua/article/view/86521 10.20535/SRIT.2308-8893.2017.1.12 System research and information technologies; No. 2 (2017); 130-140 Системные исследования и информационные технологии; № 2 (2017); 130-140 Системні дослідження та інформаційні технології; № 2 (2017); 130-140 2308-8893 1681-6048 uk https://journal.iasa.kpi.ua/article/view/86521/103785 Copyright (c) 2021 System research and information technologies |
| spellingShingle | правила навчання спайкові нейронні мережі навчання з підкріпленням Osaulenko, Viacheslav M. Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title | Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title_alt | Two dimensional model of learning in spiking neural networks with homeostasis and reward Двумерная модель обучения в спайковых нейронных сетях с гомеостазом и обучением с подкреплением |
| title_full | Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title_fullStr | Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title_full_unstemmed | Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title_short | Двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| title_sort | двовимірна модель навчання у спайкових нейронних мережах з гомеостазом та навчанням з підкріпленням |
| topic | правила навчання спайкові нейронні мережі навчання з підкріпленням |
| topic_facet | learning rules spiking neural networks reward learning правила обучения спайковые нейронные сети обучение с подкреплением правила навчання спайкові нейронні мережі навчання з підкріпленням |
| url | https://journal.iasa.kpi.ua/article/view/86521 |
| work_keys_str_mv | AT osaulenkoviacheslavm twodimensionalmodeloflearninginspikingneuralnetworkswithhomeostasisandreward AT osaulenkoviacheslavm dvumernaâmodelʹobučeniâvspajkovyhnejronnyhsetâhsgomeostazomiobučeniemspodkrepleniem AT osaulenkoviacheslavm dvovimírnamodelʹnavčannâuspajkovihnejronnihmerežahzgomeostazomtanavčannâmzpídkríplennâm |