Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції
Recent experiments on dendritic spatiotemporal integration reveal the much bigger computational potential of a single neuron. An individual dendritic branch can work as a coincidence detector due to a dendritic spike initiated with locally spatially and temporally activated synapses. Here, we invest...
Saved in:
| Date: | 2018 |
|---|---|
| Main Author: | |
| Format: | Article |
| Language: | English |
| Published: |
The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute"
2018
|
| Subjects: | |
| Online Access: | http://journal.iasa.kpi.ua/article/view/143211 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | System research and information technologies |
Institution
System research and information technologies| _version_ | 1856543362183593984 |
|---|---|
| author | Osaulenko, Viacheslav M. |
| author_facet | Osaulenko, Viacheslav M. |
| author_sort | Osaulenko, Viacheslav M. |
| baseUrl_str | |
| collection | OJS |
| datestamp_date | 2019-04-26T15:57:21Z |
| description | Recent experiments on dendritic spatiotemporal integration reveal the much bigger computational potential of a single neuron. An individual dendritic branch can work as a coincidence detector due to a dendritic spike initiated with locally spatially and temporally activated synapses. Here, we investigate a proposed idea that dendrites can perform temporal integration on behavior timescale ~1s, thus weakening simultaneous activation constraint. We construct the model of the recurrent neural network where each neuron activates not as a weighted summation of inputs, but due to their coincident activation both in space and time. We show that with using sparse distributed representation and tracking activity of the network in a certain time window it is possible to achieve a high capacity prediction system. We perform the theoretical analysis and estimate the capacity for the different parameters of the model where even the network with 100 neurons can store millions of sequences. Such a capacity results in a biologically unrealistic high number of synapses, much more than 100×100. However, this mechanism of tracking space-time coincidences in sparse activation can be realized in a limited biological neural network but still with a good sequence transition memory. |
| first_indexed | 2025-07-17T10:24:08Z |
| format | Article |
| id | journaliasakpiua-article-143211 |
| institution | System research and information technologies |
| language | English |
| last_indexed | 2025-07-17T10:24:08Z |
| publishDate | 2018 |
| publisher | The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" |
| record_format | ojs |
| spelling | journaliasakpiua-article-1432112019-04-26T15:57:21Z Simple model for sequence prediction based on dendritic spatiotemporal integration Простая модель предсказания последовательностей на основе дендритной пространственно-временной интеграции Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції Osaulenko, Viacheslav M. sequence prediction dendritic nonlinearity association memory предсказание последовательности дендритная нелинейность ассоциативная память передбачення послідовностей дендритна нелінійність асоціативна пам’ять Recent experiments on dendritic spatiotemporal integration reveal the much bigger computational potential of a single neuron. An individual dendritic branch can work as a coincidence detector due to a dendritic spike initiated with locally spatially and temporally activated synapses. Here, we investigate a proposed idea that dendrites can perform temporal integration on behavior timescale ~1s, thus weakening simultaneous activation constraint. We construct the model of the recurrent neural network where each neuron activates not as a weighted summation of inputs, but due to their coincident activation both in space and time. We show that with using sparse distributed representation and tracking activity of the network in a certain time window it is possible to achieve a high capacity prediction system. We perform the theoretical analysis and estimate the capacity for the different parameters of the model where even the network with 100 neurons can store millions of sequences. Such a capacity results in a biologically unrealistic high number of synapses, much more than 100×100. However, this mechanism of tracking space-time coincidences in sparse activation can be realized in a limited biological neural network but still with a good sequence transition memory. Недавние эксперименты по дендритной пространственно-временной интеграции показали значительно больший вычислительный потенциал одного нейрона. Отдельный дендритный сегмент может работать как детектор совпадений благодаря дендритном спайку, который возникает через синапсы, что активируются локально в пространстве и времени. В работе исследовано ранее предложенную идею, что дендриты способны выполнять временную интеграцию на поведенческом масштабе времени ~ 1с, ослабляя условие одновременной активации. Построено модель рекуррентной нейронной сети, где нейрон активируется не как взвешенная сумма входных сигналов, а как их пространственно-временное совпадение. Показано, что используя разреженно-распределенные репрезентации и отслеживания активности в определенном временном окне, можно достичь высокой емкости памяти предсказания последовательностей. Приведено теоретический анализ и оценку емкости памяти зависимо от параметров модели; показано, что даже сеть количеством 100 нейронов может хранить миллионы последовательностей. Такая емкость не соответствует биологическим данным и содержит количество синапсов, что значительно больше чем 100×100. Однако механизм отслеживания пространственно-временных совпадений в разреженной активации может быть реализован в ограниченной биологической нейронной сети при сохранении достаточно высокой емкости памяти последовательностей. Нещодавні експерименти з дендритної просторово-часової інтеграції показали значно більший обчислювальний потенціал одного нейрона. Окремий дентритний сегмент може працювати як детектор збігів завдяки дендритному спайку, який виникає через синапси, що активуються локально в просторі та часі. В роботі досліджено запропоновану раніше ідею, що дендрити здатні виконувати часову інтеграцію на поведінковому масштабі часу ~1с, послаблюючи умову одночасної активації. Побудовано модель рекурентної нейронної мережі, де нейрон активується не як зважена сума вхідних сигналів, а як їх просторово-часовий збіг. Показано, що, використовуючи розріджено-розподілені репрезентації та відслідковування активності в певному часовому вікні, можна досягти високої ємності пам’яті передбачення послідовностей. Наведено теоретичний аналіз та оцінку ємності пам’яті залежно від параметрів моделі; показано, що навіть мережа кількістю 100 нейронів може зберігати мільйони послідовностей. Така ємність не відповідає біологічним даним і містить кількість синапсів, що значно більше ніж 100×100. Проте механізм відслідковування просторово-часових збігів в розрідженній активації може бути реалізований в обмеженій біологічній нейронній мережі зі збереженням досить високої ємності пам’яті послідовностей. The National Technical University of Ukraine "Igor Sikorsky Kyiv Polytechnic Institute" 2018-12-18 Article Article application/pdf http://journal.iasa.kpi.ua/article/view/143211 10.20535/SRIT.2308-8893.2018.4.11 System research and information technologies; No. 4 (2018); 133-141 Системные исследования и информационные технологии; № 4 (2018); 133-141 Системні дослідження та інформаційні технології; № 4 (2018); 133-141 2308-8893 1681-6048 en http://journal.iasa.kpi.ua/article/view/143211/151385 Copyright (c) 2021 System research and information technologies |
| spellingShingle | передбачення послідовностей дендритна нелінійність асоціативна пам’ять Osaulenko, Viacheslav M. Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title | Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title_alt | Simple model for sequence prediction based on dendritic spatiotemporal integration Простая модель предсказания последовательностей на основе дендритной пространственно-временной интеграции |
| title_full | Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title_fullStr | Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title_full_unstemmed | Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title_short | Проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| title_sort | проста модель передбачення послідовностей на основі дендритної просторово-часової інтеграції |
| topic | передбачення послідовностей дендритна нелінійність асоціативна пам’ять |
| topic_facet | sequence prediction dendritic nonlinearity association memory предсказание последовательности дендритная нелинейность ассоциативная память передбачення послідовностей дендритна нелінійність асоціативна пам’ять |
| url | http://journal.iasa.kpi.ua/article/view/143211 |
| work_keys_str_mv | AT osaulenkoviacheslavm simplemodelforsequencepredictionbasedondendriticspatiotemporalintegration AT osaulenkoviacheslavm prostaâmodelʹpredskazaniâposledovatelʹnostejnaosnovedendritnojprostranstvennovremennojintegracii AT osaulenkoviacheslavm prostamodelʹperedbačennâposlídovnostejnaosnovídendritnoíprostorovočasovoííntegracíí |