Моделi бiологiчних нейронних мереж для просторово-часової асоцiативної пам’ятi

Скорочена інформація про документ
dc.contributor.authorОсауленко, Вячеслав Миколайович
dc.date.accessioned2019-12-04T12:49:11Z
dc.date.available2019-12-04T12:49:11Z
dc.date.issued2019
dc.description.abstractenThis work presents biologically plausible models of spatio-temporal association memory based on recent ideas and discoveries from neuroscience. The architectures of most artificial neural networks, like convolutional neural networks, are based on biological ideas dated back to the 60-80s of the previous century. However, since then our understanding of neural computation changed dramatically and new evidence should be formalized, investigated and incorporated into new algorithms. The work starts with the presentation of a two-dimensional bidirectional plasticity model in a simple spiking neural network. The model includes triplet spike-time-dependent plasticity rule, fast homeostatic plasticity rule and reinforcement signal that significantly speeds up learning and stabilizes the weighs. It is based on the findings that molecular mechanisms in the dendritic spines work on different time scales and is similar to eligibility traces. The model showі learning of associative connections that are stable with time, and importantly, new experience does not significantly disrupt previously learned weights. The model has a possible biological interpretation, where the fast weight represents the number and efficiency of AMPA channels and slow weight represents slow molecular mechanisms, possibly CAMKII based, and surface effects on a membrane that determines the stabilization of AMPA receptors. However, it is argued that spiking neural networks are still inapplicable for a practical application like for robotics, so the rest of the work continues with more mathematically abstract, but computationally trackable models. The next model takes into account dendritic computation, particularly, synaptic clustering. Recently, it was shown that synapses from active input neurons group locally on the dendritic branch, so that later reactivation can cause supralinear summation and dendritic spike. Such coincident detection nature reflected in the sigma-pi neuron model that in this work used to construct association memory. The theoretical and computational analysis shows that multiplicative activation for a sparsely active neuron population gives much higher memory capacity. It reduces the neuron false activation, known as cross-talk, due to higher-order correlation tracking or coincidence detection in the incoming activity. Comparison to standard Willshaw model shows that the presented model has higher synaptic capacity but lower information capacity, measures that reflect the number of synapses and number of bits per synapse respectively. The result of higher capacity with sparsely active network and sigma-pi neuron was used for the sequence prediction task. Similarly to time-delay networks, the context was constructed as activity from the last T time steps. The presented model was compared to hierarchical temporal memory (HTM) model that also uses a sparse distributed representation and neuron model with dendrites. The analysis shows higher transition memory capacity by one order of magnitude with the same number of connections. Such difference arises because of the multiplicative neuron sigma-pi model and simplified architecture without minicolumns. The final model deals with the temporal integration or sequence representation as a sparse distributed binary vector. It is based on the established result that memory is allocated to neurons with increased excitability within hours time scale. This work proposes the hypothesis that excitability is also important on a smaller (seconds) time scale. To check this, the standard algorithm of random projections with k-winners-take-all nonlinearity was modified to include neuronal activity-dependent excitability. The computational simulation shows that the inclusion of excitability creates short term memory and recreates some of the sequence representation effects in biological neural networks. These effects include: similar sequences represented similarly, events in the same sequence represented similarly, beginning of a sequence represented similarly as the whole sequence. Cosine similarity was used to compare different representations. The model can form representation that could be used as a context for the sequence prediction model. Results suggest that the mechanism of memory allocation to excitable neurons is important even for seconds time scale and should be confirmed on biological experiments. Presented models were investigated for possible practical application for object recognitions in robotics. The task requires learning on a few examples, online, with a non-fixed number of classes; all these restrict from using traditional convolutional neural networks. The natural way to try biologically inspired algorithms for biologically relevant recognition showed poor accuracy results that depend on many handcrafted solutions. The general theory of information processing in biological neural networks is required, however, presented models in this work provide a small contribution towards the main goal.uk
dc.description.abstractruДанная работа использует результаты исследования биологических нейронных сетей для совершенствования предыдущих и построения новых моделей пространственно-временной ассоциативной памяти. Предложена новая модель пространственной ассоциативной памяти на основе сигма-пай нейрона, что учитывает дендритные исчисления и имеет высокую емкость памяти, которая по определенным показателям превосходит классическую модель Вилшоу. Показано, что использование нейрона сигма-пай и разреженной активации улучшает на порядок емкость памяти переходов последовательности известной модели иерархически темпоральной памяти (HTM) при одинаковом количестве связей. Предложена новая модель представления последовательности в бинарное разреженно-распределенное представление, что включает способность нейрона к активации и качественно воспроизводит биологические эффекты, такие как сохранение сходства, чувствительность к порядку, дополнения последовательности и временное сходство. Представленные модели пространственно-временной ассоциативной памяти показывают худшие результаты распознавания образов для задач робототехники в сравнении с подходом глубоких нейронных сетей, однако они биологически подобные, имеют привлекательные вычислительные свойства и интересны для дальнейших исследований.uk
dc.description.abstractukДана робота використовує результати дослідження біологічних нейронних мереж для вдосконалення попередніх та побудови нових моделей просторо-часової асоціативної пам’яті. Запропоновано нову модель просторової асоціативної пам’яті на основі сігма-пай нейрона, що враховує дендритні обчислення та має високу ємність пам’яті, що за певними показниками перевершує класичну модель Вілшоу. Показано, що використання нейрона сігма-пай та розрідженої активації покращує на порядок ємність пам’яті переходів послідовності відомої моделі ієрархічно темпоральної пам’яті (HTM) при однаковій кількості зв’язків. Запропоновано нову модель представлення послідовності в бінарне розріджено-розподілене представлення, яка включає здатність нейрона до активації і якісно відтворює біологічні ефекти, такі як збереження схожості, чутливість до порядку, доповнення послідовності та часову схожість. Представлені моделі просторово-часової асоціативної пам’яті показують гірші результати розпізнавання образів для задач робототехніки в порівняні з підходом глибоких нейронних мереж, проте вони біологічно подібні, мають привабливі обчислювальні властивості і тому варті подальших досліджень.uk
dc.format.page24 с.uk
dc.identifier.citationОсауленко, В. М. Моделi бiологiчних нейронних мереж для просторово-часової асоцiативної пам’ятi : автореф. дис. … канд. техн. наук : 05.13.23 – системи та засоби штучного iнтелекту / Осауленко Вячеслав Миколайович. – Київ, 2019. – 24 с.uk
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/30221
dc.language.isoukuk
dc.publisherКПІ ім. Ігоря Сікорськогоuk
dc.publisher.placeКиївuk
dc.subjectасоціативна пам’ятьuk
dc.subjectдендритні обчисленняuk
dc.subjectпрогнозування послідовностейuk
dc.subjectрозпізнавання послідовностейuk
dc.subjectсігма-пай нейронuk
dc.subjectрозріджено розподілене представленняuk
dc.subjectassociative memoryuk
dc.subjectdendritic computationuk
dc.subjectsequence predictionuk
dc.subjectsequence recognitionuk
dc.subjectsigma-pi neuronuk
dc.subjectsparse distributed representationuk
dc.subjectассоциативная памятьuk
dc.subjectдендритные вычисленияuk
dc.subjectпрогнозирование последовательностейuk
dc.subjectраспознавание последовательностейuk
dc.subjectсигма-пай нейронuk
dc.subject.udc004.8:004.032.26](043.3)uk
dc.titleМоделi бiологiчних нейронних мереж для просторово-часової асоцiативної пам’ятiuk
dc.typeThesisuk

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Osaulenko_aref.pdf
Розмір:
1014.94 KB
Формат:
Adobe Portable Document Format
Опис:
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
9.06 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Автореферати (ММСА)
Автореферати (вільний доступ)