НАУКА и ОБРАЗОВАНИЕ

Файл статьи: SE-BMSTU...o183.pdf (1044.54Кб)

УДК 004.852

1 МГТУ им. Н.Э. Баумана, Москва, Россия

В статье рассмотрен метод обучения с подкреплением спайковой нейронной сети. Спайковые искусственные нейронные сети, называемые также нейронными сетями третьего поколения, — это особый класс искусственных нейросетей, в которых сигнал представлен набором импульсов (спайков) одинаковой амплитуды и длительности. Для обучения таких сетей необходимо применение специальных методов. Разработка и исследование таких методов в настоящее время является актуальной проблемой. Рассмотрен метод обучения с подкреплением для нейронной сети, построенной при применении определенного типа связи между нейронами, называемого гедонистическим синапсом. Гедонистический синапс частично отражает свойства своего реального биологического аналога. Он изменяет свою активность в зависимости от собственной активности в предыдущие моменты времени и подкрепления в системе. Исследование проведено с целью определения влияния параметров такого синапса на эффективность обучения спайковой нейронной сети. Представлена математическая модель гедонистического синапса и приведено описание ее параметров и переменных. Описана роль этих параметров и переменных в обучении с подкреплением нейронной сети. Для оценки качества обучения использованы такие критерии как показатель числа ошибок и AUC-показатель. Описано применение этих показателей и получение на их основе обобщенной оценки обученности. Также приводится описание метода генерации и примеры тестовых данных, использованных при исследовании. Описан метод расчета подкрепления для сети в зависимости от ее выходных сигналов. Представлен анализ влияния переменных и параметров модели гедонистического синапса на качество обучения нейронной сети. Изложены особенности метода байесовской оптимизации и описано применение этого метода для оптимизации качества классификации. Приведен детальный анализ результатов оптимизации. По результатам работы сделан вывод о том, что подобный метод обучения может применяться для классификации многомерных временных рядов. Обозначены возможные направления дальнейших исследований в этой области — оптимизация структуры нейронной сети и ее применение для решения прикладных задач.

1. LukošEvičIus M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3. №. 3. Pp. 127-149. DOI: 10.1016/j.cosrev.2009.03.005
2. Maass W. Networks of spiking neurons: The third generation of neural network models // Neural Networks. 1997. Vol. 10. №. 9. Pp. 1659-1671. DOI: 10.1016/S0893-6080(97)00011-7
3. Paugam-Moisy H., Bohte. S.M. Computing with Spiking Neuron Networks // Handbook of Natural Computing. Springer. 2009. pp 335-376. DOI: 10.1007/978-3-540-92910-9_10
4. Seung H. S. Learning in Spiking Neural Networks by Reinforcement of Stochastic Synaptic Transmission // Neuron. 2003. Vol. 40. №. 6. Pp. 1063–1073. DOI: 10.1016/S0896-6273(03)00761-X
5. Skinner, B.F. "The Behavior of Organisms: An Experimental Analysis". New York: Appleton-Century-Crofts. 1938
6. Peters J., Bagnell J.A. Policy Gradient Methods // Encyclopedia of Machine Learning. Springer US. 2011. Pp. 774-776
7. Bradley A.P. The Use of the Area Under the ROC Curve in the Evaluation of Machine Learning Algorithms // Pattern Recognition. 1997. Vol. 30. № 7. Pp. 1145–1159. DOI: 10.1007/978-0-387-30164-8_640
8. Kappel D., Nessler B., Maass W. STDP Installs in Winner-Take-All Circuits an Online Approximation to Hidden Markov Model Learning // PLoS Comput. Biol. 2014. Vol. 10. № 3. DOI: 10.1371/journal.pcbi.1003511
9. Library of Dynamic Neural Networks // https://github.com : веб-сайт. Режим доступа:https://github.com/alexeyche/dnn (дата обращения 01.05.2016).
10. Brochu E., Cora V.M., De Freitas N. A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning. CoRR abs. 2010