Розробки ІПММС НАНУ в галузі нейрокомп'ютерів
Нейрокомп'ютери - це сучасні інтелектуальні засоби інформатики, що діють за принципами роботи нервової системи живих істот. На відміну від звичайних комп'ютерів нейрокомп'ютери програмуються шляхом навчання на прикладах. З'явившись на початку 90-х років минулого сторіччя, вони швидко набули популярності як потужний засіб для вирішення неформалізованих або надто складних задач, для яких відсутні ефективні аналітичні методи розв'язку. Сьогодні нейрокомп'ютери широко використовують практично у всіх сферах людської діяльності для вирішення різноманітних задач: розпізнавання образів, виявлення прихованих залежностей та прогнозування їх розвитку, пошуку та захисту інформації в комп'ютерних мережах, управління технологічними процесами, спостереження стану довкілля та охорони об'єктів, керування інтелектуальними роботами і т. ін.
Понад 15 років тому в Інституті проблем математичних машин і систем НАН України був створений відділ нейротехнологій для виконання досліджень та прикладних розробок у галузі нейрокомп'ютерів. Вченими відділу під керівництвом доктора технічних наук О.М. Різника одержані важливі результати з теорії нейронних мереж і методів їх практичного використання, розроблені зразки вітчизняних нейрокомп'ютерів, які не поступаються, а за окремими показниками суттєво перевершують світові аналоги. Також створена низка прикладних нейросистем за грантами та замовленнями закордонних фірм.
Виконувані вченими відділу теоретичні дослідження включають методи неітеративного навчання нейронних мереж і нейронну асоціативну пам'ять, багатомодульні нейрокомп'ютери та методи їх навчання, рекурентні динамічні нейромережі та методи нейроуправління, моделювання механізмів пам'яті мозку.
Найважливішими результатами теоретичних досліджень є такі:
Новий метод збільшення ефективності нейронної асоціативної пам'яті шляхом рознасичення матриці зв'язків. Метод дозволяє подвоїти обсяг та завадостійкість асоціативної пам'яті (1996 р.).
Метод та технологія оптимізації структури асоціативних нейронних мереж. Розроблена технологія дозволяє в 3-4 рази скоротити необхідний обсяг фізичної пам'яті (1998 р.).
Реверсивна нейронна асоціативна пам'ять, яка дозволяє не тільки запам'ятовувати нові дані, але й звільнювати асоціативну пам'ять від застарілих даних (2001 р.).
Архітектура, методи проектування та навчання багатомодульних нейронних мереж, застосовуваних для вирішення надскладних прикладних задач (2002 р.).
Метод відновлення змісту нейронної асоціативної пам'яті при руйнуванні частини зв'язків мережі. Метод відтворює ефект лікування амнезії (2003 р.).
Ядерна нейронна асоціативна пам'ять для обробки потоків даних (2004 р.) та метод її реконсолідації, який дозволяє адаптувати зміст асоціативної пам'яті до зміни властивостей спостережуваних об'єктів (2009 р.).
Модель хопфілдовського ансамблю нейронів кори мозку (2005-2012 р.р.).
Динамічна асоціативна пам'ять на основі відкритої рекурентної нейронної мережі для нейроуправління динамічними об'єктами (2009 р.).
Метод нейроуправління на основі контрольованого збурення. Цей метод дозволяє значно спростити систему контролю та управління (2011 р.).
Метод псевдорегуляризації для навчання нейроконтролерів на основі фільтра Калмана. Новий метод дозволяє втричі збільшити завадостійкість нейроуправління (2012 р.).
Найважливіші розробки нейрокомп'ютерів:
Експериментальна серія програмних нейрокомп'ютерів „Нейроконструктор", в якій вперше було реалізовано нові методи неітеративного навчання нейронних мереж (1996-2000 р.р.).
Багатофункціональний нейрокомп'ютер NEUROLAND, що забезпечує повний цикл проектування прикладних нейросистем і в якому вперше було реалізовано реверсивну нейронну асоціативну пам'ять. Нейрокомп'ютер NEUROLAND є базовим при викладанні курсу нейротехнологій в НТУ «КПІ» (2002 р.).
Перша в світі система автоматизованого проектування багатомодульних нейронних мереж MNN CAD. Система широко використовується при розробці прикладних нейросистем різного призначення (2002 р.).
Дослідний зразок інтелектуальної нейросистеми широкого призначення «Нейроінтелект», в якій поєднані засоби нейротехнологій та штучного інтелекту (2009 р.).
Найважливіші прикладні розробки нейросистем:
Нейросистема керування повітряними мішками безпеки авто (замовник - фірма ATI, США, 2003 р.).
Нейросистема для розпізнавання пішоходів за допомогою однієї відеокамери (замовник - фірма ATI, США, 2004 р.).
Нейросистема для розпізнавання запахів (за грантом INTAS, 2004 р).
Система тривимірного розпізнавання жестів (замовник - фірма Samsung, Корейська Республіка, 2006 р.).
Експериментальна нейросистема «Біокон» для біометричної ідентифікації користувачів комп'ютерних мереж ( 2007 р.).
Система підтримки роботи бізнес-аналітиків TrendCaster, що дозволяє на 20% збільшити продуктивність праці аналітиків (2010 р.).
В останні роки увагу вчених відділу зосереджено на дослідженні проблем нейродинаміки, пов'язаних з прогнозуванням нестаціонарних процесів типу ринкової динаміки, адаптивним управлінням поведінкою, спостереженням за довкіллям, моделюванням оперативної та довготривалої пам'яті мозку. Ця проблематика відповідає сучасній тенденції розвитку методів нейротехнологій та штучного інтелекту, переходу від модельних задач до роботи з реальними неоднорідними та нестаціонарними об'єктами і процесами. Серед нових результатів, одержаних вченими відділу за цими напрямами, можна назвати технологію та програмні засоби підтримки роботи бізнес-аналітиків, систему біометричної ідентифікації користувачів комп'ютерних мереж, багатомодульну систему нейроуправління, оригінальний метод реконсолідації ядерної асоціативної пам'яті, динамічну асоціативну пам'ять на основі відкритої рекурентної нейромережі. Ці результати віддзеркалюють зростання уваги до більш складних динамічних задач, зростанню їх інтелектуального рівня. Тому на порядку денному постають задачі моделювання механізмів пам'яті мозку, вирішення яких потребує перегляду концептуальної основи моделювання нервової діяльності. Йдеться не тільки і не стільки про перехід від статичних до спайкових (імпульсних) моделей нейронів, скільки до перегляду принципів дії нейронних ансамблів мозку. Запропонована нами модель хопфілдовського ансамблю нейронів є одним з перших кроків до такого перегляду. Одержане на її основі теоретичне пояснення ефекту лікування амнезії та експериментальне його підтвердження вказують на перспективність цього напряму досліджень. Але постає інша проблема, пов'язана з ускладненням застосовуваних для навчання нейронних мереж об'єктів та процесів, втратою ними властивостей стаціонарності й однорідності. Необхідним стає пошук принципово нових способів навчання, наближених до методів сприйняття інформації мозком, який використовує не тільки оперативну інформацію, але й генетично накопичений досвід для виявлення та запам'ятовування корисних даних.
Поряд з науковою роботою вчені відділу нейротехнологій викладають основи нейротехнології та штучного інтелекту в НТУ «КПІ» та КО МФТІ, працюють над докторськими та кандидатськими дисертаціями. За час існування відділу захищено 6 кандидатських та 1 докторська дисертації. Опубліковано понад 80 робіт у вітчизняних та зарубіжних наукових виданнях.
Деякі публікації вчених відділу нейротехнологій:
1. Резник А.М., Городничий Д.О., Сычев А.С. Регулирование обратной связи в нейронных сетях с проекционным алгоритмом обучения. // Кибернетика и системный анализ. - 1996. - № 6.- С. 153-162.
2. Сычев А.С. Селекция связей в нейронных сетях с псевдоинверсным алгоритмом обучения // Математичні машини і системи. - 1998. - № 2.
3. Reznik A.M "Non-Iterative Learning for Neural Networks" Proceedings International Joint Conference on Neural Networks (Washington DC, July 10-16, 1999, №548).
4. Кириченко Н.Ф., Резник А.М., Щетенюк С.П. Псевдообращение матриц в проблеме проектирования ассоциативной памяти // Кибернетика и системный анализ. - 2001. - №3. - С. 18-27.
5. Куссуль Н.Н., Куссуль М.Э. Нейросетевая реализация метода динамического программирования на основе классификаторов с преобразованием входного пространства // Управляющие системы и машины. - 2001. - № 1. - С. 52-58.
6. Резник А.М., Калина Е.А., Садовая Е.Г., Дехтяренко А.К., Сичов А.С., Галинская А.А. Багатофункціональний нейрокомп'ютер NeuroLand, Математичні машини і системи. - 2003. - № 1. - С. 36-45.
7. Резник А.М., Куссуль М.Э., Сычов А.С., Садовая Е.Г., Калина Е.А. Система автоматизированного проектирования модульных нейронных сетей CAD MNN // Математичні машини і системи. - 2002. - № 3. - С. 3-15.
8. A.M. Reznik, A.S. Sitchov, O.K. Dekhtyarenko, and D.W. Nowicki Associative Memories with "Killed" Neurons: the Methods of Recovery // Proc. of the International Joint Conference on Neural Networks, July 20-24, 2003 (Portland, Oregon).
9. Галинская А.А. Архитектура и обучение модульных классификаторов для прикладных задач // Математические машины и системы. - 2003. - № 2. - С. 77-86.
10. Reznik A.M., Galinskaya A.A, Dekhtyarenko O.K., Nowicki D.W. Preprocessing of matrix QCM sensors data for the classification by means of neural network, Sensors and Actuators B (2004).
11. Куссуль М.Э., Сычов А.С. Нейросетевой классификатор для систем безопасности автомобиля // Математичні машини і системи. - 2004. - № 2. - С. 15-21.
12. Новицкий Д.В. Геометрические методы в теории нейронной ассоциативной памяти: опыт разработки алгоритма кластеризации сетей // Математические машины и системы. - 2004. - № 4. - С. 29-37.
13. Куссуль М.Э., Галинская А.А. "Разрешенные" и "запрещенные" архитектуры модульных сетей // Математические машины и системы. - 2005. - № 3. - С. 24-35.
14. Nowicki D., Dekhtyarenko O. Averaging on Riemannian manifolds and unsupervised learning using neural associative memory // European Symposium on Artificial Neural Networks (ESANN'05), pp. 181-186, Apr. 2005.
15. Різник О.М. Загальна модель розвитку // Математичні машини і системи. - 2005. - №1. - С. 84-98.
16. Резник А.М. Хопфилдовские ансамбли в латеральных нейроструктурах мозга // Математические машины и системы. - 2006. - № 1. - С. 3-12.
17. Куссуль М.Э., Садовая О.Г., Сычев А.С. // Система распознавания пешехода с помощью одной видеокамеры // Математические машины и системы. - 2006. - № 3. - С.36-43.
18. Резник А.М. О природе интеллекта // Математические машины и системы. - 2008. - № 1. - С. 23 -45.
19. Різник О.М., Дзюба Д.О., Чернодуб А.М. «Біокон» - система біометричної ідентифікації користувачів комп'ютерної мережі // Сборник докладов научно-практической конференции «Системы поддержки принятия решений. Теория и практика», 8 июня 2009 г., С. 189-192.
20. A.М. Reznik, D.A. Dziuba. Dynamic Associative Memory Based on Open Recurrent Neural Network // Proceeding of IJCNN'09, Atlanta, Georgia, USA, June 14-19, 2009.
21. Nowicki D., Siegelmann H. (2009). The Secret Life of Kernels: Reconsolidation in Flexible memories // Frontiers in Systems Neuroscience. Conference Abstract: Computational and systems neuroscience, doi: 10.3389/conf.neuro, 06.2009.03.271.
22. Куссуль М.Э., Сычев А.С., Садовая Е.Г., Антоненко А.О. СППР бизнес-аналитика // Математичні машини і системи. - 2010. - № 3. - С. 96-103.
23. Резник А.М., Дзюба Д.А. Динамические хопфилдовские ансамбли слоя нейронов коры мозга // XIV Всерос. н.-техн. конф. «НЕЙРОИНФОРМАТИКА-2012»: сб. н.тр. Ч.1. М.: НИЯУ МИФИ, 2012. - С. 37-44.
24. Дзюба Д.А., Чернодуб А.Н. Метод контролируемого возмущения для модификации нейроконтроллеров в реальном времени // Математичні машини і системи. - 2011. - № 1. - С. 20-28.
