амильтоновы нейронные сети: распознавание образов без диссипации
В задаче навигации на решётке окружение состоит из клеток, а агент может двигаться из данной клетки в одну из соседних с ней, Рис. 5а.
Возможными действиями являются вверх, вниз, влево и вправо. Если в выбранном направлении нет клетки или она блокирована (заштрихованные клетки на Рис.
5), то агент остаётся на прежнем месте. Движение начинается из клетки, отмеченной "S", агент получает наказание (отрицательное поощрение) г = 1 после каждого действия, пока он не достигнет своей цели клетки "G".
Когда цель достигнута, агент получает поощрение г = Іи мгновенно отправляется снова на стартовую клетку. Таким образом, задача агента найти кратчайший путь из "S" в "G" с тем, чтобы минимизировать наказание. Количество состояний s в этой задаче равно числу пустых клеток минус 1 ("G"), и в каждом состоянии возможны 4 действия.
События, происходящие в течение одного путешествия от "S" до "G" образуют эпизод. Продолжительность текущего эпизода Т можно рассматривать как меру качества текущей политики. Мы будем характеризовать текущую е-жадную политику усреднённым отношением минимально возможной продолжительности Тшк Т: q = (Tm-,„/T), осреднение делалось по 100 различным прогонам для одного и того же е. При выборе действий мы присваивали им номера, и, как оказалось, иногда результаты зависели от порядка нумерации.
Поэтому на графиках результаты будут приведены для всех 24 возможных способов перенумеровать 4 действия.
Если в этой задаче окружение остаётся неизменным, специальных способов освоения действий не требуется, оба метода, sarsa и Q-learning с жадной политикой находят оптимальную или почти оптимальную политику. Дополнительное освоение может лишь ис-
Рис. 6: Результаты для тестовой задачи на Рис.
5. Разные кривые на графике соответствуют разным нумерациям действий. Риски отмечаю оценку погрешности после усреднения по 1000 запусков.
Самая левая точка, отделённая вертикальным пунктиром, соответствует е = 0. (а) Для стационарного окружения освоение только портит эффективность: чем больше е, тем меньше q. (b) После изменения окружения освоение может повысить эффективность: существует оптимальный уровень шума, для которого эффективность наибольшая. (с) Нехаотическое освоение, ждя выбора действий используется траектория логистического отображения при а^, регулярность ведёт к сильной зависимости результата от нумерации действий, (d) Хаотическое освоение, каждая 8-я точка для нейрона с надёжным (robust) хаосом. Результаты практически те же, что и для случайного освоения.
Следовательно, хаос можно использовать, чтобы учиться новым действиям.
портить результаты, Рис. ба, поэтому мы использовали нестационарное окружение [76]. После 2010 шага, окружение меняется: самая верхняя из блокированных клеток на Рис.
5Ь открывается, Рис. 5с, и в новом окружениии кратчайший путь требует уже только 5 шагов вместо 15.
Без специального освоения приспособиться к новому окружению невозможно. Теперь уже существует оптимальная степень освоения, графики на Рис.
6Ь имеют чёткий максимум.
Освоение требует случайности в алгоритме, то есть обучающаяся система должна иметь источник случайного сигнала. И здесь мы подходим к вопросу о естественном, месте динамического хаоса в процессе обучения. Хаос может служить источником псевдослучайных решений при использовании политики с освоением действий. Для проверки этой гипотезы мы повторили предшествующий эксперимент со случайной, регулярной и хаотической политиками.
При выборе действий е-ж ад ной политики мы использовали последовательность псевдослучайных чисел, а также числа, порождённые нехаотической и хаотической динамическими системами, Рис. 6с,d.
Для хаотической последовательности, где не наблюдаются существенные корреляции (используется каждое к-е число или данные от к независимых систем) результаты практически такие же, как и для случайных данных.
Среди хаотических систем наилучшие результаты были получены для нейрона с " надёжным хаосом" (robust chaos), т.е. отображения ж4+1 = |tanhs(xt с)| [11, 75]. Следовательной, нейронные сети могут как использоваться для реализации методов обучения с поощрением, так и служить источником инициативы для освоения действий.
Гамильтоновы нейронные сети: распознавание образов без диссипации
В последние годы активно развиваются методы квантовых вычислений и квантовой обработки информации, см., например, обзоры [56, 68, 98, 94]. Возможно, что мозг также использует в своей работе квантовые механизмы [71]. В настоящее время трудно сказать, какие именно квантовые устройства появятся в будущем. Однако одно остаётся бесспорным, квантовые компьютеры были и будут гамильтоновыми системами.
Важность соответствий между квантовыми и классическими системами была осознана еще в первые годы развития квантовой механики. Хотя построение подобных соответствий часто сталкивается с большими трудностями, борьба за лучшее понимание таких соответствий будет оставаться необходимой.
В этой связи необходимо отметить, что ни одна из описанных выше нейронных сетей не может иметь квантовых аналогов по той простой причине, что они не являются гамильтоновыми системами. Это заставило нас обратиться к гамильтоновым нейронным сетям.
Гамильтоновы нейросети (ГНС) могут быть линейными или нелинейными, хаотическими или регулярными, автономными или неавтономными. Возможностей много.
Простейшая это линейная автономная гамильтонова система. Надо заметить, что эта система будет консервативной, в отличие от всех ранее рассмотренных нейронных сетей, которые являются диссипативными.
В традиционных нейронных сетях диссипация играет очень важную роль. Она служит фильтром для удаления ненужной (шумовой) информации из входных данных при решении задачи распознавания образов. Само существование ат-
Рис. 7: Общая схема гамильтоновой нейросети. Вход сети х используется как начальные данные для линейной гамильтоновой системы. Последняя раскладывает их по нормальным модам Zk.
Моды возбуждают осцилляторы Osc с частотами ад., равными частотам мод. Благодаря резонансу, амплитуда осциллятора растёт пропорционально амплитуде соответствующей моды.
Пороговый детектор Thr определяет, для какого осциллятора амплитуда первой превысила порого, и формирует сигнал распознавания. Обучение системы заключается в формировании матрицы W.
тракторов также основано на диссипации. Следовательно, для распознавания образов при помощи ГНС необходимы методики, отличные от традиционных.
В данном разделе мы хотим изложить некоторые идеи, которые могли бы быть использованы при построении гамильтоновых нейронных сетей. Мы приведём описание метода проекций на подпространство и конкурентную архитектуру.
Совместное их использование позволяет построить гамильтонову нейросеть, способную распознавать образы.
Линейную гамильтонову динамическую систему можно записать в виде z = (U -\-%W)z, где U антисимметричная, a W симметричная действительные матрицы. Здесь z = х + ір N-мерный комплексный вектор.
Положим для простоты U = 0. Тогда эта система эквивалентна N осцилляторам с частотами ад, собственными значениями W. Каждой колебвтельной моде отвечает собственные вектор ед, матрицы W. Эти моды называют нормальными. Когда мы вводим начальные данные, они раскладываются по этому набору мод, z(t) = Ylk(z07 причём амплитуда каждой моды пропорциональна проекции
входного образа на ед,.
Если бы мы могли построить матрицу W таким образом, что ед, были бы запомненными образами, то амплитуды мод отвечали бы степени близости входных данных к каждому из запомненных образов. Следовательно, мода с наибольшей амплитудой (наиболее близкая) может рассматриваться как распознанный образ.
Отбор мод может быть выполнен с использованием эффекта резонанса для осцилляторов с возбуждением. Возьмём N осцилляторов с частотами ад., равными частотам нормальных мод, и будем возбуждать их сигналом от гамильтоновой системы. Поскольку все осцилляторы находятся в резонансе, их амплитуда будет расти, и наибольшая скорость роста будет у осциллятора, соответствующего наиболее возбуждённой моде. Следовательно, необходимо определить, для какого осциллятора амплитуда первой преодолеет некоторый порог.
Это событие отмечает нужный осциллятор и потому способно порождать сигнал распознавания. Заметим, что удобным видом осциллятора могла бы быть система, у которой потенциал имеет две ямы.
Начальные данные для осциллятора соответствуют дну одной из ям, а её присутствие во второй яме генерирует сигнал распознавания (Рис.
д
Единственная проблема это найти способ записать набор вообще говоря неортогональных образов в ортогональные нормальные моды не искажая их формы. Эту проблему можно решить при помощи скрытых размерностей.
Предположим, что векторы ..., ? і?"'1, представляющие образы, которые необ
ходимо запомнить, не ортогональны, а только линейно независимы. Мы хотим сделать их ортогональными не меняя самих образов. Покажем, как этого можно добиться добавляя L М новых размерностей.
Новые компоненты расширенных векторов будем обозначать Vk- Удобно рассматривать их как элементы пространства RL. Задача состоит в том, чтобы создать ортогональные векторы = {Э-- ''?- } ? Я. п = пі + L. Компоненты должны удовлетворять соотношению
(15)
Здесь (- ) и (- )? скалярные произведения соответственно в подпространствах ? и ?. Покажем, что для достаточно больших А),, решение задачи существует.
Удобно рассмотривать векторы как столбцы матрицы V размером L X М. Пусть матрица имеет вид
/ d ?12 тіз ?ы ?\М \
d ?23 24 2 М
d п34
d
М-1,М
d
\
Тогда условия (15) при к = 1 будут иметь вид
(Іі - Cj) + d ¦ vij
откуда
vij = ~ Hi ¦ 6) M І........2.....M.
Ai = |2 + d2. Таким образом, мы построили первый столбец и первую строку V и нашли
вектор = {^і,і}, ортогональный ко всем другим независимо от выбора других компонент ?ц.. Затем делаем остальные векторы ортогональными к (2¦
(?2 - ij) + і2іі + d - v2j = A2S2j,
(6 - ??- ) + V12V13
d '
¦M;
v2j
M = 1^2 |2 + 12 + (P. После повторения этой процедуры М 1 раз мы получим все компоненты ?к- Это доказывает ортогональность расширенных векторов
Тестовые расчёты подтвердили работоспособность этой схемы распознавания, а также то, что она позволяет запомнить вплоть до N линейно независимых образов и правильно распознать их. Полученный метод распознавания можно рассматривать как способ реализации метода подпространственной классификации образов [59].
Заключение. Выводы и перспективы
Мы описали некоторые динамические нейронные сети, производящие обработку информации. У них есть входной сигнал X и выходной Y = (р*(Х), где (р решение дифференциальных или разностных уравнений динамики сети.
За исключением задачи моделирования временных рядов [45], обычно интересуются инвариантными множествами (р, аттракторами. Один и тот же результат можно получать разными способами, но обычно ищут наиболее эффективный, хотя эффективность часто относительна и зависит от доступного инструментария. Тем не менее, схема начальные данные аттрактор (или параметры аттрактор) не универсальна, так как данные могут поступать постепенно.
Английская пословица гласит, "if it quacks like a duck (временная эволюция), walks like a duck (временная эволюция), and has web feet (инвариантное свойство), then it is the duck". Иногда подобные задачи можно решать, преобразуя их в обычные, записывая временные процессы, которые затем можно представить как векторы большой размерности.
Однако в настоящее время их обычно решают методами искусственного интеллекта, а не с помощью нейронных сетей. Можно задать вопрос, как можно было бы расширить область применимости нейронных сетей и сделать динамический хаос полезным для их работы?
Мы рассмотрели ряд успешных применений и интересных подходов в области возможных будущих применений динамического хаоса в нейронных сетях в разделе 4. Однако они не расширяют области применимости существующих нейронных сетей. Если от сети требуется вполне определённый ответ (не зависящая от времени величина У), какова может быть роль хаоса, дающего непредсказуемые результаты?
С точки зрения определённого конечного результата, изолированная хаотичекая сеть не слишком полезна, за исключением случаев, когда надо избавиться от сходимости к ложным аттраторам.
Однако если нейронная сеть это часть глобальной системы, польза может оказаться существенной. Назовём нейронную сеть "встроенной сетью", если она образует управляющую часть сложной автономной системы. Встроенная нейронная сеть должна решать новый тип задач, нехарактерный для изолированных сетей: она должна учиться, взаимодействуя с окру ж ающим " миром".
Примером может служить обучение поощрением, рассмотренное в разделе 6. В таких задачах иногда неважно, является ли выходной сигнал сети предсказуемым или нет. Зачастую автономный агент не имеет хорошо поставленной задачи; у него есть только некоторые критерии успеха. Как мы показали в этой статье, в интерактивном обучении у хаоса есть минимум одна ниша.
Может быть, есть и другие.
Можно сделать вывод, что встроенные нейронные сети это новый интересный объект исследований с точки зрения нелинейной динамики. Единственная проблема заключается в том, что для изучения встроенной сети необходима управляемая система.
В современной хаотической динамике многие ключевые концепции были сформулированы при помощи простейших хаотических систем, таких как логистическое отображение, системы Хенона и Лоренца. Мы надеемся, что в будущем появятся и " стандартные" системы и задачи управления для исследования встроенных сетей. Вероятнее всего, такие задачи будут связаны с робототехникой и направлением, получившем название "Artificial Life" искусственная жизнь (см., например, обзорную книгу [73]).
Небольшие автономные роботы или "твари", управляемые простыми нейронными сетями, строятся уже в течение ряда лет. Как правило, создававшиеся искусственные автономные создания были лишены способности обучаться.
Необходимая конфигурация нейронной сети возникает в результате использования генетических или эволюционных алгоритмов. Поведение таких созданий иногда выглядит хаотическим, однако, насколько нам известно, детально оно не исследовалось.
Теперь возникает задача построения искусственных созданий, которые могли бы как эволюционировать, так и обучаться. И вполне вероятно, что динамический хаос будет типичным состоянием для управляющих ими нейронных сетей [13], или же такие сети будут располагать хаотическими подсистемами.
По-видимому, встроенные нейронные сети и искусственная жизнь это естественная ниша для нелинейной динамики и хаоса.
Динамические системы описывают огромную область природных явлений, в то время как нейронные сети покрывают лишь их небольшую часть. Есть микроскописечкие, мезоскопические, макроскопические системы. Концепция обработки информации в нейронных сетях несомненно будет расширять область своей применимости в сравнении с сегодняшним состоянием.
Ближайшей перспективой представляется её расширение на область квантовых вычислений, основанных на гамильтоновых нейросетях. В настоящей работе мы привели простейший пример классической гамильтоновой нейронной сети.
Сейчас о подобных сетях известно очень немного. Как нам кажется, следует ожидать расширения работ в этом направлении.
Работа выполнена в Летбриджском университете (University of Lethbridge, Canada). Она поддержана грантом М.К.А. от Defence Research Establishment Suffield, контракт No.
W7702-8-R745/001/EDM. Использовались вычислительные мощности, предоставленные Multimedia Advanced Computational Infrastructure (MACI).
Nonlinear dynamics of information processing in neural networks A.B. Potapov and M.K. Ali
We consider a number of possible roles of complex dynamics and chaos in information processing by neural networks. First, we review the principles of operation for some well-known neural networks, and then discuss a approaches to using chaos in neural networks.
Our main goal is to present a novel view of the problem of chaos in information processing. We demonstrate that chaos emerges naturally when a neural network forms a controlling part of a more complex system. We show that such neural networks can enhance efficiency by using chaos for explorations in a method known as Reinforcement Learning.
A discussion on Hamiltonian neural networks is also presented.
Литература
[1] Adachi М., Aihara К. Associative dynamics in a chaotic neural network. Neural Networks, 10 (1997) 83-98.
[2] Aihara K., Takabe T., Toyoda M., "Chaotic neural networks", Phys. Lett.
A 144, 333-340 (1990).
[3] Albers D.J., Sprott J.C., Dechert W.D., "Routes to chaos in neural networks with random weight", Int. J. Bifurc.
Chaos 8, 1463-1478 (1998).
[4] Andreyev Yu.V., Dmitriev A.S., Chua L.O., Wu C.W., "Associative and random access memory using one-dimensional maps", Int. J. Bifurc.
Chaos 2, 483-504 (1992).
[5] Andreyev Yu.V., Dmitriev A.S., Starkov S.O., "Information processing in 1-D systems with chaos", IEEE Trans, on Circuits and Systems 44, 21-28 (1997).
[6] Aradi I., Barna G., Erdi P., Grobler T. Chaos and learning in the olfactory bulb. Int.
J. Intelligent Systems 10 (1995) 89-117.
[7] Arbib M.A. Brains, machines, and mathematics. New York : Springer-Verlag, 1987, xvi+202 p.
[8] Babloyantz A., Destexhe A., Low-dimensional chaos in an instance of epilepsy. Proc. Natl. Acad.
Sci. USA, 83, 3513 (1986).
[9] Baird B., Nonlinear dynamics of pattern formation and pattern recognition in the rabbit olfactory bulb. Physica D, 22, 150 (1986).
[10] Baird B., Eeckman F. A normal form projection algorithm for associative memory, in:
[43], p.135-166.
[11] Banerjee S., Yorke J.A., Grebogi C., "Robust chaos", Phys. Rev.
Lett 80, 3049-3052 (1998).
[12] Barto A.G., Sutton R.S., Anderson C.W., "Neuronlike adaptive elements that can solve difficult control problems" IEEE Trans, on Systems, Man, and Cybernetics SMC-13, 834-846 (1983).
[13] Barton S.A., "Two-dimensional movement controlled by a chaotic neural network", Automatica 31, 1149-1155 (1995).
[14] Bellman R., Dynamic Programming (Princeton University Press, Princeton, 1957).
[15] Bertsekas D.P., Tsitsiklis J.N., Neuro-Dynamic Programming (Athena Scientific, Belmont, 1995).
[16] Bishop C.M. Neural networks for pattern recognition.
Oxford: Clarendon Press, 1995, xvii+482pp.
[17] Carpenter G.A. Neural network models for pattern recognition and associative memory.
Neural Networks 2 (1989) 243-257; опубликовано также в [18], 2-33.
[18] Carpenter G.A., Grossberg S. (eds.) Pattern recognition by self-organizing neural networks. MIT Press: Cambridge, MA, 1991, 691p.
[19] Carpenter G.A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine. Computer Visions, Graphics and Image Processing, 37 (1987) 54-115; also [18], 316-382.
[20] Carpenter G.A., Grossberg S. ART2: self-organization of stable category recognition codes for analog input patterns. Applied Optics, 26 (1987) 4919-4930; опубликовано также в [18], 398-423.
[21] Carpenter G.A., Grossberg S. ART3: hierarchical search using chemical transmitters in self-organizing pattern recognition architectures. Neural Networks 3 (1990) 129-152; опубликовано также в [18], 453-499.
[22] Carpenter G.A., Grossberg S., Reynolds J. ARTMAP: supervised real-time learning and classification of nonstationary data by a self-organizing neural network. Neural Networks 4 (1991) 565-588; опубликовано также в [18], 503-544.
[23] Chang-song Z., Tian-lin C., Wu-qun H. Chaotic neural network with nonlinear selffeedback and its application in optimization. Neurocomputing, 14 (1997) 209-222.
[24] Chen L., Aihara K., "Chaotic simulated annealing by a neural network model with transient chaos", Neural Networks, Vol. 8, pp. 915-930, 1995
[25] Cherkassky V., Mulier P. Learning from data. Concepts, theory and methods. NY etc:
Wiley, 1998.
[26] Dmitriev A.S., Kurninov D.A. Chaotic scanning and recognition of images in neuronlike systems with learning.
J. of Communications Technology and Electronics, 39 (1994) 118-127.
[27] Dornany E., van Hernrnel J.L., Schulten K. (eds.) Models of neural networks I. Berlin: Springer, 1995.
[28] Eckmann J.-P., Ruelle D., "Ergodic theory of chaos and strange attractors" Rev. Mod.
Phys. 57, 617-656 (1985).
[29] Parmer D.J. A rosetta stone for connectionism.
Physica D, 42 (1990) 153-187.
[30] Freeman W.J. Qualitative overview of population neurodynarnics. in: Neural Modeling and Neural Networks (Pergarnon Studies in Neuroscience, No 11) P. Ventriglia, ed., Pergarnon,
1993, 185-215.
[31] Freeman W.J. Role of chaotic dynamics in neural plasticity, in: J. van Pelt, M.A. Corner, H.B.M.
Uylings, P.H. Lopes da Silva (eds.) Progress in Brain Research, 102, Springer,
1994.
[32] Freeman W.J. Simulation of Chaotic EEG patterns with a dynamic model of the olfactory system.
Biol. Cybern., 56 (1987) 139-150.
[33] Freeman W.J., "The physiology of perception" Scientific American 264/2, 78-85 (1991).
[34] Freeman W.J. Tutorial on neurobiology: from single neurons to brain chaos. Int.
J. Bifurc. Chaos, 2 (1992) 451-482.
[35] Freeman W. J., Yao Y., Burke B., Central pattern generating and recognizing in olfactory bulb: a correlation learning rule. Neural Networks, 1, 277 (1988).
[361 Gadaleta S., Dangelmayr G., "Optimal chaos control through reinforcement learning." Chaos 9, 775-788 (1999).
[37] Gardner E. The space of interactions in neural network models. J.Phys.
A, 21 (1988) 257-270.
[38] Glanz J., Sharpening the senses with neural "noise". Science 277, 1758 (1997).
[39] Grossberg S. Nonlinear neural networks: principles, mechanisms, and architectures. Neural Networks 1 (1988) 17-61; also [18], 36-109.
[40] Guckenheirner J., Holmes P., Nonlinear Oscillations. Dynamical Systems and Bifurcations of Vector Fields (Springer, NY, 1983).
[41] Guevara M.R., Glass L., Mackey M.C., Shrier A., "Chaos in neurobiology" IEEE Trans, on Systems. Man and Cybernetics SMC-13, 790-798 (1983).
[42] Haken H. Information and self-organization. Berlin:Springer-verlag, 1988.
[43] Hassoun M.H., ed. Associative Neural Memories, NY, Oxford: OUP, 1993, 350p.
[44] Hayakawa Y., Marurnoto A., Sawada Y., "Effects of the chaotic noise on the performance of a neural network model for optimization problems", Phys. Rev.
E. 51(4), R2693-R2696 (1995).
[45] Haykin S. Neural networks: a comprehensive foundation. Macmillan: N.Y. etc., 1994.
[46] Hecht-Nielsen R. Neurocomputing. Reading, MA etc.: Addison-Wesley, 1990, xiii+433pp.
[47] Hecht-Nielsen R. Counterpropagation networks. Applied optics, 26 (1987) 4979-4984; опубликовано также в [18], 264-276.
[48] Ho C.Y., Kurokawa Н., A learning algorithm for oscillatory cellular neural networks. Neural Networks 12 (1999) 825-836.
[49] Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. Proc.
Natl. Acad. SO.
USA, 79 (1982) 2554-2558.
[50] Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons. Proc.
Natl. Acad. SO.
USA, 81 (1984) 3088-3092.
[51] Hopfield J.J., Tank D.W. "Neural" computation of decisions in optimization problems. Biol.
Cybern., 52 (1985) 141-152.
[52] Hoppensteadt P.C., Izhikevich E.M., Oscillatory neurocomputers with dynamic connectivity. Phys. Rev. Lett.
82 (1999) 2983-2986.
[53] Hoppensteadt P. C.. Izhkevich E. M., Weakly Connected Neural Networks (Springer-Verlage, New York, 1997).
[54] Ishii S., Pukurnizu K., Watanabe S. A network of chaotic elements for information processing. Neural Networks, 9 (1996) 25-40.
[55] Izhikevich E.M., Malinetskii G.G. A possible role of chaos in neurosystems. Sov.
Phys.-Dokl. (USA), 37 (1992) 492-495.
[56] Jibu M., Yassue K., in: Rethinking Neural Networks, ed. К. H. Pribram, Lawrence Erlbaurn Associates, Inc., Publishers , Hillsdale New Jersey, USA (1993)
[57] Kaebling L.P., Littman M.L., Moore A.W., "Reinforcement learning: A survey" J. Artificial Intelligence Research 4, 237-285 (1996).
[58] Kosko B. Neural networks and fuzzy systems. Englewood Cliffs: Prentice Hall, 1992, xxvii+449pp.
[59] Kohonen T. Self-organizing maps. Berlin:Springer, 1997, 448p.
[60] Kohonen T. The "neural" phonetic typewriter. Computer 21 (1988) 11-22; опубликовано также в [18], 239-259.
[61] Kiirten K.E., Clark J.W., "Chaos in neural systems", Phys. Lett.
A 114, 413-418 (1986).
[62] Kwok T., Smith K.A., A unified framework for chaotic neural -network approach to combinatorial optimization", IEEE Trans. Neural Networks 10 (1999) 978-981 (and references therein).
[63] McCulloch W.S., Pitts W., A logical calculus of the ideas immanent in nervous activity. Bull.
Math. Biophys.
5 (1943) 115-133.
[64] Michie D., Chambers R.A., "Boxes: an experiment in adaptive control" in: E. Dale, D. Michie, eds. Machine Learning 2 (American Elsevier, N.Y., 1968), p.137-152.
[65] Miller W.T., Sutton R.S., Werbos P.J., eds. Neural Networks for Control (MIT Press, Cambridge, London, 1990).
[66] Morita M. Associative memory with nonmonotone dynamics. Neural Networks, 6 (1993) 115-126.
[67] Nakagawa M., A chaos associative model with a sinusoidal activation function. Chaos.
Solitons and Fractals 10 (1999) 1437-1452.
[68] Nielsen M.A., Chuang I.L., Quantum Computing and Quantum Information. (Cambridge University Press 2000).
[69] Nishii J., A learning model for oscillatory networks. Neural Networks 11 (1998) 249-257.
[70] Pasernann F., "A simple chaotic neuron", Physica D 104, 205-211 (1997).
[71] Penrose R. Shadows of the mind. Vintage, 1995.
[72] Personnaz L., Guyon I., Dreyfus G., J. de Physique Lettres 46 (1985) L359-L365.
[73] Pfeifer R., Scheier C., Understanding Intelligence (The MIT Press, Cambridge MA, 1999).
[74] Pineda F.J. Generalization of backpropagation to recurrent neural networks.
Phys. Rev.
Lett., 59 (1987) 2229-2232.
[75] Potapov A., Ali M.K., "Robust chaos in neural networks", Phys. Lett.
A 277 (2000) 310-322.
[76] Potapov A.B., Ali M.K., Learning, Exploration and Chaotic Policies. Int.
J. Modern Physics (711 (2000) 1455-1464.
[77] Potapov A.B., Ali M.K., Chaotic neural control. Phys.
Rev. E 63 (2001), April.
[78] Pribram K.H.. Brain and perception.
Hillsdale: Lawrence Erlbaurn Associates, 1991, xxix+388p.
[79] Rurnelhart D.E., McClelland J.L., eds., Parallel Distributed Processing: Explorations in the Microstructure of Cognition (vol. 1, 2).
The MIT Press, 1986.
[80] Ryan T.W., Winter C.L. Variations on adaptive resonance.
IEEE First International Conference on Neural Networks, M. Caudill and C. Butler, eds., San Diego: IEEE, 1987, 767-775; опубликовано также в [18], 385-396.
[81] Sarle, W.S., ed. Neural Network FAQ.
URL: ftp: //ftp. sas. com/pub/neural/FAQ .html.
[82] Sharkey A.J.C., ed. Combining artificial neural nets.
Ensemble and modular multi-net systems. NY:Springer, 1999, 304p.
[83] Sutton R.S., Barto A.G. Reinforcement learning.
Cambridge and London: A Bradford Book and MIT Press, 1998, xviii+322pp. Многие материалы книги доступны в Интернете, http: //envy.cs.urnass.edu/~rich/book/the-book.htrnl.
[84] Sutton R.S., Barto A.G., "Toward a modern theory of adaptive networks: expectation and prediction" Psychological review 88, 135-170 (1981).
[85] Skarda C. A., Freeman W. J., How brains make chaos in order to make sense of the world. Behav.
Brain Sci., 10, 161 (1987).
[86] Tan Z., АН M.K., Pattern recognition in a neural network with chaos. Phys.
Rev. E, 58, 3649 (1998).
[87] Tan Z., Ali M.K., Associative memory using synchronization in a chaotic neural network. Int.
J. Modern Physics C 12 (2001).
[88] Tan Z., Ali M.K., Pattern recognition with stochastic resonance in a generic neural network. Int.
J. Modern Physics (712 (2001).
[89] Tan Z., Hepburn B.S., Tucker C.. Ali M.K. Pattern recognition using chaotic neural networks.
Discrete Dynamics in Nature and Society, 2 (1998) 243-247.
[90] Tesauro G., Practical issues in temporal difference learning. Machine Learning 8 (1992) 257-277
[91] Thrun S.B., "The role of exploration in learning control", in: D.A. White, D.A. Sofge, eds., Handbook of Intelligent Control. Neural.
Fuzzy, and Adaptive Approaches (Van Nostrand Reinhold, NY, 1992).
[92] Touzet C., "Neural reinforcement learning for behaviour synthesis." Robotics and Autonomous Systems 22, 251-281 (1987).
[93] Tsuda I., Dynamic link of memory chaotic memory map in nonequilibriurn neural networks. Neural Networks, 5, 313 (1992).
[94] Ventura D., Martinez T., Quantum Associative Memory, xxx.lanl.gov, quant-ph/9807053 (1998).
[95] Wang X.-J., Rinzel J., Handbook of Brain and Neural Networks, ed. M. Arbib, (MIT Press, Cambridge, 1995).
[96] Weigend A.S., Gershenfeld N.A., eds., Time series prediction: forecasting the future and understanding the past. Addison-Wesley, 1994.
[97] White D.A., Sofge D.A., eds. Handbook of Intelligent Control. Neural, Fuzzy and Adaptive
Approaches (Van Nostrand Reinhold, N.Y., 1992).
[98] Williams C.P., Clearwater S.H., Exploration in Quantum Computing. (Springer-Verlag, New York 1998).
[99] Yao Y., Freeman W.J. Model of biological pattern recognition with spatially chaotic dynamics.
Neural Networks, 3 (1990) 153-170.
[100] Yao Y., Freeman W.J., Burke B., Yang Q., Pattern recognition by a distributed neural network: an industrial application. Neural Networks, 4, 103 (1991).
