Комашинский В.И. - Нейронные сети и их применение в системах управления и связи
Изложены основы теории искусственных нейронных сетей. Показано место нейронных сетей в эволюции интеллектуальных систем управления. Рассмотрены общие вопросы применения искусственных нейронных сетей в системах управления и связи.
Отмечены преимущества, которые дает . применение нейроинформациопных технологий при решении многих как нетрадиционных, так и традиционных задач управления и связи.
Предисловие
Ядром нейроинформационных технологий является представление о том, что естественные биологические нейроны можно моделировать довольно простыми искусственными автоматами, а вся сложность мозга, его гибкость в обработке различного рода информации и другие его важнейшие качества, определяются связями между нейронами. Каждая связь представляется как совсем простой элемент, служащий для обмена сигналами.
Предельным выражением этой точки зрения является лозунг: Структура связей - все, свойства элементов - ничто.
Совокупность идей, определяющая описанное представление о мозге носит название коннекционизма (по-английски connection - связь). Кон-некционизм оперирует рядом несложных идей, включающих понятия однородности системы (элементы одинаковы и чрезвычайно просты, все определяется структурой связей), надежности системы из ненадежных элементов, голографичности системы - при разрушении случайно выбранной части система сохраняет свои полезные свойства.
Для описания устройств и алгоритмов функционирования искусственных нейронных систем разработана специальная системотехника (сумматоры, синапсы, нейроны, дендриты), предусматривающая объединение простейших устройств в функционально ориентированные сети, предназначенные для решения конкретных задач.
С середины 1980-х гг. непрерывно растет интерес к созданию специализированных устройств, получивших название нейрокомпьютеров.
Существует большое разнообразие нейрокомпьютеров - от специализированных интегральных схем, в которые вводится заранее определенная структура нейронной сети, до универсальных программируемых сопроцессоров к вычислительным машинам, на которых можно реализовать модель любой нейронной сети. Существует также и целый ряд промежуточных типов нейрокомпьютеров с той или иной степенью специализации. Особенностью нейрокомпьютеров является возможность сформировать стандартный способ решения многих нестандартных задач.
Вместо программирования в нейрокомпьютерах применяются различные процедуры обучения. При этом труд программиста заменяется трудом - учителя (в некоторых случаях в качестве учителя может выступать имитационная или аналитическая модель).
Анализ зарубежных разработок нейрокомпьютеров позволил выделить основные перспективные направления современного развития нейроинформационных технологий: нейросетевые экспертные системы, СУБД с включением нейросетевых алгоритмов, обработка изображений и сигналов, управление динамическими системами и в том числе сетями связи, управление финансовой деятельностью и др. Сегодня разработками в этой области занимается более 300 зарубежных компаний, причем число их постоянно увеличивается. Среди них такие гиганты, как Intel, DEC, IBM и Motorolla.
Вместе с тем главным в развитии нейроинформацион-ных технологий является интеллектуализация вычислительных систем, придание им свойств человеческого мышления и восприятия. Многие отечественные и зарубежные специалисты предполагают, что нейрокомпьютеры станут основной платформой для развития вычислительной техники 21 века. В этой связи необходимо констатировать, что в Японии с 1993 года принята программа Real world computing program.
Ее основная цель - создание адаптивной, эволюционирующей ЭВМ. Проект рассчитан на 10 лет.
Основой разработки является нейротехнология, используемая для распознавания образов, обработки семантической информации, управления информационными потоками и роботами, которые способны адаптироваться к окружающей обстановке.
Монография является второй большой работой авторов, посвященной нейроинформатике. В отличие, от носившей обобщающий характер первой, данная работа подробно рассматривает проблемы, связанные с применением искусственных нейронных сетей в системах управления и связи.
Введение
Теория нейронных сетей (НС) является активно развивающимся направлением науки. Основные перспективы использования этой теории связаны с решением сложных практических задач.
Нейронные сети - один из основных архитектурных принципов построения ЭВМ шестого поколения.
Интерес к нейронным сетям как к моделям биологической обработки информации не угасает более 30 лет. Начало современным моделям НС было положено в работе У. Маккаллока и У. Питтса [26]. Эти авторы сделали первую попытку эмулировать человеческие способности, классифицировать и распознавать образы. Дальнейшее развитие связано с работой Ф. Розенблатта [29].
Его модель была названа перцептроном. После некоторого затишья, с начала 1980-х годов начался и продолжается до настоящего времени новый виток развития моделей НС.
Он связан с работами С. Гроссберга, Т. Кохонена, Д. Хопфилда и др. [63, 77, 78, 82], а также влиянием успехов развития оптических технологий и СБИС [7, 10, 12, 19, 22, 32], способных обеспечить реализацию новых архитектур.
Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам. В настоящее время существует большое количество разнообразных типов НС, предназначенных для решения различных задач.
Эти модели отличаются структурой связей, правилами определения весов или правилами обучения, программирования.
Зачем использовать НС вместо старых методов? Всегда ли нейросете-вые методы эффективнее (быстрее, точнее, экономичнее ...) старых методов?
В чем же истинные преимущества применения НС в системах управления и связи, и существуют ли они? Данная книга - попытка ответить на эти и другие вопросы.
Основу книги составляют результаты анализа авторами большого количества отечественной и зарубежной литературы. Основное внимание уделено анализу применения нейроинформационных технологий в инфо-тслекоммуникационных системах.
Высокая эффективность нейроинформационных технологий при решении задач адаптивного управления динамичными системами может уже в ближайшее время сделать их незаменимыми при создании новых поколений сетей мобильной связи и других беспроводных сетей.
Ряд результатов представляют собой предмет исследования авторов и публикуются впервые.
Книга предназначена для преподавателей, научных работников и инженеров, интересующихся развитием прикладных вычислительных систем на базе нейрокомпьютеров.
Для более детального изучения теории нейронных сетей и применения нейроинформационных технологий авторы рекомендуют ознакомиться с литературой [32, 41,70, 93].
Глава 1. Основы теории искусственных нейронных сетей
1.1. Нейронные сети: общие положения
Актуальность исследований искусственных нейронных сетей подтверждается многообразием их возможных применений. Теория НС является алгоритмическим базисом развития нейрокомпьютеров, подобно тому, как булева алгебра более 50 лет являлась алгоритмическим базисом однопроцессорных и многопроцессорных ЭВМ.
Современные цифровые вычислительные машины превосходят человека по способности производить числовые и символьные вычисления. Однако человек может без усилий решать сложные задачи восприятия внешних данных (например, узнавать в толпе знакомого только по его промелькнувшему лицу) с такой скоростью и точностью, что самый мощный в мире компьютер по сравнению с ним окажется безнадежным тугодумом.
Причина столь значительного различия в их производительности заключена в том, что архитектура биологической нейронной системы совершенно не похожа на архитектуру машины фон Неймана (табл. 1.1) [14], а это существенно влияет на типы функций, которые более эффективно исполняются каждой из моделей.
Машина фон Неймана по сравнению с биологической нейронной системой
| Таблица 1.1 | ||||||||||||||||||||||||||
|
| Параметры сравнения |
Машина фон Неймана | Биологическая нейронная система |
| 1 | 2 | |
| Вычисления | Централизованные | Распределенные |
| Последовательные | Параллельные | |
| Хранимые программы | Самообучение | |
| Специали зация |
Численные и символьные операции | Проблемы восприятия |
| Среда функцини-ро вания | Строго определенная | Плохо определенная |
| Строго ограниченная | Без ограничений |
Нейронная сеть - это сеть с конечным числом слоев из однотипных элементов - аналогов нейронов с различными типами связей между слоями [32]. При этом число нейронов в слоях выбирается исходя из необходимости обеспечения заданного качества решения задачи, а число слоев нейронов - как можно меньшее для сокращения времени решения задачи.
Развитие искусственных нейронных сетей вдохновлялось и вдохновляется биологией. Однако наши знания о работе мозга ограничены, и разработчикам искусственных НС приходится выходить за пределы современных биологических знаний в поисках структур, позволяющих выполнять полезные функции.
Так часто создаются сети невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.
Нервная система человека, построенная из элементов, называемых нейронами, очень сложна. Около 10й нейронов участвуют в примерно 1015 передающих связях.
Уникальными способностями нейронов являются прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.
Несмотря на огромное количество нейронов, их тела занимают всего несколько процентов общего объема мозга. Почти все остальное пространство занято межнейронными связями.
Число связей каждого нейрона не имеет аналогов в современной технике. Понимание того, что межней-
ронные связи относятся к основным структурным компонентам мозга, в первую очередь, определяющим его функциональные характеристики, является одним из наиболее существенных выводов, сделанных нейрофизиологами. В подтверждение можно привести высказывание известного нейрофизиолога Э. Кэндела: По убеждению многих нейробиологов в конце концов будет доказано, что уникальные свойства каждого человека - способность чувствовать, думать, обучаться и помнить - заключены в строго организованных сетях синаптических взаимосвязей между нейронами головного мозга [32].
На рис. 1.1 приведена структура типичного биологического нейрона. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона.
Здесь они суммируются, причем одни входы стремятся возбудить нейрон, а другие воспрепятствовать его возбуждению. В соответствии с этим различают процессы синаптического возбуждения и торможения нейрона.
Рис. 1.1. Биологический нейрон
Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону, который на конце сильно ветвится, сигнал другим нейронам. Нервный импульс обладает способностью распространяться по нервным волокнам без затухания, вплоть до синаптических окончаний со скоростью распространения около 10 м/с.
Синаптическое торможение снижает возбуждение нейрона и тем самым затрудняет переход возбуждения нейрона в нервный импульс.
После генерации импульса наступает так называемый рефрактерный период, во время которого нейрон восстанавливает способность к генерации следующего импульса. Длительность рефрактерного периода менее 1 мс.
Поэтому максимальная частота генерации импульсов нейронов около 1000 с'1.
Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а такхе имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.
Общий вид нейрона, реализующего эти свойства, приведен на рис. 1.2.
Здесь множество входных сигналов обозначены вектором X. Каждый вес w, соответствует силе одной биологической синаптической связи. Множество весов в совокупности обозначается вектором W
Рис. 1.2. Искусственный нейрон
Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически
S = jt,-w,. О-В
1 = 1
Выход нейрона является функцией его состояния:
Y = F(x). (1.2)
Нелинейная функция F называется активационной и может иметь различный вид, что, в частности, показано на рис. 1.3.
В случае, когда функция активации одна и та же для всех нейронов сети, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной).
Рис. 1.3. Типы активационных функций: а - функция единичного скачка; б - линейный порог (гистерезис); в - сигмоид - гиперболический тангенс; г - сигмоид - формула (1.3)
Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида) [32]:
/(*) = 1. (1.3)
J 1 + е-ш
При уменьшении а сигмоид становится более пологим, в пределе при а - 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличении а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0 . Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем,
f'(x)=qf(x)(\-f(x)). (1.4)
Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон. Другой широко используемой активационной функцией является гиперболический тангенс.
В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.
Говоря о возможной классификации НС, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль (заторможенное состояние) и логическая единица (возбужденное состояние). В аналоговых сетях выходные зна-
чения нейронов способны принимать непрерывные значения. Еще одна классификация делит НС на синхронные и асинхронные [13].
В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.
Для программных имитаторов нейронных сетей на цифровых ЭВМ, вопросы связанные с синхронизацией решаются компьютером, на котором реализуются НС.
Рассмотренная простая модель искусственного нейрона существенно упрощает ряд свойств своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал.
И, что более важно, она не учитывает воздействие синхронизирующей функции биологического нейрона, которую ряд исследователей [32] считают решающей. Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему.
Только время и дальнейшие исследования могут дать ответ на вопрос, являются ли подобные совпадения случайными или это следствие того, что в модели верно схвачены основные черты биологического нейрона.
Итак, дано описание основных элементов, из которых составляются нейронные сети. Перейдем теперь к вопросу: как составлять эти сети, как их конструировать? Строгих ограничений здесь нет, как угодно, лишь бы входы получали какие-нибудь сигналы.
Возможности безграничны, но обычно используют несколько стандартных архитектур, из которых при некоторых небольших модификациях строят большинство используемых сетей.
Архитектура искусственных нейронных сетей
1.2.1. Искусственные нейронные сети прямого распространения
Хотя один нейрон и способен выполнять простейшие процедуры распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях.
Широкий круг задач, решаемый НС, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные НС, функционирующие по различным алгоритмам.
Выбор структуры НС осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации, описанные, например, в [13, 14, 32, 70, 77, 82] и других изданиях. Основные из них приведены на рис.
1.4 [14].
Рис. 1.4. Варианты наиболее распространенных архитектур искусственных нейронных сетей
Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами: возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев; введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети; сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов - возбуждающих, тормозящих и др.) также способствует усилению мощи НС. Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки.
Так как проблема синтеза НС сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.
Единственное жесткое требование, предъявляемое архитектурой к элементам сети, это соответствие размерности вектора входных сигналов сети числу ее входов.
Простейшая однослойная сеть состоящая из группы нейронов, показана на рис. 1.5.
На n входов поступают некие сигналы, проходящие по синапсам на 3 нейрона, образующие единственный слой этой НС и выдающие три выходных сигнала:
ХМ’;,
(1.5)
где j = 1, 2, 3.
В искусственных и естественных (биологических) сетях многие соединения могут отсутствовать, все соединения показаны в целях общности.
Очевидно, что все весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу W, в которой каждый элемент ??у задает
величину і -й синаптической связи j -го нейрона. Таким образом процесс, происходящий в НС, может быть записан в матричной форме:
Y = F(XW), (1.6)
где X и Y - соответственно входной и выходной сигнальные векторы; F(V) - активационная функция, применяемая поэлементно к компонентам вектора V.
На рис. 1.6 представлена двухслойная НС, полученная из однослойной (см. рис.
1.5) путем добавления второго слоя, состоящего из двух нейронов. Здесь уместно отметить важность роли рассмотренной ранее нелинейности активационной функции, так как, если бы она не обладала данным свойством или не входила в алгоритм работы каждого нейрона, результат функционирования любой р-слойной НС с весовыми матрицами W1'1, где і = 1, 2,..., р для каждого слоя / сводился бы к перемножению входного вектора сигналов X на матрицу
W(I) = W(1)W(2)...W(/,), (1.7)
то есть фактически такая р-слойная НС эквивалентна однослойной НС с
весовой матрицей единственного слоя W(S):
Y = XW(S). (1.8)
Таким образом, для расширения вычислительных возможностей многослойных НС по сравнению с однослойными НС необходимо использование нелинейных активационных функций.
Продолжая разговор о нелинейности, необходимо отметить, что она иногда может вводиться и в синаптические связи. В большинстве известных на сегодняшний день НС для нахождения взвешенной суммы входов нейрона используют формулу (1.1), однако в некоторых приложениях НС полезно ввести другую запись, например:
(1.9)
(1.10)
? 2
? X. W. 11
I - 1
или
п
S = У х.х,,. 1ч , xW. - і (0 + 1) mod л) і
Вопрос в том, чтобы разработчик НС четко понимал, для чего он это делает, какими ценными свойствами он тем самым дополнительно наделяет нейрон, и каких лишает. Введение такого рода нелинейности, вообще говоря, увеличивает вычислительную мощь сети, то есть позволяет из меньшего числа нейронов с нелинейными синапсами сконструировать
НС, выполняющую работу обычной НС с большим числом стандартных нейронов и более сложной конфигурацией [32].
У сетей, рассмотренных до сих пор, не было обратных связей, то есть соединений, идущих от выходов некоторого слоя к входам этого же слоя или предшествующих слоев. Этот специальный класс сетей, называемых сетями без обратных связей или сетями прямого распространения, представляет интерес и широко используется.
Несколько слов необходимо сказать о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию пространства состояний. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень - 1 и О - будет обозначать отдельный класс.
На двух выходах можно закодировать уже четыре класса и т. д. Однако результаты работы сети, организованной таким образом недостаточно надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность конкретных состояний входов к определенному классу со своей степенью достоверности, например высокой, средней и низкой.
Такие НС. позволяют проводить классификацию входных неявно выраженных состояний, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство позволяет широко использовать НС в практических приложениях.
Искусственные нейронные сети с обратными связями
Ранее были рассмотрены сети, которые не имели обратных связей. Отсутствие обратных связей гарантирует устойчивость сетей. Однако такое желательное свойство ограничивает возможности сетей прямого распространения по сравнению с сетями с обратными связями.
К тому же в работе [78] была получена теорема, описавшая подмножество сетей с обратными связями, выходы которых в конце концов достигают устойчивого состояния. Важный вклад как в теорию, так и в применение систем с обратными связями сделал Дж. Хопфилд.
Поэтому некоторые из конфигураций носят его имя.
Структурная схема сети Хопфилда приведена на рис. 1.7.
Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети.
Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.
Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми.
Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить (вспомнить по частичной информации) соответствующий образец (если такой есть) или дать заключение о том, что входные данные не соответствуют ни одному из образцов.
