Новиков Д. - Закономерности итеративного научения
Российская Академия Наук Институт проблем управления
Введение
Итеративное научение, как обучение в строго повторяющихся условиях - одна из простейших разновидностей научения, имеет место в широком классе явлений: формирование разнообразных навыков, усвоение информации человеком, научение животных (выработка условных рефлексов) и обучение технических и кибернетических систем. Различные аспекты итеративного научения исследуются в педагогике, психологии и физиологии человека и животных, в теории управления и в других науках.
Настоящая работа посвящена описанию математических моделей итеративного научения и преследует следующие цели:
во-первых, дать достаточно полный, хотя конечно и не исчерпывающий, аналитический обзор существующих на сегодняшний день моделей итеративного научения, предложенных разными авторами в разные годы (ниже рассматриваются более тридцати таких моделей), в том числе - автором настоящей работы.
во-вторых, на основании анализа описываемых моделей попытаться выявить и объяснить важнейшие общие закономерности и механизмы итеративного научения, а также определить возможности математического моделирования как метода исследования итеративного научения.
Моделирование итеративного научения: задачи и проблемы
Настоящая работа посвящена описанию и исследованию математических моделей итеративного научения, поэтому прежде всего необходимо определить, что понимается под моделью и итеративным научением.
Термин модель мы будем использовать в самом широком его понимании как аналог определенного фрагмента природной или социальной реальности, ... заместитель оригинала в познании и практике, математическая (абстрактная) модель - интерпретация систем логико-математических положений (ФЭС, М.: Советская энциклопедия, 1983. с. 382).
Научение в общем случае - процесс и результат приобретения индивидуального опыта (Краткий психологический словарь, М.: ИПЛ, 1985. с. 201).
Мы будем подробно рассматривать лишь один из видов научения, а именно итеративное научение (iterative от лат. iterativus -повторяемый) - многократное повторение обучаемой системой (живой или неживой - технической или кибернетической) действий, проб, попыток и т.д. для достижения фиксированной цели при постоянных внешних условиях. Итеративное научение (ИН) лежит в основе формирования навыков у человека, условных рефлексов у животных, обучения многих технических (материализованных) и кибернетических (абстрактно-логических) систем и является предметом исследования педагогической и инженерной психологии, психофизиологии, педагогики, теории управления и т.д.
ИН относится к сравнительно несложным видам научения и его исследование расширяет представления о механизмах учения в целом.
Постоянство внешних условий позволяет проводить количественное описание ИН в виде графиков - кривых научения (КН), представляющих собой зависимость критерия уровня научения от времени или от числа повторений (итераций).
Многочисленные экспериментальные данные свидетельствуют, что важнейшей общей закономерностью итеративного научения в живых системах (человек, группы людей, животные) и неживых системах (системы распознавания образов, вероятностные автоматы с переменной структурой, нейронные сети и др.) является замедленно-асимптотический характер кривых научения: они монотонны, скорость изменения критерия уровня научения со временем уменьшается, а сама кривая асимптотически стремится к некоторому пределу. В большинстве случаев кривые итеративного научения аппроксимируются экспоненциальными кривыми (см. более подробно раздел 2 настоящей работы).
Нас будет интересовать, в основном, следующий вопрос - чем обусловлена общая для итеративно научаемых систем самой различной природы закономерность, заключающаяся в замедленноасимптотическом характере КН?
Существуют различные подходы к получению ответа на этот вопрос: изучение экспериментальных данных (феноменологическое описание); анализ психофизиологических или технических характеристик обучаемых систем, их структуры, принципов взаимодействия составляющих их элементов; создание и исследование математических, имитационных и др. моделей ИН и т.д. Мы попытаемся рассмотреть общие закономерности ИН посредством исследования его моделей.
Таким образом, объектом исследования в настоящей работе выступает итеративное научение, а предметом исследования - его общие для систем живой и неживой природы количественные закономерности, причем основным методом исследования является математическое моделирование. Целью работы является теоретическое обоснование и объяснение общих закономерностей ИН и, соответственно, задачами - анализ известных и построение ряда новых математических моделей итеративного научения; установление адекватности моделей реальным системам; рассмотрение возможности объяснения известных и предсказания новых свойств итеративно научаемых систем и процесса ИН посредством моделирования.
Различают два метода построения моделей вообще и, соответственно, они могут использоваться для построения моделей итеративного научения - прямой и обратный.
При использовании прямого метода делаются те или иные предположения о функциях, составе и структуре обучаемой системы и механизмах взаимодействия составляющих ее элементов. Далее, на основании введенных предположений и заложенных в модель закономерностей, исследуется поведение модели и проводится анализ соответствия поведения модели и моделируемой системы.
Объяснительные и прогностические свойства модели определяются общностью использованных при ее создании гипотез. Понятно, что, несмотря на одинаковость поведения модели и моделируемой системы, законы взаимодействия их элементов, да и их структуры, могут не иметь ничего общего. Тем не менее, если оправдывается гипотеза о том, что модель устроена так же, как и обучаемая система, то анализ модели позволяет переносить ряд результатов и рекомендаций по организации ее более целесообразного функционирования на саму моделируемую систему.
Например, иногда рекомендации по возможностям повышения эффективности научения в рамках той или иной модели могут быть использованы для выбора оптимальной организации реального учебного процесса (сокращение времени, затрачиваемого на обучение, сокращение затрат, увеличение продуктивности действий обучаемой системы и т.д.).
Второй, обратный метод построения моделей заключается в поиске тех исходных предположений и допущений, которые приводят к требуемым свойствам модели [2, 3]. Например, если известна траектория движения некоторой системы и ее структура, то иногда, в соответствии с обратным методом, можно найти класс законов взаимодействия элементов системы между собой и с окружающей средой, приводящих к наблюдаемому поведению.
При этом внутреннее устройство модели может сильно отличаться от устройства моделируемой системы. Например, если различные предположения о законах взаимодействия приводят к одному и тому же результату, то, не имея дополнительной информации, невозможно однозначно сказать, какие из эквивалентных моделей соответствуют реальной системе.
Разделение на прямой и обратный методы построения моделей достаточно условно - большинство известных на сегодняшний день моделей ИН используют в той или иной мере оба этих подхода. Процесс построения модели (математической, имитационной и т.д.) носит, как правило, итеративный характер. Сначала исследователь делает предположения о структуре модели и законах взаимодействия элементов, согласованные с имеющейся информацией о моделируемой системе (использование прямого метода). Затем поведение модели сравнивается с поведением оригинала и на основании этого сравнения вносятся изменения в принятые гипотезы и предположения, минимизируются допущения (использование обратного метода), после чего опять исследуется поведение модели и т.д.
Условно можно считать, что успешное применение прямого метода приводит к нахождению достаточных условий (той или иной степени общности) адекватности. Целью же обратного метода является поиск необходимых условий адекватности.
Поэтому следует признать, что обратный метод является более конструктивным, так как построенная с его использованием модель позволяет сделать более обоснованные выводы о внутреннем устройстве, механизмах и процессах в реальных моделируемых системах. В то же время, понятно, что при этом исследователь, несомненно, сталкивается с большими трудностями.
Из вышесказанного следует, что можно построить множество прямых моделей одной и той же реальной системы или процесса. Однако очень редко удается создать модель, адекватную оригиналу не только по поведению, но и по структуре, механизмам функционирования и т.д. Те редкие случаи, в которых структура и свойства модели могут быть однозначно (с необходимостью) выведены и идентифицированы по информации о моделируемой системе, следует признать удачными исключениями из общей закономерности.
При моделировании большинства сложных (особенно биологических и социально-экономических) систем, в том числе - при моделировании итеративного научения, речь следует вести о гармоническом сочетании прямого и обратного методов.
Приведем одно из существующих на сегодняшний день мнений о возможности создания общей модели итеративного научения (E. Guthrie): В течение многих лет исследователи вдохновлялись надеждой открытия кривой научения.
Существует общее соглашение, что кривая изменяется более быстро после начала упражнения, по мере продолжения упражнения эта скорость постепенно уменьшается, пока не достигается физиологический предел, поставленный природой обучаемого... . Конечно, не существует идеальной стандартной кривой научения или кривой забывания. Все зависит от предыдущего опыта отработки компонент действий и уже сформированных навыков... . Другими словами, не существует общей кривой научения. [102, с. 179].
Приведенное выше мнение E. Guthrie является, пожалуй, слишком пессимистичным. Все зависит от того, что понимать под общностью модели.
Если общая - это универсальная модель, объясняющая и обобщающая все известные модели и априори способная объяснить все возможные, еще неизвестные сегодня, эффекты, наблюдаемые при итеративном научении, и адекватная при любом уровне детализации рассмотрения произвольной системы, то, пожалуй, возможность создания такой модели сегодня кажется проблематичной.
В настоящее время известно большое число исследований, объясняющих при тех или иных предположениях и допущениях закономерности ИН для конкретных систем (интересно отметить, что в течение нескольких последних десятилетий наблюдается спад интенсивности исследований общих моделей итеративного научения; поэтому неудивительно, что большинство работ, приведенных ниже в списке литературы, относятся к 60-70-мгодам -периоду бурного развития кибернетики). Однако, с нашей точки зрения, большинство из существующих моделей не обладает достаточной общностью.
Поэтому имеет смысл вести речь о создании максимально более общей модели ИН (или комплекса таких моделей), с использованием минимальных предположений и допущений о структуре обучаемой системы, свойствах составляющих ее элементов и характере их взаимодействия, а также о выделении тех общих предположений, гипотез и т.д., которые используются в известных и должны быть использованы в любых математических моделях ИН.
Интересующие нас системы живой природы являются большими и сложными, как с точки зрения числа составляющих их элементов, так и с точки зрения многообразия связей между ними [19, 28, 29, 45]. В технических системах и моделях живых систем исследователь может искусственно ограничивать сложность, делая систему поддающейся анализу. Например, на настоящий момент могут быть приближенно описаны свойства лишь отдельных элементов этих живых систем - нейронов, синергий и т.д., с той или иной степенью детализации измерены их характеристики и описаны связи между ними.
Однако, как это ни печально, до сих пор не получен достаточно полный ответ на вопрос: как функционирует мозг, и как свойства отдельных нейронов приводят к тем свойствам их групп, отдельных подсистем и мозга в целом, которые мы наблюдаем.
Ограниченность современного научного знания в понимании механизмов функционирования биологических и социальных систем еще более усложняет задачу моделирования итеративного научения - если мы не имеем четкого представления о свойствах реальной системы, то неясно, что понимать под адекватностью модели и системы на уровне внутреннего устройства. Наверное поэтому большинство моделей ИН носит феноменологический характер, описывая агрегированную динамику результативных характеристик научения, но не заглядывая внутрь моделируемой системы.
Попытаемся сформулировать, в общем виде, какого рода вывод мы хотели бы получить в настоящей работе. Вряд ли можно надеяться, что для итеративно научаемых систем удастся (когда-нибудь) получить универсальный закон на уровне основных законов природы или доказать соответствующий общий формальный результат, так как для этого необходимо ввести систему аксиом -постулатов, очевидность которых может оказаться (и оказывается в существующих моделях) далеко небесспорной.
Следовательно, желательно сформулировать и обосновать закономерность, которая, во-первых, объясняла бы экспериментально наблюдаемое поведение итеративно научаемых систем, и, во-вторых, обладала бы по возможности максимальной общностью (т.е. была бы применима для максимально широкого класса научаемых систем и требовала бы введения минимальных предположений и допущений).
Отметим, что большинство известных и используемых принципов и законов функционирования биосистем носит именно характер закономерностей или гипотез. Для иллюстрации этого утверждения, не претендуя на полноту описания, перечислим кратко некоторые известные принципы функционирования биологических систем.
1. Принцип наименьшего действия. Когда в природе происходит некоторое изменение, количество действия, необходимое для этого изменения, является наименьшим возможным [9, 30].
2. Закон устойчивого неравновесия (Э.С. Бауэр).
Все живые и только живые системы никогда не бывают в равновесии и исполняют за счет свободной энергии постоянную работу против равновесия, требуемого законами физики и химии при соответствующих внешних условиях [9].
3. Принцип наипростейшей конструкции (Н. Рашевский).
Та конкретная структура или конструкция живой системы, которую мы действительно находим в природе, является простейшей из возможных структур или конструкций, способных выполнять данную функцию или структуру функций [9].
4. Принцип обратной связи [28 и др.] (см. также принцип функциональной системы П.К. Анохина [8]).
Здесь же уместно упомянуть принцип опережающего отражения действительности -сложная адаптивная система реагирует не на внешнее воздействие в целом, а по первому звену много раз повторявшегося последовательного ряда внешних воздействий. Необходимым условием такого опережающего отражения является последовательность и повторяемость внешних явлений (в случае итеративного научения - постоянство внешних условий и целей научения) [6, 8, 55].
5. Принцип наименьшего взаимодействия (И.М. Гельфанд, М.Л.
Цетлин). Нервные центры стремятся достичь такой ситуации, при которой афферентация (от латинского afferentis - приносящий, то есть информационные и управляющие потоки и сигналы, передаваемые в центральной нервной системе) будет наименьшей.
Или, другими словами, система целесообразно работает в некоторой внешней среде, если она стремится минимизировать взаимодействие со средой [32, 84].
6. Принцип вероятностного функционирования мозга
(А.Б. Коган).
Каждый из нейронов не имеет самостоятельной функции, то есть априори не является ответственным за решение конкретной задачи, распределение которых происходит достаточно случайным образом [9] (см. также [38]).
7. Принцип иерархической организации, в частности -обработки информации мозгом (Н.М. Амосов, Н.А.Бернштейн, Г. Уолтер, У.Р.
Эшби). Достижение полной цели равноценно достижению совокупности подцелей [37, 47, 55]. ... в каждой сложной системе можно выделить управляющие и рабочие этажи [5, с. 81].
8. Принцип адекватности (У.Р. Эшби, Ю.Г.
Антомонов и др.). Сложность управляющей системы (динамика ее изменений) должна быть адекватна сложности (скорости изменения) управляемых процессов [10].
Иными словами, пропускная способность регулятора устанавливает абсолютный предел управления, как бы не были велики возможности управляемой системы [93].
9. Принцип вероятностного прогнозирования при построении действий (Н.А. Бернштейн).
Мир отражается в форме двух моделей - модель потребного будущего (вероятностное прогнозирование на основе предшествующего накопленного опыта) и модель свершившегося (однозначно отражает наблюдаемую действительность) [17, 18, 55]. Такому подходу вполне соответствует следующее определение обучения: Обучение системы заключается в том, что она в соответствии с прежними успехами и неудачами (опыт) улучшает внутреннюю модель внешнего мира [91, с. 228].
10. Принцип отбора нужных степеней свободы (Н.А. Бернштейн).
В начале обучения задействуется большее число степеней свободы обучаемой системы, чем это необходимо для достижения целей обучения [7, 15, 16, 57]. В процессе обучения число участвующих переменных уменьшается - отключаются несущественные переменные (ср. с явлениями генерализации и концентрации нервных процессов - И.П. Павлов, А.А. Ухтомский, П.В.
Симонов и др.) [16-18, 57, 93].
11. Принцип необходимости разрушения детерминизма (Ю.Г. Антомонов и др.).
Для достижения качественно нового состояния и повышения уровня организации системы необходимо разрушить (перестроить) существующую, сформированную в предшествующем опыте, детерминированную структуру связей элементов системы [10].
12. Принцип необходимого разнообразия (У.Р.
Эшби). Этот принцип достаточно близок по смыслу к принципу адекватности: для решения стоящей перед ней задачи система должна обладать соответствующим разнообразием (состояний, функций, возможностей и т.д.), то есть система должна быть адекватна задаче в смысле разнообразия (сложности) [93].
13. Принцип естественного отбора (С.М.
Данков). В системах, ставшими эффективными в результате естественного отбора, разнообразие механизмов и пропускная способность каналов передачи информации не будет значительно превышать минимально необходимое для этого значение [12, 81, 94, с. 202].
14. Принцип детерминистского представления
(Ю. Козелецкий и др.).
При моделировании принятия решений индивидуумом допускается, что его представления о действительности не содержат случайных переменных и неопределенных факторов (последствия принимаемых решений зависят от строго определенных правил) [47].
15. Принцип дополнительности (несовместимости) (Н.
Бор, Л.А. Заде). Высокая точность описания некоторой системы несовместима с ее большой сложностью.
Иногда этот принцип понимается более упрощенно - реальная сложность системы и точность ее описания при анализе обратно пропорциональны в первом приближении.
16. Принцип монотонности (не упускать достигнутого).
В процессах обучения, самоорганизации, адаптации и т.д. система в среднем не удаляется от уже достигнутого (текущего) положительного результата (положения равновесия, цели обучения и т.д.) [80, 93, 94].
На первый взгляд, приведенные принципы функционирования биосистем можно условно разделить по подходам на естественнонаучные подходы, например - 1, 2, 5, 8, 15, эмпирические подходы, например - 4, 6, 10, 11, 14, 16, и интуитивные подходы, например - 3, 7, 9, 12, 13. Физические подходы (законы) отражают общие закономерности, ограничения и возможности биосистем, накладываемые законами природы.
Эмпирические принципы как правило, формулируются на основе анализа экспериментальных данных, результатов опытов и наблюдений, и носят более локальный характер, чем естественнонаучные. Наконец, интуитивные законы и принципы (которые по идее не должны противоречить естественнонаучными быть согласованными с эмпирическими) носят наименее формальный и универсальный характер, основываясь на интуитивных представлениях и здравом смысле.
На самом деле, при более детальном рассмотрении видно, что все приведенные выше естественнонаучные принципы являются скорее эмпирическими и/или интуитивными. Например, принцип наименьшего действия, являющийся, казалось бы, классическим физическим законом, формулируется для механических систем (существуют его аналоги в оптике и других разделах физики).
Его неадаптированное использование при изучении биологических систем, вообще говоря, не совсем корректно и обоснованно. То есть утверждение, что биосистемы удовлетворяют принципу наименьшего действия - всего лишь гипотеза, вводимая исследователями и не подкрепленная на сегодняшний день корректными обоснованиями.
Таким образом, известные принципы (и законы) функционирования биосистем укладываются в одну из следующих формулировок: закономерность - если система обладает некоторым (определенным) внутренним устройством, то она ведет себя соответствующим (определенным) образом или: гипотеза - если система ведет себя некоторым (определенным) образом, то она, скорее всего, обладает соответствующим (определенным) внутренним устройством. Добавление - скорее всего существенно: первый тип утверждений устанавливает достаточные условия для реализации наблюдаемого поведения (см. описание прямого и обратного методов выше) и может быть частично или полностью подтвержден экспериментально; утверждения второго типа носят характер гипотез - необходимых условий (в большинстве случаев гипотетических и недоказанных и выполняющих объяснительную функцию), накладываемых на структуру и свойства системы, исходя из наблюдаемого ее поведения.
Значит на основании анализа исследуемых в настоящей работе моделей итеративного научения желательно сформулировать закономерность вида: если научаемая система обладает следующими свойствами ... и функционирует в следующих условиях ..., то кривые научения будут экспоненциальными, и, собственно, объяснение закономерностей ИН - гипотезу вида: если кривые научения некоторой итеративно научаемой системы являются экспоненциальными, то, система скорее всего обладает следующими свойствами ... и функционирует в следующих условиях ....
Итак, мы видим, что перечисленные выше принципы функционирования биосистем являются либо эмпирическими, либо интуитивными. Соответственно, можно выделить два направления исследований итеративного научения и два способа формулирования и объяснения его механизмов. Первый способ - анализ экспериментальных данных.
Обзор работ по экспериментальным результатам изучения ИН (а таких работ - тысячи!) выходит за рамки настоящего исследования, хотя можно утверждать, что в большинстве случаев экспериментальные зависимости аппроксимируются замедленно-асимптотическими кривыми [57, 69, 75 и др.]. Второй подход - создание и анализ моделей - рассматривается ниже.
Анализ известных моделей, а также синтез и исследование новых математических моделей ИН, как будет видно из дальнейшего изложения, позволят обобщить подходы к моделированию итеративного научения и объяснить некоторые закономерности не только ИН, но и процессов управления, самоорганизации и адаптации для весьма широкого класса сложных систем.
Кривые научения: количественное описание и качественный анализ
При исследовании любой системы, в том числе - биологической, проведении физического эксперимента, исследовании черного ящика и т.д., можно устанавливать причинно-следственные и количественные связи между входными и выходными переменными только если изменение выходного сигнала (отклика, реакции системы, ответного действия и т.д.) вызвано изменением одного из входных сигналов. Если одновременно изменились две или более входных переменных, то в общем случае невозможно выделить, какое влияние оказал каждый из входов на наблюдаемое изменение выходной переменной.
Различают два аспекта научения.
