Условные рефлексы второго рода

Асcоциативное научение принято подразделять на два вида: классические и инструментальные условные рефлексы.

          При выработке классических, или павловских рефлексов,  последовательность событий в опыте зависит не от поведения животного, а от хода эксперимента. Животное производит какую-либо реакцию, чаще - реакцию внутренних органов (например, слюноотделение), которая впоследствии связывается с новым стимулом. Животное как бы отвечает старым способом на новый стимул . По-английстки “ответ” - response, поэтому павловские рефлексы называют еще респондентным научением.

          При инструментальном же  научении поведение животного само служит важным фактором, определяющем ход событий. Процедура инструментального научения состоит в том, что положительное или отрицательное подкрепление подается  при определенной реакции животного - “правильной” или “неправильной” с точки зрения экспериментатора.

          Итак, классические и инструментальные рефлексы отличаются методикой выработки. Но внутрение процессы, лежащие в основе этих двух типов рефлексов, одинаковы. Выработка УР 1-го рода сопровождается УР 2-го рода. Укрепленной в станке Павлова собаке поднимали переднюю ногу, а затем давали порцию мясного порошка. После нескольких таких проб собака сама поднимала ногу, если ее помещали в станок голодной. С другой стороны, при инструментальном научении условным раздражителем можно считать обратную афферентацию от мускулатуры, которая сигнализирует о предстоящем подкреплении.

          Раньше считали, что УР 1-го рода  вырабатывают связь стимулов с реакциями внутренних органов, а УР 2-го рода - с реакциями скелетных мышц. Сейчас эту точку зрения опровергли. Были проведены эксперименты над крысами, при котрых подкрепление давалось при все большем возрастании частоты сердечных сокращений. Этот показатель удалось изменить почти на 20%. Инструментальное  научение возможно и для таких реакций, как перистальтика кишечника, артериальное давление, общий характер электроэнцефалограммы.

          Инструментальное научение классифицируется в зависимости от применяемых методик.

          а) “Пробы и ошибки” по-Торндайку. Методика разработана  в 1898 году. Проблемная клетка (проблемный ящик) Торндайка представляет собой клетку, которую можно открыть изнутри, нажав на рычаг. Заключенные в клетке кошка или собака первоначально пытаются убежать, хаотично и безостановочно двигаясь по клетке, но через некоторое время животное случайно нажимает на рычаг и открывает дверцу. Животное вновь возвращают в клетку. Вторая и третья попытки животного выйти из клетки могут быть случайным повторением, но постепенно животное сосредотачивает свое поведение около рычага. После ряда проб животное, как его только запирают в клетке, нажимает на рычаг и освобождается. Животное учится исключать из своего поведения все, что не ведет к подкреплению и увеличивает число двигательных реакций, которые при предыдущих попытках приводили к подкреплению. Но в начале опыта в поведении животного нет определенной системы - первое подкрепление животное получает случайно.

          “Закон эффекта” Торндайка гласит: “Для реакции, за которой следует вознаграждение или состояние удовлетворения, вероятность повторения возрастает, а для реакции, вызывающей вредное или неприятное последствие, вероятность повторения снижается”.

          Большинство современных психологов соглашаюся с тем, что для объяснения поведения взрослого человека “закон эффекта” имеет ограниченную сферу применения.

Проблемная клетка Торндайка открывается рычагом, помещенным внутри. Возле клетки ставят миску с кормом для животного. Когда в проблемную клетку помещают голодное животное, оно, пытаясь добраться до пищи, беспорядочно двигается внутри клетки, и , в конечном итоге, случайно нажимая  на рычаг, оказывается на свободе. Вторая и третья попытки могут быть тоже случайными, но постепенно животное сосредотачивает свои движения возле рычага. Через несколько проб животное сразу, как только попадает в проблемную клетку, нажимает на рычаг , оказывается на свободе и получает подкрепление. Постепенно животное учится исключать из своего поведения все, что не ведет к  подкреплению. Но вначале опыта в его поведении нет определенной системы - первое подкрепление животное получает случайно.

         б) Свободно-оперентная методика по-Скиннеру.  Это вариация методики, примененной Торндайком.  Отличие от методики “проб и ошибок” в том, что животное  подвергается не отдельным пробам, а может совершать любую реакцию в любое время. Обычно в инструментальной установке находится приспособление, например, рычаг, на которое животное должно воздействовать.  В опытах, проведенных Скиннером в 1938 году, лабораторная крыса нажимает на рычаг и получает пищу. В начале опыта животное не совершает требуемую реакцию, но за поведение, приближающееся к реакции, которую хотят сформировать ,подкрепление получет. Вначале подкрепляется нахождение крысы в той части клетки, где расположен рычаг. Затем подкрепляют поднимание лапы по направлению к рычагу. Постепенно требования к реакции, заслуживающей подкрепления, повышаются. В конечном итоге подкрепляют уже само нажатие на рычаг.

            Подкрепление не обязательно должно следовать за каждой реакцией. Иногда оно может быть перемежающимся: например, можно подкреплять только каждый энный  ответ или только первую реакцию после данного интервала времени. Если подкрепление совсем прекратить, происходит снижение вероятности и темпа реакции , то есть происходит угашение.

              Природа реакций и подкрепления должны быть выбраны с учетом особенностей изучаемого вида . Например. самцов сиамских бойцовых рыбок обучают совершать оперантную реакцию, в качестве подкрепления демонстрируя модель другой рыбы в агрессивной позе.

               Существуют доказательства того, что у голубей, находящихся в камере Скиннера, вырабатывается, кроме оперантного, еще и классический рефлекс на ключ, который они должны клевать, чтобы получить подкрепление. Ключ голуби расценивают как пищу или воду.  При пищевом подкреплении они клюют его таким движением, как если бы они клевали зерно, а при подкреплении водой, они нажимают на ключ полуоткрытым клювом и делают сосущие движения, как при питье.

           Интересные исследования по выработке оперантных реакций у дельфинов были проведены американской исследовательницей Прайер. В каждой серии проб подкреплялись различные реакции. После того, как какая-либо реакция подкреплялась, в последующих сериях эта реакция уже не позволяла животному получить подкрепление. Когда был исчерпан весь репертуар реакций, на которые способны дельфины, животные стали вырабатывать множество новых, “творческих” реакций.

          Опыты на выработку оперантных рефлексов были неоднокатно  проведены с людьми. Карл Роджерс в книге “Взгляд на психотерапию.Становление человека” приводит результаты таких экспериментов. Например, с помощью оперантного обусловливания можно добиться у испытуемого значительного увеличения количества существительных во множественом числе в речи. Экспериментатор кивал головой всякий раз, когда испытуемый произносил нужную грамматическую форму. Испытуемый о  эксперименте предупрежден не был и причины изменений в своем поведении не осознавал. Оперантным способом добивались увеличения в речи числа предложений, выражающих личное мнение испытуемого и ряда других поведенческих реакций.

          Роджерс, как гуманист, хорошо пониматет опасность возможности манипулирования поведением человека и пишет, что психология - “орудие, в сравнении с социальной силой которого атомная энергия кажется слабой”. При этом он полагает, что достижения психологии могут использоваться или как средство управления человеком. или как средства освобождения человека. Можно получить либо общество свободных людей. либо общество пешек, управляемых с помощью науки о поведении. Но цель, ради которой используются достижения психологии, по мнению Роджерса, находится вне науки психологии.

          в) Методики с отрицательным подкреплением. Животное должно вести себя так, как установлено экспериментатором, чтобы избежать болевых стимулов. В наиболее распространенном варианте этой методики  используется челночная камера. Она состоит из двух отделений, окрашенных в разные цвета. Отделения сообщаются между собой проемом. Процедура начинается с ряда проб, сопровождающихся сигналом, например, зуммером.Животному дается несколько секунд, чтобы покинуть стартовую камеру и перейти в другую часть установки. Если животное этого не сделает, оно получит удар электротоком через электроды на полу камеры. По мере повторения ряда проб процент успешных избеганий растет. Было показано. что даже среди близкородственных видов животных успешнее обучаются те животные, которые в природе ведут более активный образ жизни.

          г) Выработка дифференцировки. В этих опытах животному предлагают два или несколько стимулов и предоставляют возможность как-нибудь реагировать.  Реакции на один из стимулов подкрепляются, на другие - нет.  Научение состоит в повышении процента реакций на “правильный” стимул.  Например, обезьяна будет всегда получать банан, если будет из двух предъявляемых стимулов выбирать стимул красного цвета. Существует очень много вариантов выработки дифференцировки. Некоторые задачи способны решить только животные с достаточно развитым интеллектом.

            Одновременная дифференцировка. Все стимулы предъявляются в одно и тоже время. Задача животного - выбрать правильный стимул.

          Последовательная дифференцировка. Стимулы предъявляются по одному. Животное должно тормозить реакцию в присутствии неправильного стимула.

          Переделка дифференцировки. Значение положительного стимула меняется от одной задачи к другой.  Например, животное должно выбирать между красным и зеленым стимулом, причем красный - положительный. Через некоторое время, не информируя животное, начинают подкреплять зеленый стимул. Многие виды животных обнаруживают способность улучшать решение таких задач при их повторении, то есть вырабатывают установку на научение.

          Отсроченные реакции дифференцировки. Приманку на глазах у животного помещают под один из двух предметов. Через длительный промежуток времени животное должно выбрать стимул, который подкрепляется.

          Вероятностное научение. Во всех рассмотренных до сих пор случаях подкрепление  в данной задаче было постояннным, или стопроцентным. Выбор одного из стимулов подкреплялся всегда, выбор другого - никогда. При вероятностном научени выбор “правильного стимула”  подкрепляется чаще, чем выбор неправильного. Животное не может определить, ответ на какой из стимулов будет правильным. Например, можно подкреплять выбор красного стимула в 70% проб, а выбор зеленого стимула - в 30% проб. Задача на вероятность подкрепления в пропорции70:30. Хотя ясно, что при большом числе проб красный стимул  будет подкреплен в 70%,  невозможно предсказать, какой ответ окажется верным в данный момент. Максимальное число подкреплений животное получит, если будет выбирать тот стимул, который подкрепляется чаще. Эта стратегия выбора называется максимилизирующей.

          У некоторых животных наблюдается выбор в соответствии с вероятностью подкреплений. В этом случае животное реагирует на каждый из стимулов с частотой, пропорциональной его подкреплению ( т.е. в нашем примере в 70% случаев на красный и в 30% случаев на зеленый).  Животное, применяющее стратегию выбора в соответствии с вероятностью подкрепления, получит подкрепление в 58% проб (0,7х0,7 +0,3х0,3). При максимилизирующей стратегии животное получит подкрепление  в 70% проб (0,7х1+0,3х0).

            Интересно, что у одного и того же вида животных, например,  у золотой рыбки, при зрительных (красный-зеленый) дифференцировках наблюдался выбор в соответствии с вероятностью подкрепления, а при пространственных дифференцировках (право-лево) наблюдалась максимилизирующая стратегия выбора.

          д) Научение в лабиринте. Это одна из форм дифференцировок. Первый лабиринт для крыс построил Уильям Смолл в 1900 году. Простейший лабиринт напоминает  по форме буквы

У или Т. Животное должно идти прямо до точки выбора. Сложные лабиринты имеют много точек выбора. Путь через лабиринт представляет чаще всего дорогу в гнездо крысы или , реже, дорогу к корму.  Иногда нахождение “правильного” пути подкрепляется возможностью крысы убить мышь.

В опытах с лабиринтами фиксируются время решения задачи и число ошибок, то есть число тупиков, в которые заходила крыса.  Была обнаружена интереснейщая закономернось - число ошибок начинает падать вначале обучения вблизи конца пути, у цели, и лишь затем - в начале лабиринта. Постепенно крысы научаются выбирать кратчайший путь к цели.

          е) Научение решению задач на абстрактные понятия. Опыты проводятся на приматах. Под абстрактным понимается частичное свойство воспринимаемого, общее по крайней мере для двух объектов, различных по другим своим характеристикам. Абстрактное понятие люди обозначают словом, например: “больший” или “черный” или “квадрат”. У животных нет описательного языка, следовательно, у них нет понятий, тем не менее многие приматы способны решать задачи на дифференцировку стимулов, отличающихся абстрактным признаком.  Например, из серии предъявляемых стимулов, чтобы получить подкреплениие, обезьяна должна выбирать стимул, больший по размеру, причем относительно больший.

           Обезьян также научали выбирать стимул по признаку отличия. Животному предъявляли три стимул-объекта, два из которых одинаковы. Чтобы получить подкрепление, обезьяна должна была выбрать “третий лишний”.  Ставились задачи на выбор по образцу. Наконец, давались задачи на чередавание. Животное должно по очереди выбирать то один, то другой объект (например, то правый, то левый). Более сложными задачами, с которыми приматы все же справлялись, были задачи на двойное и тройное чередование, а также задачи чередования отсроченных реакций.

и образовании рефлексов 1-го рода животное (или человек) начинает поведение с реакции, которая впоследствии связывается с новым стимулом. Иногда  даже после одного сочетания безусловной реакции и нового стимула, животное начинает отвечать на новый (условный) стимул условной реакцией. “Ответ” по-английски “response”, отсюда возник термин “респондентеное научение”, употребляющийся, когда речь идет о “павловских” рефлексах.

          В природе часто встречается ситуация, когда животное находится в состоянии голода, жажды или страха, но Безусловный стимул, который вызывал бы соответствующий Безусловный рефлекс, отсутствует. При этом у животного появляется поисковое поведение, в процессе которого оно спонтанно выполняет разнообразные действия: принюхивается (если речь идет о млекопитающих), осматривается, передвигается. Иногда одно из таких действий подкрепляется (например, пищей), тогда, если ассоциация повторяется несколько раз, животное учится выполнять целую последовательность действий, приводящую к положительному подкреплению в данной ситуации.