Влияние подкрепления и наказания на поведение

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Российский государственный гуманитарный университет»

ДИПЛОМНАЯ РАБОТА

на тему:

«Влияние подкрепления и наказания на поведение»

Выполнил студент

Руссков Степан Андреевич

Института психологии им. Выготского

Факультета Психологии (бакалавриат)

Группа: ИП-133

Научный руководитель: Тихомирова И.В.

Москва, 2017 год



Оглавление

Введение

1. Теоретические основания исследования

1.1 Награды, подкрепление и наказание

1.2 Планирование режима подкрепления

1.3 Какой режим подкрепления является "наилучшим"

1.4 Система наград в типичных приключенческих видеоиграх

1.5 Параллельные режимы подкрепления

1.6 Практические вопросы реализации системы вознаграждения в игре

1.7 Какие награды может предложить наука

1.8 Позитивное и негативное подкрепление и наказание как факторы воздействия на поведение

2. Эмпирическое исследование

2.1 Проблемы и цели

2.2 Процедура эксперимента

2.3 Результаты исследования

2.4 Научение посредством подкрепления

Выводы

Список использованных источников

Приложения



Введение

Когда после поведения следуют приятные последствия, появляется тенденция к его повторению, а если следуют неприятные или неудовлетворительные последствия, происходит отказ от повторения. Торндайк Э.Л.

Одной из основных задач психологии является возможность предсказания поведения человека. Необходимое и обязательное условие научного метода проявляется в способности интерпретировать результаты экспериментов, основываясь на собственной теоретической базе. В психологии для подтверждения теории обязательными требованиями являются:

Непротиворечивость

Соответствие экспериментальным данным

Возможность предсказывать новые явления

Возможность описывать известные явления

Фальсифицируемость

Актуальность проблемы: Целью данной работы является анализ литературных данных по проблемам подкрепления и практической оценки влияния подкрепления и наказания на поведение. Большая часть работы посвящена исследованию поведения человека в медиа и видеоигровых пространствах, так как это позволяет повысить экономность исследования, провести анализ новых актуальных тем, нуждающихся в освещении. Поведение человека представляет собой направленные к чему-то или от чего-то, в какой-то мере осмысленные и целесообразные социально или личностно значимые действия, источником которых является сам человек и ответственность за которые возлагается на него. Видеоигрой считается игра между человеком и вычислительной системой (либо между множеством людей) с использованием изображений, сгенерированных электронной аппаратурой. Первая запатентованная игра появилась в 1968 году, то есть менее 50 лет назад. В настоящий момент невозможно определить точное количество людей, играющих в видеоигры, только США в 2010 году насчитывало более 150 миллионов людей играющих в видеоигры и, согласно исследованию Spil Games Spil Games - компания, включающая в себя более 50 игровых вебсайтов, на которых посетители играют преимущественно в браузерные игры, и обладающая патентом на более чем 100 игр. в 2013 году в мире играют в игры на различных электронных платформах более 1.2 миллиарда людей, что на тот момент равнялось 17% населения планеты Земля. Прибыль игровой индустрии в 2015 году составила 91.8 миллиарда долларов США. Для работы данной индустрии крайне необходим всесторонний научный анализ, исследователи работают над этой проблемой "по обе стороны баррикад". С одной стороны - разработчики игр, перед ними стоит задача создать игру, которая принесёт как можно больше прибыли. С другой стороны - исследователи, целью которых является объяснение популярности игр, проблема игровой аддикции и другие.

Видеоигры сильно повлияли на геополитическую ситуацию в мире - объединяя множество игроков по всему миру и развивая киберспортивную отрасль. Многие страны (в том числе США, Южная Корея и Россия, во время проведения этого исследования - в июне 2016 года) признали киберспорт профессиональным видом спорта. Процесс оформления визы в США для киберспортсменов из разных стран заметно упростился. Игровые компании осуществляют свою деятельность на трансмедийных платформах, регулярно киберспортивные мероприятия собирают аудиторию в сотни тысяч зрителей. По играм снимаются фильмы, пишутся книги, в месяц прямые трансляции видеоигр от самих игроков собирают более 100 миллионов просмотров По данным статистики сайта Twitch.tv, самого популярного сайта стриминг-игр, предоставляющего возможность игрокам вести прямую трансляцию своего игрового процесса по всему миру. и многое другое.

Среди исследователей растет число приверженцев людологии. Только в последние десятилетия появилась соответствующая наука, которая занимается всеми вопросами, связанными с компьютерными играми. Людология - наука, занимающаяся исследованиями игр как современной формы коммуникации и творчества. Эта дисциплина представляет собой нечто большее, чем просто математическая модель, если сравнивать её с теорией игр Теомрия игр -- математический метод изучения стратегий в играх. Игра - понимается как процесс, в котором участвуют две и более сторон, борющихся за реализацию собственных интересов. Каждая из сторон имеет свою цель и использует некоторую стратегию, которая может вести к выигрышу или проигрышу -- в зависимости от поведения других игроков. Теория игр помогает выбрать лучшие стратегии с учётом представлений о других участниках, их ресурсах и их возможных поступках. Принадлежит разделу прикладной математики., она поднимает и философские, и теоретические, и практические вопросы, касающиеся компьютерных игр

В западных странах наука людология получила официальный статус уже более 10 лет назад, в начале 2000-х годов. В России, к настоящему моменту, над этой наукой трудятся лишь несколько одиночек-энтузиастов.

Людология ставит во главу угла целый ряд важных вопросов: Почему человек играет, зачем ему это? Какое влияние оказывают игры на играющих? Почему процесс разработки всё время усложняется, а игры становятся всё проще и проще? Какое будущее у индустрии, и какие ещё есть пути развития? Почему игры подразделяются на такие жанры? Почему одни жанры популярнее других? Почему у различных жанров сформировались свои шаблоны игровых интерфейсов? Как реагирует игровая публика на те или другие нововведения? Что в игре действительно нужно игроку, а что просто добавляется по традиции и висит балластом?

Наибольший успех в исследовании видеоигр среди разработчиков в настоящее время показывает Бихевиоризм, что объяснятся сущностью индустрии. Анализ игрового процесса, исследование подкрепления в видеоиграх, объяснение и предсказание поведения игрока - вот на чем специализируется данная теория. Несмотря на ошеломительный успех бихевиоризма данное исследование рассматривает несколько теоретических точек зрения на проблему подкрепления в видеоиграх.

Цель исследования: Анализ эффекта подкрепления в видеоиграх в целом, и у представителей разных социальных групп разработка психодиагностического метода для исследования влияния подкрепления и наказания в видеоиграх.

Объект исследования: влияние подкрепления и наказания на поведение. видеоигра социальный психодиагностический наказание

Предмет исследования: подкрепление и наказание в видеоиграх как детерминанты поведения человека.

Задачи исследования: исследование механизмов функционирования подкрепления и наказания в привычной среде, анализ литературных данных, изучение подкрепления с обучением, разработка метода для исследования влияния подкрепления и наказания в видеоиграх, проведение практической части работы, сопоставление полученных данных с известными математическими моделями предсказывающими эффект влияния наказания и подкрепления в видеоиграх на поведение человека.

Гипотеза исследования: Ненаправленная гипотеза Н1 о существовании различий в эффектах, оказываемых подкреплением и наказанием на поведение у представителей разных социальных групп.

Научная новизна исследования: создание и применение на практике нового психодиагностического метода в рамках предварительного исследования, анализ моделей обучения с подкреплением в рамках видеоигр.

Теоретическая значимость исследования: данные, полученные исследователем, развивают и дополняют ряд существенных аспектов теорий, в которых имеет место подкрепление и наказание, теории классического обуславливания, теории социального научения, теория оперантного научения и др. Основные теоретические результаты исследования могут стать основой для дальнейшего изучения механизма влияния подкрепления и наказания не только в видеоиграх, но и в других сферах человеческой деятельности.

Практическая значимость работы. Выводы, содержащиеся в работе, могут быть использованы при разработке теоретической модели обучения с помощью подкрепления и наказания, основанной на поведенческой и математической психологии, благодаря этому на основе заключений работы может состоятся пересмотр этих факторов как влияющих на поведение. Полученные данные могут быть использованы как в дизайне игровой среды, так для создания терапевтических моделей, снижающих игровую активность.

Структура исследования. Курсовая работа включает в себя следующие разделы: введение, теоретическую часть, практическую часть, заключение, список использованной литературы и приложения.



1. Теоретические основания исследования

1.1 Награды, подкрепление и наказание

Наградой считается всё, что увеличивает частоту поведения. Так наградой может быть позитивное событие, следующее за ответом, или уход от аверсивного событияАверсивное событие - Нечто, вызывающее неприязнь или отвращение. Это может быть стимул (например, лекарственный препарат, вызывающий тошноту), либо событие (внезапный громкий шум или удар электрическим током).. Точно так же наказание является чем-либо, что снижает частоту поведения, и может принимать форму аверсивного события, или ухода от позитивного события Thorndike E. L. Human learning. NY.: Century Company, 1931. Как уже говорилось, ранее психологи, как правило, имели тенденцию относиться к чему-либо, что увеличивает частоту поведения как к подкреплению. Следовательно, награды называют позитивным подкреплением, а уход от наказания называют негативным подкреплением. Реакции испытуемого на стимулы отражены в таблице №1.

Таблица 1 - Влияние позитивных и негативных стимулов на поведение.

	Итоги обуславливания
	Увеличение частоты поведения	Снижение частоты поведения
Позитивные стимулы	Предъявление положительного подкрепления	Удаление аверсивного стимула
Негативные стимулы	Удаление положительного стимула (запрещают)	Предъявление аверсивного стимула

Основным фактором, в определении того, будет ли поведение оперантным или нет являются последствия, вытекающие из этого поведения. Если следствием поведения является не то, что признается субъектом подкрепляющим, поведение не будет подкрепляться. Одна группа последствий, которые явно являются подкрепляющими это те, которые удовлетворяют биологические потребности. Пища является очевидным примером подобного подкрепления. Для голодного человека, еда всегда будет иметь подкрепляющий эффект. Подкрепления, которые удовлетворяют биологическую потребность или драйв известны как первичное подкрепление. Они включают в себя еду, воду, и избегание боли.

Однако существуют многие другие последствия поведения, которые люди находят подкрепляющими, даже если они не удовлетворяют биологическую потребность. К примеру, люди которые не обладают врожденным желанием иметь деньги, с течением жизни учатся принимать деньги как подкрепление. Эти и другие подкрепления называют вторичными. Вторичное подкрепления познаются путем постоянного спаривания с другими существующими подкреплениями. Процесс, при котором ряд подкреплений расширяется, известен как классическое обуславливание Классическое обусловливание - процесс научения, при котором ранее нейтральный стимул начинает ассоциироваться с другим стимулом вследствие того, что второй стимул сопровождает первый..

Некоторые условные подкрепления особенно эффективны, поскольку они могут быть связанными со многими другими подкреплениями. Они называются генерализованным подкреплением. Деньги, жетоны, одобрение и привязанность являются генерализованным подкреплением, так как они могут быть связаны с различными событиями, которые сами по себе являются подкрепляющими.

Основной принцип оперантного обуславливания прост - частота поведения возрастает, если она вознаграждается, и она будет уменьшаться, если такое поведение наказывается. Например, голодная крыса в коробке Скиннера будет в сначала вести себя в манере, которая является естественной для голодных крыс; например, бегать по клетке, пищать, пытаться спастись, и т.д. Если во время выполнения ею этих действий, один ответ - в этом случае, нажатие на рычаг, - приводит к награде обеспечения едой, крыса постепенно узнает, что, нажатие на рычаг приводит к награде пищей. Поведение будет повторяться и, таким образом, выучено. Поведение, которое приводит к награде становится особенно важным для крысы. Тот же самый процесс может быть применен к действию, что позволяет крысе уйти или избежать нежелательных раздражителей.

Другой принцип оперантного обуславливания состоит в том, что как только поведение выучено, частота награды может быть уменьшена. Для научения определённому поведению необходимо сначала подкреплять каждое появление поведения. Когда поведение выучено, с течением времени можно уменьшить частоту подкрепления и по-прежнему вызывать такое же поведение. К примеру, количество нажатий на рычаг для получения подкрепления может изменяться каждый раз, каждые десять раз, или изменить правила таким образом, то что рычаг должен быть нажат непрерывно, и т.д. Бихевиористы провели много экспериментов исследуя какой эффект оказывают различные режимы подкрепления на поведение. Эти режимы подкрепления имеют особое значение для гейм-дизайнера.

Последним из основных принципов оперантного обуславливания является то, что возможно обусловить индивида исполнять определённое поведение за пределами его обычного поведения. Если поведение является особенно сложным, например, это действие, которое требует нескольких шагов, или для его выполнения необходимо особое умение существует вероятность того, что такое поведение невозможно подкрепить напрямую. Вместо этого, можно подкрепить поведение, которое близко к желаемому, и шаг за шагом подкрепляя более похожее поведение на необходимое нам, мы получим желаемое поведение. Этот принцип известен как "формирование поведения". К примеру, видеоигры могут включать в себя различные уровни сложности, и каждый последующий уровень требует, чтобы игрок выполнил более сложный набор действий, чтобы добиться успеха.

1.2 Планирование режима подкрепления

Основной принцип оперантного обуславливания гласит: "возможно увеличить частоту поведения подкрепляя его". Изучение оперантного обуславливания становится более интересным, когда мы посмотрим на то, как системы подкрепления могут быть структурированы таким образом, чтобы оказать наибольшее влияние на поведение Ferster, C. B. & Skinner, B. F. "Schedules of Reinforcement", 1957 New York: Appleton-Century-Crofts. Исследователи изучают как подкрепления могут быть выданы, чтобы быть наиболее эффективным.

Существует три типа режима подкрепления - непрерывный, угасающий и периодический. В непрерывном каждое повторение поведения покрепляется, угасающий является противоположностью непрерывного. Как правило, угасание часто вызывает гнев и разочарование со стороны субъекта. Мы ожидаем, что Вселенная имеет смысл и цель быть последовательной, и при появлении непредвиденных обстоятельств мы можем вспылить. Интересно, что эта реакция также наблюдалась и у многих животных. Это называется "поведенческий контраст". В одном из экспериментов шимпанзе выполняли простое задание - потянуть за рычаг. Выполнив его, шимпанзе вознаграждались кусочками листьев салата, который они любят употреблять в пищу. После выполнения серии проб шимпанзе 1 раз вознаграждали виноградом, который они любят ещё больше чем листья салата. Далее, при следующей пробе, их опять награждали листьями салата, и они были очень огорчены этим, бросая салат в экспериментатора. Новый стимул, более приятный чем предыдущий создает новые ожидания от награды, и когда эти ожидания не оправдываются, (у животных) неизбежно наступает фрустрация и гнев. Подобные эксперименты проводились на голубях, и многих других животных. Между этими двумя экстремумами лежит периодический режим, что только некоторые из повторений поведения подкрепляются. Периодический режим подкрепления включает в себя:

Режим соотношения: в этом режиме подкрепление появляется если поведение осуществляется Х раз. Х может быть вариативным числом.

Интервальный режим - в этом режиме первая реакция в любое время по истечении определенного промежутка времени подкрепляется.

Режим длительности - в этом режиме поведение должно происходить на протяжении какой-либо длительности времени чтобы подкрепиться.

Все эти графики подкрепления могут быть фиксированными или вариативными. В фиксированном графике подкрепление будет появляться в течении заданного периода времени, или после фиксированного числа ответов. В вариативном графике подкрепления, время или количество ответов будет меняться вокруг определенного числа; например, подкрепление будет даваться когда действие будет выполнено от 10 до 20 раз. Если мы примем, что постоянный режим и угасающий режим подкрепления являются ничем иным как двумя экстремумами периодического режима то мы получаем восемь базовых режимов подкрепления Herrnstein, R. J. (1970). On the law of effect. Journal of the Experimental Analysis of Behavior, 13, 243-266. В примерах режимов подкрепления значительное внимание уделяется примерам как из реальной жизни, так и в игровой среде.

Фиксированное соотношение - подкрепление дается после точно определенного количества верных ответов. На рис. №1 изображен график динамики поведения животного в режиме фиксированного соотношения. Полосы перекрывающие линию динамики поведения означают момент получения подкрепления. Буквой А отмечена пост-подкрепляемая пауза (Bernstein, Roy, Srull, & Wickens, 1991; Bootzin, Bower, Crocker, & Hall, 1991)[13].

Примеры:

Работа на фабрике, оплачиваемая по количеству произведённых деталей.

Получение премии на работе на каждые (х) проданных товаров.



Сбор жетонов в игре. Многие игры требуют от игрока сбора определенного количества жетонов для перехода на следующий уровень, чтобы получить дополнительное очко жизни, или другое подкрепление.

Достижение нового уровня в RPG - ролевой игре (или "РПГ"). Некоторые RPG показывают в точности, сколько требуется опыта для достижения нового уровня. Высокий показатель определенности того, сколько потребуется работы для достижения нового уровня, заключает игрока в режим фиксированного соотношения подкрепления.

Вариативное соотношение - подкрепление дается после заданного количества верных ответов.

На рисунке №2 изображен график динамики поведения животного в режиме вариативного соотношения. Полосы перекрывающие линию динамики поведения означают момент получения подкрепления.

Примеры:

Игровые автоматы в казино. [13].

Покупка лотерейных билетов (Pettijohn, 1992).

Поочерёдное закидывание и сматывание удочки перед тем как поймать рыбу. Bootzin, Bower, Crocker, & Hall, 1991;

Сбор жетонов. Некоторые игры требуют от игрока собирать жетоны чтобы чего-то достичь, но варьируют количество требуемых жетонов.

Получение нового уровня в РПГ. Некоторые РПГ не дают точной информации о том, сколько требуется опыта для достижения следующего уровня. Это заключает игрока в режим вариативного соотношения подкрепления.

Крафтинг (производство каких-либо вещей или экипировки самим игроком) в РПГ. Может потребоваться множество попыток, чтобы достичь успеха, и чтобы вещь получила новый уровень, но чем больше раз вы пытаетесь, тем более вероятно что ваше поведение подкрепится.

Фиксированный интервал - первый ответ после фиксированного временного интервала подкрепляется.

На рис. №3 изображен график динамики поведения животного в режиме фиксированного интервала. Полосы перекрывающие линию динамики поведения означают момент получения подкрепления. (Peterson, 1991).

Примеры:

Получение зарплаты каждую неделю.[13]

Проверка почтового ящика по утрам.

Ожидание респауна (возрождения) монстров, где респаун происходит после заданного периода времени. Заметка: в онлайн-играх другие игроки также могут ожидать этого монстра, и в этом случае они находятся в режиме фиксированного интервала и ограниченного удержания.

Получение объектов, сокровищ, или усилений в игре, которые появляются только в фиксированные интервалы времени.

Вариативный интервал - режим, где первый ответ после вариативного временного интервала подкрепляется (Gleitman, 1981).

На рис. №4 изображен график динамики поведения животного в режиме вариативного интервала. Полосы перекрывающие линию динамики поведения означают момент получения подкрепления.

Примеры:

Сотрудники ГАИ, следящие за соблюдением скоростного режима за чертой города.

Ожидание приезда такси. (Baron,1992).

Ожидание респауна монстров в игре, где респаун происходит только в вариативные интервалы времени. Заметка: в мультиплеерных играх другие игроки могут также ожидать этого монстра, и в таком случае они находятся в режиме фиксированного интервала и ограниченного удержания.

Фиксированный интервал с ограниченным удержанием - первый ответ после фиксированного интервала времени подкрепляется, обеспечивая осуществление реакции в течении заданного периода до его окончания.

Примеры:

Ожидание респауна монстров в заполненном мире онлайн игры. Если монстр респаунится в регулярные интервалы времени - игрок должен ждать фиксированный период времени чтобы его убить. Тем не менее если монстра после определенного периода ожидания нету - высока вероятность того, что его убил другой игрок.

Получение объектов, сокровищ, или усилений, которые появляются только в ограниченный период фиксированных временных интервалов.

Вариативный интервал с ограниченным удержанием - первый ответ после вариативного интервала времени подкрепляется, обеспечивая осуществление реакции в течении заданного периода до его окончания.

Примеры:

Получение наград, объектов, или усилений которые появляются только на ограниченное время в случайный момент.

Ожидание респауна монстра в заполненном людьми онлайн мире - если монстр респаунится в вариативные интервалы времени игрок должен ожидать фиксированное количество времени чтобы убить монстра, тем не менее, если монстра нету после определенного периода ожидания - вероятно что его убил другой игрок.

Фиксированная длительность - чтобы быть подкрепленным, поведение должно осуществляться непрерывно на протяжении всего фиксированного временного интервала.

Примеры:

Игры с ограниченным временем на прохождение уровня. Для продвижения, игроку требуется постоянно проявлять активность на протяжении фиксированного периода, к примеру стрелять в инопланетян или зачищать все предметы на уровне.

Вариативная длительность - чтобы быть подкрепленным, поведение должно осуществляться непрерывно на протяжении всего вариативного интервала времени.

Примеры:

Симуляторы охоты. Игроку необходимо сидеть в засаде. Для успешного итога вариативной длительности поведение должно продолжаться неопределённое количество времени, и игрок должен продолжать сидеть в засаде в течении всего периода.

Симуляторы гонок. Игрок должен водить средство передвижения всю гонку, чтобы выиграть.

1.3 Какой режим подкрепления является "наилучшим"

Если целью является генерация наибольшего количества повторений поведения в течении наибольшей длительности - в таком случае, осознанное применение режимов соотношения подкрепления является наилучшим способом. Кроме того, вариативное соотношение подкрепления демонстрирует более длительную сопротивляемость затуханию (снижению эффективности) любого режима подкрепления, и это означает, что возможно значительно увеличить время между подкреплениями без снижения количества ответов. Таким образом, осуществляя вариативное соотношение режима подкрепления, гейм-дизайнер может обуславливать игроков продолжать совершать поведение на протяжении очень долгих интервалов времени без получения какого-либо подкрепления Ferster, C. B. & Skinner, B. F. "Schedules of Reinforcement", 1957 New York: Appleton-Century-Crofts. . Неудивительно, что игры ,которые считаются как затягивающими, или которые становятся причиной зависимости более чем вероятно пользуются вариативным соотношением режима подкрепления. Это, как бы то ни было, не означает, что этот режим подкрепления - наилучший, и могут существовать веские причины для того, чтобы пользоваться другими коэффициентами режима подкрепления.

В то время как режимы соотношения подкрепления вырабатывают наибольший уровень ответов, не означает, что этот тип подкрепления является наиболее приятным для игрока. Работники на фабриках часто получают оплату согласно режиму соотношения, то есть их зарплата зависит от количества произведённых ими деталей. Владельцы фабрик предпочитают такой способ оплаты. Работники, однако, находят такой режим зарплаты нежелательным, потому что они заставляют их работать перенапрягаясь, оставляя их нервными и истощенными после рабочего дня. Давление профсоюзов часто приводит к смене режима заработка на почасовую систему, т.е. на режим длительности. Злоупотребление вариативным соотношением в игре может привести к тому, что игроки будут чувствовать себя перегоревшими, уставшими, и безрадостными независимо от их игрового опыта даже если они осознают что их вынуждают играть. Эта реакция - не то, чего хочет гейм-дизайнер для своих игроков. Дизайнер также желает использовать другие режимы подкрепления - интервальные, которые продолжат мотивировать игрока, но оставят его менее истощенным к концу игровой сессии.

Другие режимы подкрепления хорошо подходят для определенных ситуаций. Пока вариативное соотношение подкрепления - лучшее в поддержании поведения, фиксированное соотношение и режимы длительности - лучшие для усвоения новых видов подкрепления Ferster, C. B. & Skinner, B. F. "Schedules of Reinforcement", 1957 New York: Appleton-Century-Crofts. Экспериментаторы часто используют режим фиксированного соотношения, когда с самого начала научают поведению, и только потом переключаются на вариативный режим соотношения подкрепления. К примеру, во многих видеоиграх дизайнеру требуется сначала научить или натренировать игрока как играть в игру, и для этого фиксированное соотношение и режимы длительности - лучшие способы этого достичь.

На рисунке №5 показано сравнение динамики подкрепления поведения такими режимами как Вариативное соотношение, Фиксированное соотношение, Вариативный интервал и Фиксированный интервал. Как мы можем увидеть, количество ответов за временной период увеличивается при переходе от Фиксированного интервала к Вариативному интервалу, и от Фиксированного соотношения к Вариативному. Как уже было сказано выше, интервальные режимы имеют слабую сопротивляемость росту напряжения в системе, а следовательно им тяжелее вызывать всё более высокий уровень ответов. В дополнение, фиксированные интервалы вызывают пост-подкрепляемые паузы, таким образом они проигрывают вариативным режимам подкрепления по количеству повторений поведения Kazdin, A.E. Behavior Modification in Applied Settings, Belmont, Brooks/Cole, 1989.

1.4 Система наград в типичных приключенческих видеоиграх

Типичная система совершенствования в играх, от ранних "ручка-бумага", таких как "Dungeons and Dragons", до таких РПГ как "World of Warcraft" World of Warcraft - многопользовательская ролевая онлайн-игра, разработанная и издаваемая компанией Blizzard Entertainment. Согласно книге рекордов Гиннесса, World of Warcraft является самой популярной MMORPG в мире. и "Dark age of Camelot", в которых персонажи игрока должны улучшать свой уровень и способности. Чтобы получить уровень, персонажи должны заработать очки опыта, которые обычно даются за убийство монстров, или получение сокровища. Способности обычно получаются посредством практики, каждое успешное применение способности увеличивает шанс, что игрок станет лучше пользоваться этой способностью, или сам уровень способности повысится. В дополнение к убийству монстров и улучшению способностей, игроки могут получить объекты и сокровища, выучить новые заклинания, исследовать игровой мир, заводить друзей и достигать статуса.

Вариативные награды часто взаимосвязаны. Ниже даны примеры подобных событий.

Игроку может потребоваться получить определенный уровень, чтобы выучить новую способность или заклинание.

Наилучшие заклинания, броня и оружие позволяют игрокам убивать монстров, а следовательно получать опыт быстрее и легче.

Лучшие способности позволяют игрокам убивать более сильных монстров, и, создавать лучшее оружие, получать внутриигровую валюту, и т.д.

На высоких уровнях игроки могут выжить исследуя более опасные зоны.

На высоких уровнях игроки могут убивать более сильных монстров, получая больше опыта и зарабатывать больше наград

Получение редкого или востребованного предмета и получение большего уровня увеличивает статус игрока в игре.

Для того, чтобы поддерживать дружеские отношения, игрок должен продвигаться по уровням с той же скоростью что и его друзья, иначе, они останутся позади (или наоборот) и не смогут пережить сражение с монстрами, которых их друзья берут на себя. Для игр без сетевой поддержки это также работает, но в другом виде социального подкрепления.

Для многих игроков достижение новых уровней (или продвижение по игре) и следственно увеличение статуса, становятся первостепенным подкреплением, и причиной, по которой они продолжают играть. Если достижение новых уровней будет простым, их ценность как подкрепления (за единицу) снизится. Игроки смогут быстро достичь максимального уровня, и статус получения самого высокого уровня снизится. Дизайнеры, следовательно, должны внедрить систему уровней, так, что достижение каждого уровня требует больших усилий, и получение высочайших уровней потребует огромного количества усилий.

В классической версии игры World of Warcraft, игрок в среднем способен прокачаться с 1 до 4 уровня за несколько часов игры, а прокачка с 5 до 10 уровня может занять несколько дней игры. Достижение самых высоких уровней, занимало месяцы, или даже годы усилий. Тем более немаловажен сам способ повышения уровня персонажа.

Экспоненциальный рост игрового времени, которое требуется для того, чтобы достичь следующего уровня имеет следующее преимущество.

Он убеждает игроков, что игроку требуется больше времени, чтобы достичь больших уровней, и призывает их продлить подписку на игру

Он гарантирует игроку, что высокие уровни - редкое явление, и это является сильным подкреплением для игроков, стремящихся к статусу.

Тем не менее быстрый рост сложности условий, требуемых для получения подкрепления - (получение нового уровня) вызывает относительное напряжение. Напряжение режима включает в себя риск, что игрок в какой-то момент найдет усилия, затрачиваемые на достижение нового уровня непропорциональными самой награде, и может просто отказаться от этих усилий, и, соответственно, отказаться от игры Medler, B., John, M. and Lane, J. Data Cracker: Developing a Visual Game Analytic Tool for Analyzing Online Gameplay. In Proceedings of CHI 2011. Vancouver, BC Canada. Неудивительно, что геймдизайнеры выбирают режимы соотношения подкрепления для продвижения по уровням, потому что эти режимы имеют наименьшую восприимчивость к напряжению режима. Как мы можем увидеть, все фиксированные режимы подкрепления вызывают пост-подкрепляемые паузы - временное снижение частоты поведения после подкрепления, длительность которого зависит от величины подкрепления, и длительности временного интервала, после которого поведение будет снова подкреплено. Геймдизайнеры также часто не дают точной информации, сколько усилий потребуется для достижения следующего уровня, устанавливая продвижение по уровням на режим вариативного соотношения, Такой режим, показывает наибольшую сопротивляемость угасанию поведения, режим, который не производит никаких пост-подкрепляемых пауз, и который наиболее эффективен в производстве высокого уровня ответа в течении длительного периода времени Toma, C. L. Affirming the Self through Online Profiles: Beneficial Effects of Social Networking Sites. In Proceeding of CHI 2010, р. 1749-1752.

В дополнение к увеличению опыта, необходимого для получения следующего уровня, другие методы часто используются, чтобы сделать достижение следующего уровня более сложным. К примеру:

Игрок может получать опыт только от монстров (убийства), которые находятся близко по уровню к игроку или выше, так что игроки должны искать более сильных монстров, чтобы получить опыт, и продвинуться. Либо получать валюту\опыт только за те задания, которые предназначены примерно для его уровня (в среднем стандартное отклонение равняется 2,24).

На ранних уровнях игроки могут убить монстра близкого к ним по уровню (разброс в играх колеблется ±5 уровней), в то время как на высоких уровнях для убийства монстра может потребоваться группа игроков, поэтому на более высоких уровнях игроку придется найти группу других игроков для совместных приключений.

В то время как игра в группе обычно более веселая, часто занимает много времени найти подходящую группу, с которой можно сойтись. Им надо быть не только такого же уровня как и вы, им также необходимо играть за другие классы. К примеру, обычно желательно иметь в группах бойцов, лекарей и волшебников. Логистика поиска групп может быть сложным и длительным процессом.

При борьбе в группе вы делитесь опытом, это означает что вы получаете меньше опыта за убийство монстра. Чем больше игроков в группе, тем меньше опыта вы получите, однако тем проще будет убить этого монстра.

1.5 Параллельные режимы подкрепления

В жизни нам часто представляются множественные режимы подкрепления, и наши действия в любой момент - результат выбора между альтернативами. Психологи пытались понять, как организмы выбирают между множествами типами режима подкрепления, и отметили поразительную согласованность наших выборов. Они обнаружили, что организмы выбирают режим подкрепления в точной пропорции по отношению к частоте, величие, или задержке подкрепления для каждого из режимов. К примеру, если голубь получает одну порцию еды за то, что ударит по синему ключу пять раз, но две порции еды за 5 ударов по красному, голуби будут бить красную кнопку в два раза чаще чем синюю. Точно также, если режим предусматривает подкрепление в два раза чаще другого, организмы выбирают этот режим над другим в соотношении 2:1. Эта связь известна под названием "закон соответствия", который гласит, что относительная скорость реакции на альтернативный выбор приблизительно равна отношению к частоте, величие и незамедлительности подкрепления получаемого за выбор этой альтернативы Miltenberger, R. G. "Behavioral Modification: Principles and Procedures". Thomson/Wadsworth, 2008. p. 86 .

Исследования пищевого поведения животных в их естественной среде дали результаты, согласующиеся с этим законом. Позже была разработана теория оптимального фуражирования, в 1966 году Р. Макартуром. Теория оптимального фуражирования гласит, что пищевое поведение зависит от соотношения между количеством энергии, затрачиваемом при поиске, получении и употреблении пищи, и количеством энергии которое обеспечивает питание. Чистая прибыль энергии определяет размер, качество, дефицит, и работу, затраченную на завладение добычей. Когда дается выбор между едой, животные выберут в точной пропорции к чистой прибыли энергии из различных вариантов питания (т.е. применяет этот закон). Постулат теории звучит так - животное стремится максимально увеличить скорость потребление энергии, которую оно получает из добычи. Поведение фуражирования животных, как например пчел, сов, и грызунов были рассчитаны с высокой точностью благодаря теории оптимального фуражирования, и её формуле , где - скорость потребления пищи, - количество энергии данного вида добычи, t1 - время поиска добычи, t2 - время обработки добычи.

1.6 Практические вопросы реализации системы вознаграждения в онлайн-игре

При анализе дизайна онлайн-игры со стороны оперантного научения (обуславливания), необходимо определить

Какой режим подкрепления применяется?

Какие награды (будут) использованы в игре?

Какое поведение подкрепляется?

В некоторых играх этот процесс прост. К примеру, очевидно, что онлайн-покер следует режиму переменного подкрепления. В других играх разгадать режим подкрепления гораздо сложнее. К примеру разные игроки могут находить различные части одной игры подкрепляющими. Например некоторые игроки в онлайн-тетрис могут находить подкрепляющим: ставить блоки идеально, другие - заполнять ряды. При этом оба игрока пользуются разным вариативным режимом подкрепления.

Вопрос о внедрении систем вознаграждения осложняет факт научения вторичным подкреплениям. Игрок, которому нравится заполнять ряды, наверняка научится наслаждаться от идеальной постановки блоков, и теперь будет оперировать двумя режимами подкрепления. Немного подкреплений выучивается, но главенствующие мотивы игры из-за них могут измениться. К примеру новые игроки могут быть мотивированы шансом исследовать игру и протестировать возможности, ею предлагаемые. Когда они исчерпывают свое первоначальное любопытство, они могут перейти к попыткам заработка очков, еще позже, они могут приступить к попыткам получить больше очков чем другие игроки.

Следующее осложнение состоит в том, что может измениться не только система наград, но и тип режима подкрепления используемый по ходу игры. К примеру, награда может изначально быть предусмотрена с фиксированным соотношением, но по ходу игры режим может измениться на переменный тип. Анализ дизайна игровых наград требуется с обеих сторон - новичка и опытного игрока.

Для примера рассмотрим онлайн-тетрис - это простая игра, но она использует множество типов подкрепления. Все они оперируют на вариативном режиме.

Позитивное подкрепление - получение очков и заполнение рядов, высокий счет очков и его улучшение, заполнение пространства блоками, выигрыш или переход на след уровень.

Негативное подкрепление - избегание проигрыша, построение столбцов из блоков, неудача в увеличении рекорда очков.

1.8 Позитивные и негативные стимулы как факторы воздействия на поведение

Существует два основных вида подкрепления и наказания. В предыдущей части работы мы говорили только о положительных стимулах. Существуют также негативные подкрепления и наказания. Стимул считается негативным, если после определённого поведения происходит удаление аверсивного стимула (подкрепление), или удаление подкрепляющего стимула (наказание). Наглядная классификация представлена в табл.№99

Таблица

	Позитивное	Негативное
Подкрепление	Получение награды	Удаление аверсивного стимула
Наказание	Потеря награды	Удаление подкрепляющего стимула

Тем не менее, современная наука обладая определением данного вида стимула, несмотря на активное употребление его в научной литературе не смогла установить однозначную зависимость и связь между позитивными и негативными факторами подкрепления. Негативное подкрепление активно используется в нашей повседневной жизни. Например:

Неприятный звук при не пристёгнутом пассажире в автомобиле является негативным стимулом, а наградой считается исчезновение этого звука, если пассажир пристегнётся (Gredler, 1992).

Приём таблетки аспирина при головной боли. Головная боль как негативный стимул, который удаляется при приёме аспирина Buskist & Gerbing, 1990; Gerow, 1992.

Подкрепление и наказание являются природным арсеналом в управлении подведением. Хорошо известно, что подкрепляющие и нет стимулы оказывают критически сильное влияние на поведение. Как уже говорилось выше, с начала прошлого века психология сделала неизмеримо большой шаг в изучении поведения человека и животных. Были разработаны тысячи теорий, проведены десятки тысяч экспериментов и многое другое. Затраченные усилия не прошли даром, полученные данные были использованы в множестве ситуаций, в том числе на первый взгляд не относящиеся к психологии. Примером того может служить проектировка вокзалов, где особое расположение "препятствий" рассеивает толпу, улучшает инфраструктуру и т.п. Несмотря на то, что фундаментальные законы подкрепления были сформулированы относительно давно, и претерпели за время своего существования мало изменений, существует насущная потребность в постоянном совершенствовании теоретического аппарата, не в последнюю очередь благодаря специфике нашего постоянно развивающегося и изменяющегося мира. До настоящего времени неизвестно об однозначном различии подкрепления и наказания и их влияния на поведение. С одной стороны, приверженцы однофакторной теории предполагали (как и сам Торндайк), согласно закону эффекта, что подкрепление и наказание, грубо говоря, являются стимулами, симметрично расположенными на отрезке [-1;1], где положительный стимул является подкреплением, а отрицательный - наказанием. Иначе говоря - подкрепление увеличивает частоту поведения, наказание её снижает, и величины этих эффектов равны Miltenberger, R. G. "Behavioral Modification: Principles and Procedures". Thomson/Wadsworth, 2008. p. 86 . С другой стороны, к этому утверждению стоит относиться лишь как к допущению, ибо оно не подкреплено достаточными эмпирическими данными. Виной тому - недостаточно совершенная экспериментальная среда, и нехватка креативных методов по оценке влияния подкрепления и наказания. В прошлом веке из-за недостаточно развитого технического оснащения, и невозможности стандартизации в одной шкале измерения положительного и отрицательного подкрепления оставалось только избегать данных вопросов. Оставался неразрешённым вопрос: "Оказывают ли эти факторы симметричное, или качественно различное влияние на поведенческие реакции". В противоположность однофакторной теории, приверженцы двухфакторных теорий смотрят на подкрепление и наказание как качественно различные факторы, влияющие на поведение.

Немногие источники базовой литературы по вопросам науки о поведении поддержали больший уклон в прикладное применение полученных знаний, чем исследовании и совершенствовании теории о аверсивном контроле (наказание и негативное подкрепление) поведения. Вероятно, наиболее наглядно это продемонстрировал Skinner (1953, 1971, 1974) Skinner, B.F. (1953). Science and human behavior. New York: Macmillan. doi: Skinner, B.F. (1971). Beyond freedom and dignity. New York: Knopf.Skinner, B.F. (1974). About behaviorism. New York: Knopf. и Сидман idman, M. (1989). Coercion and its fallout. Boston: Authors Cooperative. Они экстраполировали эту работу, чтобы выдвинуть обширное заключение о предполагаемых опасностях аверсивного контроля поведения в повседневной жизни, что повлекло за собой уточнение учебников по прикладному бихевиоризму.( Cooper, J.O., Heron, T.E., & Heward, W.L. (2007). Applied behavior analysis (2nd ed.). Upper Saddle River, NJ: Pearson.)и другие трактаты о роли контроля за поведением в повседневной жизни. Baum, W.M. (2005). Understanding behaviorism: Behavior, culture, and evolution (2nd Ed.). Malden, MA: Blackwell. Daniels, A. (1984). Bringing out the best in people: How to apply the astonishing power of positive reinforcement. New York: McGraw Hill.1чтобы повторить их заключения с дополнением результатов прикладного бихевиоризма. Однако, вплоть до этого момента, фундамент отрасли поведенческой психологии - о аверсивном контроле поведения, на которой основаны практические советы, ещё далек от однозначного и устоявшегося построения. Действительно, на протяжении многих десятилей наука о поведении погрязла в классических рассуждениях об аверсивном контроле поведения, которые мало свидетельствуют о окончательном разрешении этой проблемы . Baron, A. (1991). Avoidance and punishment. In I.H. Iverson & K.A. Lattal (Eds.), Experimental analysis of behavior, Part 1 (pp. 173-217). Amsterdam: Elsevier.Baron, A., & Galizio, M. (2005). Positive and negative reinforcement: Should the distinction be preserved? The Behavior Analyst, 28, 85-98.Critchfield, T.S., Paletz, E., MacAleese, K., & Newland, M.C. (2003). Punishment in human choice: Direct or competitive suppression? Journal of the Experimental Analysis of Behavior, 80, 1-27.

Таким образом, стандартные рекомендации по контролю поведения с упоминанием аверсивного контроля могут представлять собой случаи натягивания практики на теорию. В связи с этим возникает насущная потребность вернуться к наиболее фундаментальным вопросам об управлении аверсивными стимулами для прогресса в поведенческой психологии. Critchfield, T.S., & Farmer-Dougan, V.F. (2014). Isolation from the mainstream: Recipe for an impoverished science. European Journal of Behavior Analysis, 15, 6-13. Что касается негативного подкрепления, центральный вопрос до сих пор остающийся без ответа касается того, как оно отличается от положительного подкрепления, в частности, являются ли эти подкрепления различными на фундаментальном уровне, или же позитивное и негативное подкрепление остаются "двумя сторонами одной монеты" Mowrer, O.H. (1947). On the dual nature of learning--a re-interpretation of “conditioning” and “problem solving.” Harvard Educational Review, 17, 102-148.. Периодические обновления и расширения этих двух концепций не привели ни к консенсусу враждующие стороны Baron, A., & Galizio, M. (2005). Positive and negative reinforcement: Should the distinction be preserved? The Behavior Analyst, 28, 85-98... Dinsmoor, J.A. (2001). Stimuli inevitably generated by behavior that avoids electric shock are inherently reinforcing. Journal of the Experimental Analysis of Behavior, 75, 311-333., ни к какому либо коллективному исследованию этих факторов, которые обычно необходимы для разработки и продвижения научной теории Critchfield, T.S., & Rasmussen, E.B. (2007). It's aversive to have an incomplete science of behavior. Mexican Journal of Behavior Analysis, 33, 1-6..

Барон и Галицио Baron, A., & Galizio, M. (2005). Positive and negative reinforcement: Should the distinction be preserved? The Behavior Analyst, 28, 85-98 отметили, что прежде, чем спросить, как различаются положительное и отрицательное подкрепления, нужно установить, что они различаются. Это замечание обращает внимание на историческую двусмысленность, в отношении того, что выражается терминологическим различием между положительным и отрицательным подкреплением. Действительно ли позитивное и негативное подкрепление по-разному контролируют поведение? К сожалению, в течении почти века эмпирических исследований положительное и отрицательное подкрепление изучалось главным образом в отдельных экспериментах, а это означается, что анализ в основном требует сравнения результатов, генерируемых неидентичными процедурами. В подавляющем большинстве случаев процедуры, используемые для изучения положительного и отрицательного подкрепления не являются достаточно схожими для проведения значимых сопоставлений поведенческих эффектов Hineline, P.N. (1984). Aversive control: A separate domain? Journal of the Experimental Analysis of Behavior, 42,pp..1984.42-495. Филипп Хинелин отмечает, что сходство положительного и отрицательного подкрепляющих эффектов более велико, чем их различия. В дополнение, в начиная с середины прошлого века исследователями неоднократно предпринимались попытки разработки негативных подкрепляющих процедур, которые были бы параллельны позитивным Azrin, N.H., Holz, W.C., Hake, D.F., & Ayllon, T. (1963). Fixed-ratio escape reinforcement. Journal of the Experimental Analysis of Behavior, 6, 449-456. Dinsmoor, J.A. (1962). Variable-interval escape from stimuli accompanied by shocks. Journal of the Experimental Analysis of Behavior, 5, 41-47. Verhave, T. (1962). The functional properties of a time out from an avoidance schedule. Journal of the Experimental Analysis of Behavior, 5, 391-422.. Тем не менее их выводы в большинстве своём основывались на сравнении различных экспериментов исследовавших позитивное и негативное подкреплению, и зачастую сравниваемые эксперименты не были процедурно идентичными, или хотя бы достаточно схожими, чтобы можно было с некоторыми допущениями однозначно утверждать о наличии сходств и различий. В ходе исследования данного вопроса мы обнаружили основные препятствия и шаги, которые нужно предпринять для оценки сходства и различия позитивного и негативного подкрепления. В их число входят:

Необходимость сравнения позитивных и негативных подкреплений и наказаний в рамках одного исследования.

Необходимость оперировать вторичными подкреплениями и наказаниями повсеместно в ходе исследования.

Необходимость проведения оценки влияния на поведение как позитивных, так и негативных стимулов на каждом из испытуемых, а не отдельно.

Необходимость в качестве испытуемых использовать уравненную выборку людей.

Последний фактор особенно интересен в рамках поведенческой психологии. Исторически так сложилось, что эта наука, ставившая приоритет изначально исследовать элементарные элементы поведения, все эксперименты изначально предлагала проводить на животных, или по крайней мере допускать возможность предварительного исследования на животных, чаще всего голубей или шимпанзе. В нашем случае становится очевидным, что провести однозначную стандартизацию позитивных и негативных подкреплений к одной шкале для животных не представляется возможным, или по крайней мере, это создаст исключительную сложность при доказательстве валидности эксперимента, вдобавок к очень низкому показателю экономичности.

Эта дискуссия о сходстве и различии позитивного и негативного подкрепления остается, по большей части, неразрешённой, главным образом, по двум причинам. Во-первых, трудно сравнивать качественно различные факторы, к примеру подкрепление в виде еды и электрический шок как наказание в общем масштабе. Решением этой проблемы является работа с подкреплением и наказанием которые однородны. Во-вторых, предыдущие исследования ставившие перед собой этот вопрос использовали чрезмерно сложные парадигмы. Сложность научной парадигмы сильно затрудняет исследование влияния награды и наказания на поведение. Следовательно, для проведения объективного научного исследования необходимо использовать простую парадигму, с наименьшим количеством факторов Cronbach Lee J. Essentials of Psychological Testing (Third Edition). NY.: Harper and Row, 1970