Главная
База знаний "Allbest"
Программирование, компьютеры и кибернетика
Психологическая интуиция искусственных нейронных сетей
Психологическая интуиция искусственных нейронных сетей
Психодиагностика и нейронные сети. Математические модели и алгоритмы психодиагностики. Решение нейросетями задач психодиагностики. Интуитивное предсказание нейросетями взаимоотношений. Полутораслойный предиктор с произвольными преобразователями.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | диссертация |
| Язык | русский |
| Дата добавления | 02.10.2008 |
| Размер файла | 643,7 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
1.7.4 Обучение сети
В данной задаче обучение будет происходить по “коннекционистской” модели, то есть за счет подстройки весов синапсов.
Суть обучения состоит в минимизации функции ошибки , где W- карта весов синапсов. Для решения задачи минимизации необходимо вычисление градиента функции по подстраиваемым параметрам:
1.7.5 Обратное функционирование
Расчет градиента ведется при обратном отсчете тактов времени по следующим формулам:
Для синапса связи:
Для синапса памяти:
Окончательно после прохождения q тактов времени частные производные по весам синапсов будут иметь вид для синапсов памяти и для синапсов связи соответственно:
Выводы главы 1
Применяемый в психодиагностике математический аппарат недостаточно удовлетворяет современным требованиям.
Насущной является потребность во внедрении в психодиагностические методики математического аппарата, связанного с распознаванием образов и восстановлением зависимостей.
Существующие математические методы и алгоритмы слишком сложны и трудоемки для применения их специалистами - предметниками, в том числе и психодиагностами и не позволяют компьютерным методикам непосредственно по прецедентам перенимать опыт человека-специалиста.
Использование математического аппарата нейронных сетей при создании нейросетевых экспертных психологических систем позволяет свести к минимуму требования к математической подготовке их создателей.
Глава 2. Решение нейросетями классических задач психодиагностики
2.1 Классический эксперимент
Специфические особенности математического аппарата нейронных сетей, детально описанные в [36], [41] и опыт их применения в различных областях знания (см. например [5], [8], [10], [13], [84], [86]) подсказали возможность решения при их помощи и психологических задач.
Предполагалось проверить несколько возможностей использования нейронных сетей, а именно:
- Во первых - ожидалось решение серьезной проблемы, возникающей у разработчиков и пользователей компьютерных психологических тестов, а именно адаптивности методик. Математическое построение современных объективных диагностических тестов основано на сравнении, сопоставлении выявленного состояния с нормой, эталоном [21], [71]. Однако понятно, что нормы выработанные для одной социокультурной группы вовсе не обязательно являются таковыми же для другой (в качестве примера можно привести сложности, которые приходится преодолевать при адаптации зарубежных методик). Нейросетевые же имитаторы обладают полезной в данном случае особенностью дообучаться по тому материалу, который предоставит конкретный исследователь.
- Во вторых - предполагалось использование нейросетевого имитатора как рабочего средства исследователя.
- В третьих - оценка возможности создания при помощи нейронных сетей новых, нестандартных тестовых методик. Предполагалось проверить возможность выдачи непосредственных рекомендаций по преобразованию реального состояния объекта, минуя стадию выставления диагноза (построения "измеренной индивидуальности" [26]).
Исследование было выполнено с применением нейросетевых программных имитаторов объединения "НейроКомп" [36], [41], [70], [85], [87] на психологическом материале, собранном в Красноярском гарнизонном военном госпитале.
В первую очередь предстояло выяснить, доступен ли нейросетям тот уровень диагностики, который уже достигнут при помощи стандартных психологических тестов. Для получения результатов максимальной достоверности была выбрана достаточно проверенная клинической практикой психологическая методика ЛОБИ [57] (Личностный Опросник Бехтеревского института). Кроме того, немаловажным фактором в выборе именно этого теста было и то, что методика четко алгоритмизована и имеет реализацию в виде компьютерного теста.
Итак задачей эксперимента было определить, насколько адекватно нейросетевой имитатор может воспроизвести результаты типовой психологической методики в постановке диагноза пациенту.
Рассмотрев данную задачу, а также имеющиеся в наличии нейросетевые программы было решено воспользоваться нейросетевым имитатором MultiNeuron (описание пакета см. в [85], [87]).
Пакет программ MultiNeuron представляет собой программный имитатор нейрокомпьютера, реализованный на IBM PC/AT, и, в числе прочих функций, предназначен для решения задач n-арной классификации. Данный пакет программ позволяет создавать и обучать нейросеть для того, чтобы по набору входных сигналов (например, по ответам на заданные вопросы) определить принадлежность объекта к одному из n (n<9) классов, которые далее будем нумеровать целыми числами от 1 до n. Необходимая для обучения выборка была составлена из результатов обследования по методике ЛОБИ 203 призывников и военнослужащих проходящих лечение в Красноярском гарнизонном военном госпитале и его сотрудников. При этом было получено 12 файлов задачника для MultiNeuron (по гармоническому типу выборка содержала недостаточно данных - 1 пример с наличием данного типа).
Задачники были сформированы из строк ответов, представляющих собой цепочку из 162 сигналов, каждый из которых отвечал за 1 из вопросов опросника ЛОБИ по следующему принципу: -1 - выбран негативный ответ на данный вопрос, 1 - выбран позитивный ответ, 0 - вопрос не выбран. Данная система обозначений была выбрана, исходя из желательности нормировки входных сигналов, подаваемых на вход нейронов на интервале [-1,1]. Ответ задавался классами, 1 класс - тип отсутствует, 2 класс - тип диагностируется. При этом для чистоты эксперимента по собственно типам реакции на стресс было принято решение отказаться от диагностики негативного отношения к исследованию и исключить из обучающей выборки такие примеры.
В общих чертах суть экспериментов сводилась к следующему: часть примеров исходной выборки случайным образом исключалась из процесса обучения. После этого нейронная сеть обучалась на оставшихся, а отобранные примеры составляли тестовую выборку, на которой проверялось, насколько вычисленные ответы нейронной сети соответствуют истинным.
В процессе обучения нейронных сетей с различными характеристиками автор пришел к выводу, что для данной задачи можно ограничиться числом нейронов равным 2 (то есть по 1 нейрону на каждый из классов). Наилучшие результаты при тестировании на проверочной выборке показали сети с характеристическим числом нейронов c=0.4.
Для подробной обработки была взята выборка, отвечающая за эргопатический тип ЛОБИ. Серия экспериментов по обучению сети показала, что полносвязная сеть, обучаемая на выборке из 152 примеров, не показывает результат лучше, чем 90% правильных ответов (в среднем же - около 75%). Тот же результат подтвердился при проведении сквозного тестирования, когда обучение производилось на 202 примерах, а тестировался 1. После обучения 203 сетей по такой методике был получен сходный результат - уверенно правильно было опознано 176 примера (86.7%), неуверенно правильно - 4 (1.97%), неверно - 28 (13.79%), то есть общий процент правильных ответов составил 88.67. Следует, однако, отметить, что рост числа примеров обучающей выборки до 200 позволили улучшить число правильных ответов до гарантированной величины 88.67% (см. выше). Следует предположить, что дальнейшее увеличение обучающей выборки позволит и еще улучшить данный результат. Кроме того, причина ошибок в определении эргопатического типа по ЛОБИ может скрываться в недостаточном числе примеров с наличием данного типа (отношение примеров с наличием и отсутствием типа составляет 29:174). Это подтверждается также и тем, что среди примеров с наличием типа процент неверных ответов ( 12 из 29 или 41.38%) несопоставимо выше чем в выборке в целом. Можно, таким образом, сделать вывод, что нейронные сети при использовании определенных методов улучшения результатов (см. ниже) позволяют создавать компьютерные психологические тесты, не уступающие ныне применяющимся методикам, но обладающие новым и очень важным на практике свойством - адаптивностью.
2.2 Оценка значимости вопросов теста
Представляет также интерес результат, полученный при оценке значимости входных сигналов (соответственно - вопросов ЛОБИ).
Пусть некоторый функциональный элемент нейронной сети преобразует поступающий на него вектор сигналов A по какому-либо закону , где - вектор адаптивных параметров. Пусть H - функция оценки, явно зависящая от выходных сигналов нейросети и неявно от входных сигналов и параметров нейросети. При двойственном функционировании будут вычислены частные производные для элемента v. Эти производные показывают чувствительность оценки к изменению параметра, чем больше , тем сильнее изменится H при изменении этого параметра для данного примера. Может также оказаться, что производная по какому-либо параметру очень мала по сравнению с другими, это означает, что параметр практически не меняется при обучении. Таким образом, можно выделить группу параметров, к изменениям которых нейросеть наименее чувствительна, и в процессе обучения их вовсе не изменять. Разумеется, что для определения группы наименьшей или наибольшей чувствительности необходимо использовать частные производные функции оценки по параметрам в нескольких циклах обучения и для всех примеров задачника. Во время обучения нейросети динамика снижения функции оценки меняется на разных этапах обучения. Бывает важным определить, какие входные сигналы на данном этапе обучения существенны для нейросети, а какие нет. Такая информация полезна в тех случаях, когда размерность вектора входных сигналов велика и время обучения также оставляет желать лучшего, поскольку позволяет уменьшить размерность вектора входных сигналов без ухудшения обучаемости нейросети.
Предлагается следующий алгоритм решения такой задачи: через несколько циклов после начала обучения нейронной сети включаем процедуру вычисления показателей значимости. Момент начала запуска данной процедуры желательно подбирать индивидуально в каждом конкретном случае, поскольку в первые несколько циклов обучения нейросеть как-бы "рыскает" в поисках нужного направления и показатели значимости могут меняться на диаметрально противоположные. Далее происходит несколько циклов обучения, в ходе которых накапливаются показатели чувствительности в какой-либо норме.
1)
2)
где - норма для i-го сигнала, - оценка значимости i-го сигнала в k-м примере, M - число циклов подсчета значимости. После того, как показатели подсчитаны, можно произвести уменьшение числа входных сигналов. Уменьшение следует производить исходя из того, что чем меньше значение тем менее оно влияет на процесс обучения.
2.3 Контрастирование сети по значимости вопросов теста
Таким образом, наряду с вычислением показателей значимости для оценки степени обученности нейросети, определением групп значимых сигналов появляется возможность на ранних этапах отсеивать сигналы, маловлияющие на процесс обучения и работу обученной нейросети.
Однако следует отметить, что данный алгоритм не страхует от того, что параметр, оказавшийся неважным в начале обучения, не станет доминирующим при окончательном доучивании нейронной сети.
Исходя из таких посылок, автор произвел расчет параметров значимости сигналов (вопросов) опросника ЛОБИ. При выборе сигналов с максимальной значимостью был получен список номеров вопросов, важных для определения данного типа, причем он в существенной части совпадал с ключевой выборкой для данного типа по ЛОБИ. При отсечении малозначимых входов был получен интересный результат - качество обучения сети существенно улучшилось (на 2-х таких сетях был получен результат 95.24% и 90.48%, или 20 и 19 правильных ответов из 21 тестового примера). Какой же вывод позволяет сделать данный результат?
Из самых грубых оценок необходимого объема экспериментальной выборки при создании тестовой методики следует, что если размерность "ключевой последовательности" составляет N вопросов, то для вычисления весовых коэффициентов при этих вопросах необходимая выборка должна составлять порядка N*N примеров. Как раз примерно такое соотношение (N - порядка 15, N*N - порядка 200) имело место в описанном эксперименте. Однако следует помнить, что множество вопросов теста, как правило, гораздо шире, чем необходимо для диагностики данного признака, поскольку методики в большинстве своем предназначены для определения нескольких признаков. А, следовательно, возникает следующая проблема: для определения параметров модели требуется M*M примеров, где M - общее число вопросов. Стоит, видимо, напомнить, что для методики ЛОБИ, например, M=162, тогда число примеров должно составить 26244, что практически нереально для практика - одиночки, не имеющего за спиной мощного исследовательского центра.
В случае же, когда выборка имеет недостаточный размер, возникает феномен "ложных корреляций" - модель определяет влияние на выходной результат тех параметров, которые на самом деле слабо с ним коррелируют. Именно такие "ложные корреляции" и вызывают ошибки при отнесении исследуемых к классу наличия или отсутствия диагностируемого типа.
2.4 Результаты экспериментов с контрастированными сетями
В следующей серии экспериментов был использован прием, называемый "контрастированием". В нейроимитаторе "MultiNeuron" имеется возможность отключать часть входных сигналов. Достигается это тем, что синапсу, отвечающему за отключаемый вход, присваивается фиксированное значение - 0, которое не может быть изменено в процессе обучения. Тогда этот вход не влияет на процесс обучения сети. В данном эксперименте автор исходил из того, что входы, обладающие минимальной значимостью в области подстроечных параметров, которая соответствует обученному состоянию сети, являются несущественными для диагностики типа. Следовательно, при их отключении снижается размерность пространства входов, а следовательно - и потребный размер обучающей выборки. Кардинальное улучшение результатов обучения, достигнутое после проведения контрастирования подтверждает этот факт, ведь полученный из общих представлений объем экспериментальной выборки как раз оказался достаточным для обучения контрастированной сети.
Итак, на вопрос, заданный выше, мы можем ответить: улучшение результатов обучения после анализа и настройки входов свидетельствует о том, что контрастирование является средством борьбы с ложными корреляциями, и следовательно позволяет сократить объем экспериментальной выборки для многоплановых методик.
Кроме того, побочным результатом обработки может служить набор вопросов, существенных для данного типа, что может дать предмет для размышлений психологам - теоретикам.
Выводы главы 2
Полносвязная нейронная сеть позволяет производить психодиагностику исследуемых на базе опросников классических тестов с вероятностью правильного ответа 95%.
Для создания нейросетевых экспертных систем не нужно вмешательства математика, данная технология позволяет программе непосредственно перенимать опыт психодиагноста.
Психодиагностическая методика, созданная на базе технологии нейросетевых экспертных систем адаптивна к смене социокультурных групп.
При помощи возможностей программных нейроимитаторов можно выполнять исследование параметров психодиагностических методик и уточнять их структуру.
Глава 3. Интуитивное предсказание нейросетями взаимоотношений
3.1 Проблема оценки взаимоотношений
В работе практических психологов, имеющих дело с подбором персонала или исследующих взаимоотношения внутри уже сложившихся групп (примером первого может служить психолог-консультант по подбору персонала, примером второго - офицер по работе с личным составом в частях, классный руководитель в школе) постоянно возникает задача установления и прогноза межличностных отношений в группе.
Под отношением в данной работе понимается психологический феномен, сутью которого является возникновение у человека психического образования, аккумулирующего в себе результаты познания конкретного объекта действительности (в общении это другой человек или группа людей), интеграции всех состоявшихся эмоциональных откликов на этот объект, а также поведенческих ответов на него [24]. Кроме того, общение обыкновенно происходит в условиях определенной ситуации: в присутствии других людей, которые для общающихся в разной степени субъективно значимы, на фоне какой-то конкретной деятельности, при действии каких-либо экспериментальных факторов.
3.2 Общая задача экспериментов
В данной работе была поставлена задача смоделировать и, по возможности, спрогнозировать систему взаимоотношений в группе на основе состояния и поведения исследуемых, оставляя в стороне такие аспекты формирования отношений между людьми, как внешний облик, приписываемые человеку цели и мотивы [24]. Оценке и прогнозу подвергались межличностные «статусно-ролевые» [79] отношения в группах. Оценка совместимости «человек-человек» и «группа-человек» велась по оценке статуса исследуемых - индивидуальной (от каждого к каждому) и групповой (от группы к человеку).
Задача моделирования и прогнозирования взаимоотношений людей в группе (коллективе) неоднородна - она может быть условно подразделена на следующие подзадачи:
прогноз вхождения исследуемого в сложившийся коллектив;
прогноз совместимости между собой двух исследуемых.
Кроме того, при проведении экспериментов предполагалось апробировать к задаче прогноза межличностных отношений методику интуитивной выдачи предсказания минуя создание описанной (дескриптивной) [26] реальности.
3.3 Применяемые в экспериментах психологические методики
Для определения фактических отношений в исследуемых группах применялась социометрическая методика. Данная методика позволяет определить положение исследуемого в системе межличностных отношений той группы, к которой он принадлежит. Социометрическое исследование группы обычно проводится тогда, когда группа включает в себя не менее 10 человек и существует не менее одного года. Всем членам исследуемой группы предлагается оценить каждого из товарищей (включая и самого себя - появляется возможность изучения самооценки исследуемых). В стандартном варианте методики оценка ведется по трехступенчатой шкале предпочтений - «приемлю - безразличен - отвергаю». Однако для получения большей разрешающей способности методики шкала была модифицирована до десятибалльной. В используемом варианте социометрического исследования применялось следующее задание: «Оцените своих товарищей, задав себе вопрос: «Насколько я бы хотел работать с этим человеком в одной группе?». Поставьте в соответствующей графе оценку от 1 до 10 баллов по следующему принципу: 1 - не хочу иметь с ним ничего общего, 10 - с этим человеком я бы хотел работать сильнее всего».
Результатом исследования для каждого из испытуемых в группе являлась стеновая оценка статуса и экспансивности. Стен [20] представляет собой усредненную оценку, нормированную в предположении, что оценки распределены по закону нормального распределения и, следовательно, выполняется правило «трех сигм». Статусом именуется стеновый балл всех оценок, сделанных данному члену группы, экспансивностью - стеновый балл всех оценок, сделанных данным испытуемым всем остальным представителям группы.
В процессе экспериментов предполагалось подтвердить (или отвергнуть) гипотезу о том, что нейросеть позволяет на основе психологических особенностей людей (представителей группы) моделировать взаимоотношения в группе и выдавать прогноз по вхождению в группу нового члена и по взаимоотношениям двух индивидуумов. Предполагалось также оценить качество прогноза - возможные значения ошибок и их распределение.
Описание личностных качеств испытуемых предполагалось получить на основе опросника, составленного А.Г. Копытовым (ППФ КГУ). Опросник включает в себя три субтеста, каждый из которых составлен из вопросов, предназначенных для определения константных свойств человеческой личности - темперамента, эмоциональности, контактности и т. п. Общее число вопросов - 90, в первом субтесте - 29, во втором - 25 и в третьем - 36. Текст опросников - см. Приложение 3.
Сбор данных производился путем проведения одновременного анкетирования в студенческих учебных группах по опроснику А.Г. Копытова и социометрического исследования. Затем результаты социометрии обрабатывались на специально разработанной программе (см. Приложение 2), рассчитывающей стеновые оценки статуса и экспансивности.
Эксперименты по обучению нейронных сетей производились на нейросетевом имитаторе MultiNeuron v2.0 в режиме предиктора, то есть нейросети, имеющей на выходе вещественное число (подробное описание - см. [85], [87]).
3.4 Эксперименты по предсказанию группового статуса
В этой серии экспериментов предполагалось проверить, насколько нейронные сети способны моделировать вхождение в группу отдельного человека.
По вышеописанной методике были обследованы три студенческие группы - третьего, четвертого и пятого курсов, общее число собранных анкет - 48 (19, 17 и 12 по группам соответственно). Результаты анкетирования каждой из групп был составлен задачник, представляющий собой реляционную таблицу, включающую следующие поля:
№ - автоиндексируемый номер записи, ID - номер испытуемого по списку группы, w1_1 - w1_29 - ответы на вопросы первого субтеста, w2_1 - w2_25 - ответы на вопросы второго субтеста, w3_1 - w3_36 - ответы на вопросы третьего субтеста, to1 - to30 - оценки, выставленные данным испытуемым членам группы (строка социометрической матрицы), St - значение стеновой оценки статуса данного испытуемого, Ex - экспансивности.
Для первого и третьего субтестов, у которых вопрос имел два варианта ответа («Да»/«Нет»), ответ кодировался по принципу 1 - «Да», 2 - «Нет». Второй субтест, имеющий три варианта ответов («а», «б, «в») - 1 - вариант «а», 2 - «б», 3 - «в».
При формирования структуры задачника поля w1_1 - w3_36 были обозначены как входные, поле Ex - как выходное. Нейросеть в процессе обучения должна была приобрести умение предсказывать статус члена группы по его ответам на опросник А.Г. Копытова.
Таблица 1
Результаты экспериментов по подбору оптимальных параметров нейросети, решающей задачу предсказания статуса исследуемых.
|
№№ |
Характеристики сети |
Hвыб |
||
|
Nneu |
? |
|||
|
1 |
16 |
0.1 |
2,475 |
|
|
2 |
16 |
0,4 |
2,791 |
|
|
3 |
16 |
0,7 |
2,488 |
|
|
4 |
32 |
0,1 |
2,569 |
|
|
5 |
32 |
0,4 |
3,006 |
|
|
6 |
32 |
0,7 |
3,384 |
|
|
7 |
64 |
0,1 |
2,891 |
|
|
8 |
64 |
0,4 |
2,703 |
|
|
9 |
64 |
0,7 |
2,676 |
На первом этапе были проведены эксперименты для выяснения оптимальных параметров нейросети, предназначенной для решения задачи предсказания статуса члена группы. Из-за малочисленности выборок эксперименты велись в режиме «скользящего тестирования», когда для решения задачи обучается столько же сетей, сколько задач в задачнике. При обучении каждой из сетей одна задача исключалась, и потом сеть тестировалась по ней. Для оценки качества предсказания Hвыб применялся средний модуль ошибки , чем ниже значение - тем, соответственно лучше предсказание. Результаты этого этапа экспериментов сведены в таблицу 1.
Значения чисел нейронов - Nneu - были взяты из следующих соображений: нейросети с числом нейронов менее 16 обучались решению задачи неустойчиво, процесс оптимизации постоянно заходил в тупик, а Hвыб во всех таких экспериментах превышало 3 (30% относительной погрешности). 64 является максимально допустимым значением числа нейронов для программы MultiNeuron v.2.0. Значения характеристических чисел нейронов были распределены в интервале от 0.1 до 0.7, поскольку данный интервал является, по опыту, накопленному в группе «НейроКомп» [32], [33], [34], [36], [39], [41], [59], [84], [86], интервалом, в котором как правило лежат оптимальные характеристические числа нейронов.
Таким образом, по результатам данной серии экспериментов оптимальным было признано количество нейронов, равное 16, и характеристический параметр нейрона равный 0.1, поскольку данные значения обеспечивают наилучшую выборочную оценку качества прогноза Hвыб.
Следующим этапом работы была серия экспериментов, позволяющих оценить точность предсказания статуса исследуемых внутри групп. Для каждой из групп было выполнено обучение сетей для проведения скользящего контроля. Затем результаты скользящего контроля фиксировались и сводились в табл. 2.
Таблица 2
Результаты экспериментов по установлению точности предсказания стауса исследуемых внутри групп
|
№ |
Количество испытуемых |
Hвыб |
|
|
1 |
19 |
2,587 |
|
|
2 |
17 |
2,854 |
|
|
3 |
12 |
2,475 |
Однако, по опыту применения нейроимитаторов, известно, что на одних и тех же обучающих выборках предсказание выдаваемое сетью может существенно разниться.
Причина этого в том, что начальная карта синаптических весов генерируется случайным образом. Для преодоления данной проблемы в практике создания нейросетей (см. например [36]) используется предсказание ответов группой сетей, обученных на одних и тех же данных - консилиумом.
Решено было применить этот метод и для данной задачи. При проведении скользящего контроля по выборке для каждого из случаев обучалась не одна нейросеть, а десять.
Фиксировались средние выборочные значения ошибки предсказания статуса каждым из экспертов, а затем, оценивалась погрешность предсказания всем консилиумом.
Таблица 3
Оценки погрешностей предсказания статуса исследуемых в группах консилиумами сетей.
|
Nиссл |
H1 |
H2 |
H3 |
H4 |
H5 |
H6 |
H7 |
H8 |
H9 |
H10 |
Hср |
Hвыб |
|
|
19 |
3,02 |
3,68 |
3,88 |
4,13 |
3,14 |
3,38 |
4,09 |
3,46 |
2,82 |
3,32 |
3,49 |
2,83 |
|
|
17 |
3,32 |
4,80 |
4,33 |
4,50 |
4,46 |
3,15 |
3,72 |
4,31 |
3,20 |
4,51 |
4,03 |
3,84 |
|
|
12 |
2,20 |
2,68 |
3,23 |
2,59 |
3,86 |
2,96 |
2,82 |
3,28 |
3,52 |
2,58 |
2,97 |
2,41 |
Для этого в качестве ответа на каждую из задач скользящего контроля подавалось среднее значение ответов десяти нейросетей - экспертов. Результаты этого эксперимента представлены в табл. 3.
Здесь Nиссл - число исследуемых в данной группе, H1 - H10 - средние ошибки предсказания статуса для каждой из сетей консилиума, Hср - среднее значение ошибки по всем сетям консилиума, Hвыб - ошибка предсказания всем консилиумом.
Таким образом по трем группам средний модуль ошибки составляет 3,08 (или, в относительных цифрах, средняя погрешность составляет 30,8%).
Такая погрешность является удовлетворительной для задачи предсказания статуса членов группы, поскольку как правило не выводит испытуемого из групп классификации - «лидер»-«середняк»-«аутсайдер», то есть отражает тенденцию вхождения в группу нового человека.
Кроме того, при статистическом исследовании экспериментальных выборок было вычислено среднее расстояние между случайными оценками и
,
где N - количество элементов выборки.
Можно считать, что характеризует математическое ожидание расстояния между двумя случайными примерами выборки.
Для экспериментов установления статуса тестируемых в группе , или 40.33%. Таким образом можно утверждать, что полученная сетью погрешность (30,8%) значимо отличается от случайной.
Следующая серия экспериментов производилась с целью уяснения, насколько можно предсказывать результаты вхождения в одну группу на базе опыта, накопленного сетью по другой группе.
В ходе экспериментов для каждой из групп был обучен консилиум из десяти нейросетей (их характеристики, как и в предыдущих экспериментах, Nneu=16, ?=0,1). Здесь задачник подавался для обучения полностью, то есть сеть обучалась предсказанию статуса по всем представителям группы. Затем на сетях этого консилиума тестировались две другие группы.
Для сглаживания фактора случайности при генерации сетей в качестве вычисленных значений при расчете ошибки определения статуса брались по каждой оценке средние значения из вычисленных десятью сетями консилиума. Результаты этой серии экспериментов представлены в табл. 4.
Таблица 4
Результаты перекрестного тестирования
|
Об. |
Тст. |
H1 |
H2 |
H3 |
H4 |
H5 |
H6 |
H7 |
H8 |
H9 |
H10 |
Hср |
Hвыб |
|
|
1 |
2 |
1,87 |
3,96 |
2,85 |
3,65 |
4,62 |
1,82 |
2,82 |
1,97 |
1,77 |
4,32 |
2,97 |
2,48 |
|
|
1 |
3 |
2,26 |
3,98 |
3,58 |
3,61 |
2,36 |
2,46 |
3,64 |
2,16 |
2,55 |
3,11 |
2,97 |
1,79 |
|
|
2 |
1 |
4,31 |
4,03 |
3,92 |
3,48 |
4,17 |
3,66 |
3,83 |
4,33 |
4,03 |
3,78 |
3,95 |
3,5 |
|
|
2 |
3 |
3,82 |
1,81 |
2,91 |
3,43 |
2,75 |
3,13 |
3,08 |
2,53 |
2,57 |
3,06 |
2,91 |
2,05 |
|
|
3 |
1 |
3,4 |
4,09 |
3,21 |
2,91 |
2,76 |
3,65 |
3,03 |
2,56 |
2,89 |
3,51 |
3,20 |
2,79 |
|
|
3 |
2 |
3,60 |
3,28 |
3,72 |
2,94 |
4,24 |
4,30 |
3,91 |
4,35 |
3,60 |
4,13 |
3,81 |
3,77 |
Здесь Об. - порядковый номер группы, по которой обучались нейронные сети консилиума, Тст. - порядковый номер группы, по которой сети тестировались.
При анализе данной серии экспериментов заметны следующие закономерности:
предсказание социального статуса испытуемых нейронными сетями, обученными по другим группам (не по тем, в которой производилось определение статуса при социометрическом опросе) по своему качеству несколько хуже, чем такое же предсказание, сделанное нейросетями, обученными на этой же группе;
однако, в большинстве случаев (в двух третях из проведенных экспериментов) оценка качества (средний модуль ошибки Hвыб) является приемлемой (менее 3 баллов или, в относительных значениях - менее 30%);
хорошо видно, как при предсказании статуса испытуемых в группах реализуется принцип создания надежных систем из ненадежных элементов, заложенный в концепцию нейронных сетей: ошибка предсказания одной нейросетью может составлять неприемлемо большую величину, однако консилиум из нескольких нейросетей решает задачу существенно лучше - ошибка предсказания консилиумом сетей меньше большинства из ошибок отдельных сетей, она также всегда меньше чем среднее значение ошибок отдельных сетей консилиума.
После оценки качества предсказания между группами решено было проверить гипотезу о том, что нейросеть может накапливать опыт не только по отдельной группе, но и аккумулировать его по любой заданной последовательности испытуемых. Для проверки гипотезы была предпринята следующая серия экспериментов: данные по всем группам были объединены в один задачник, по которому проводилось скользящее тестирование консилиума из десяти сетей - экспертов. Результаты данной серии из 480 экспериментов представлены в табл. 5.
Таблица 5
Результаты тестирования консилиумов сетей, обученных по полной выборке.
|
№ эксперта |
Hвыб |
|
|
1 |
3,02 |
|
|
2 |
2,56 |
|
|
3 |
2,88 |
|
|
4 |
3,04 |
|
|
5 |
2,94 |
|
|
6 |
2,88 |
|
|
7 |
2,74 |
|
|
8 |
2,46 |
|
|
9 |
2,59 |
|
|
10 |
3,12 |
|
|
Весь консилиум |
2,32 |
Видно, что, как и в предыдущей серии экспериментов, погрешность каждого из экспертов (и, как минимум, математическое ожидание погрешности) выше, чем погрешность консилиума, то есть математическое ожидание оценок по консилиуму сетей всегда (или, вернее, в большинстве случаев) ближе к верному ответу, чем оценки отдельных экспертов.
Кроме того легко заметить, что предсказание статуса исследуемых в группе улучшается с накоплением выборки - оценка погрешности предсказания, сделанного нейросетями, обученными по объединенной выборке лучше, чем в любых других экспериментах.
Иначе говоря, нейросети обладают возможностью аккумулировать опыт предсказания социометрического статуса исследуемых в группе, причем этот опыт не локален - навык, полученный на исследуемых одной группы значим и для оценки исследуемых, принадлежащих к другим группам.
Этот результат подтверждает тезис, приведенный в [98], о том, что оценки равных в группе устойчивы и, видимо, на них не влияет изменение состава группы.
Причина этого феномена, предположительно, в том, что при предсказании статуса испытуемых информация о них существенно ограничена - отсутствуют данные анамнестического плана, данные об их социальном положении.
Этим практически исключается из состава используемых в прогнозе данных информация о внешнем облике, принадлежности к социокультурной или национальной группе - то есть вся социальная история личности и коллектива в целом, хотя известно, что эти факторы могут вызвать существенное различие в поведении людей со схожим типом личности.
Информация же о константных психологических качествах испытуемых относительно однородна от группы к группе, что позволяет нейросети накапливать опыт, основанный на ней.
3.5 Нейросетевое исследование структуры опросника
Следующим этапом работ по прогнозу статуса испытуемых в группах было определение значимости вопросов опросника и исключение из него наименее значимых вопросов.
Согласно результатам главы 2 это может привести к улучшению качества прогноза, выдаваемого нейросетью. Для решения данной задачи была использована возможность вычисления значимости параметров, заложенная в MultiNeuron.
Были обучены пять нейронных сетей по задачнику, включающему все три группы исследуемых, затем, средствами MultiNeuron, определены числовые значения значимости сигналов, соответствующих вопросам опросника.
После этого список вопросов был отсортирован по среднему значению величины значимости. В результате была получена следующая картина (вопросы размещены по убыванию значимости):
1_6. Вы обычно говорите без запинок?
1_23. Вы обычно предпочитаете делать несложные дела, не требующие от Вас большой энергии?
1_7. Легко ли Вы можете найти другие варианты решения известной задачи?
3_24. Самое трудное для Вас - это справиться с собой.
3_28. Вы склонны принимать все слишком близко к сердцу.
3_22. Вам нетрудно внести оживление в довольно скучную компанию.
1_2. Легко ли Вам выполнять работу, требующую длительного внимания и большой сосредоточенности?
1_1. Легко ли Вы генерируете идеи, связанные с работой?
3_10. Вы не раз замечали, что незнакомые люди смотрят на Вас критически.
3_8. Иногда у Вас пропадает или изменяется голос, даже если Вы не простужены.
2_3. Окружающим известно, что у меня много разных идей, и я почти всегда могу предложить какое-то решение проблемы.
1_19. Обычно Вы предпочитаете легкую работу?
1_27. Дрожат ли у Вас иногда руки во время ссоры?
3_20. Некоторые так любят командовать, что Вам все хочется делать наперекор, хотя Вы знаете, что они правы.
2_25. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет.
2_19. Если начальство или члены семьи меня в чем-то упрекают, то, как правило, только за дело
3_3. Дурные предчувствия всегда оправдываются
2_24. Обычно я спокойно переношу самодовольных людей, даже когда они хвастаются или другим образом показывают, что они высокого мнения о себе.
2_11. Устаревший закон должен быть изменен
3_29. Вы любите готовить (пищу)
3_35. Вы вели дневник.
1_8. Вы когда-нибудь опаздываете на свидание или работу?
2_5. Ко дню рождения, к праздникам (я люблю делать подарки / затрудняюсь ответить / считаю, что покупка подарков несколько неприятная обязанность)
1_9. Часто ли Вам не спится из-за того, что вы поспорили с друзьями?
2_21. При равной продолжительности дня мне было бы интереснее работать(столяром или поваром / не знаю, что выбрать / официантом в хорошем ресторане)
1_3. Испытываете ли Вы чувство беспокойства, что Вас неправильно поняли в разговоре?
1_5. Быстры ли у Вас движения рук?
3_4. Вы очень часто не в курсе дел и интересов тех людей, которые Вас окружают.
1_28. Испытываете ли Вы тягу к напряженной ответственной деятельности?
3_7. Нравятся ли Вам “первоапрельские” шутки?
1_17. Трудно ли Вам говорить очень быстро?
1_15. Всегда ли Вы платили бы за провоз багажа на транспорте, если бы не опасались проверки?
3_25. Временами Вам так нравится ловкость какого-нибудь преступника, что Вы надеетесь, что его не поймают.
1_10. Нравится ли Вам быстро бегать?
3_33. Ваши родители и другие члены семьи часто придираются к Вам
2_2. У меня бывают такие волнующие сны, что я просыпаюсь
3_18. Вы совершаете много поступков о которых потом жалеете (больше и чаще чем другие)
2_10. Думаю, что обо мне правильнее сказать, что я (вежливый и спокойный / верно нечто среднее / энергичный и напористый)
3_34. Временами, когда Вы плохо себя чувствуете, Вы бываете раздражительными.
3_12. Держитесь ли Вы обычно “в тени” на вечеринках или в компаниях?
1_20. Медленны ли Ваши движения, когда Вы что-то мастерите?
3_2. Иногда Вам очень хотелось навсегда уйти из дома
3_31. Вы стараетесь избегать конфликтов и затруднительных положений.
3_16. Иногда по несколько дней Вы не можете отделаться от какой-нибудь пустяковой мысли.
3_11. Вы знаете, кто виноват в большинстве Ваших неприятностей.
1_21. Вы обычно предпочитаете выполнять только одну операцию?
1_18. Дрожат ли у Вас иногда руки во время ссоры?
1_14. Все ли Ваши привычки хороши и желательны?
3_14. Не все Ваши знакомые Вам нравятся.
3_15. Предпочитаете ли Вы иметь поменьше приятелей, но зато особенно близких Вам.
3_13. Иногда Вы не уступаете людям не потому, что дело действительно важное, а просто из принципа.
3_26. Если Вам не грозит штраф, то Вы переходите улицу там, где Вам удобно, а не там, где положено.
2_7. Мне нравится работа разнообразная, связанная с частыми переменами и поездками, даже если она немного опасна
1_29. Нравится ли Вам быстро говорить?
3_9. Вам неловко входить в комнату, где уже собрались и разговаривают люди
2_20. Бывает, что я говорю незнакомым людям о вещах, которые кажутся мне важными, независимо оттого, спрашивают меня, или нет.
3_21. Вы предпочитаете не заговаривать с людьми, пока они сами к Вам не обратятся.
3_23. Когда Вы узнаете об успехах близкого знакомого, у Вас появляется чувство, что Вы неудачник.
1_24. Сосет ли у Вас под ложечкой перед ответственным разговором?
2_14. Мне доставляет удовольствие совершать рискованные поступки только ради забавы
3_6. Временами в голову приходят такие мысли, что лучше о них никому не рассказывать
2_13. Иногда какая-нибудь навязчивая мысль не дает мне заснуть
2_8. Я предпочел бы иметь дачу (в оживленном дачном поселке / предпочел бы нечто среднее / уединенную, в лесу)
2_1. Я предпочитаю несложную классическую музыку современным популярным мелодиям?
2_22. Когда мною пытаются командовать, я нарочно делаю все наоборот
3_17. Вы часто беспокоитесь о чем-нибудь.
1_22. Бывает ли так, что Вы говорите о вещах, в которых не разбираетесь?
1_16. . Обычно Вам трудно переключать внимание с одного дела на другое?
2_4. У меня бывают такие волнующие сны, что я просыпаюсь
1_11. Испытываете ли Вы постоянную жажду деятельности?
3_19. В гостях Вы держитесь за столом лучше, чем дома.
3_36. Вы легко смущаетесь.
3_30. Вы не осуждаете того, кто стремится взять от жизни все, что может.
2_16. Если бы я работал в хозяйственной сфере, мне было бы интереснее
1_25. Считаете ли Вы свои движения медленными и неторопливыми?
3_32. Справляетесь ли Вы с делом лучше, обдумывая его самостоятельно, а не обсуждая с другими.
2_12. Если кто-то разозлился на меня (Я постарался бы его успокоить / я не знаю, что бы я предпринял / это вызвало бы у меня раздражение)
1_12. Быстро ли Вы читаете вслух?
3_5. Иногда Вы так настаиваете на чем-нибудь, что люди начинают терять терпение
2_18. Обычно я могу сосредоточенно работать, не обращая внимания на то, что люди вокруг меня очень шумят
1_26. Ваша речь обычно медленна и нетороплива?
2_17. Вечер, проведенный за любимым занятием, привлекает меня больше, чем оживленная вечеринка
2_15. Я делаю людям резкие критические замечания, если мне кажется, что они того заслуживают
1_4. Любите ли Вы игры в быстром темпе?
1_13. Если Вы обещали что-то сделать, всегда ли Вы выполняете свое обещание независимо от того, удобно это Вам или нет?
2_9. Я провожу много свободного времени, беседуя с друзьями о тех прежних событиях, которые мы вместе пережили когда-то.
2_6. Иногда у меня бывали огорчения из-за того, что люди говорили обо мне дурно за глаза без всяких на то оснований.
3_27. Вы часто испытываете тягу к новым впечатлениям, к тому, чтобы встряхнуться, испытать возбуждение.
2_23. Люди относятся ко мне менее благожелательно, чем я того заслуживаю своим добрым к ним отношением.
3_1. Часто ли Вы переходите на другую сторону улицы, чтобы не встречаться с кем нибудь из знакомых?
Для определения значимости субтестов теста было произведено вычисление средней значимости по вопросам каждого из них. Субтесты распределились в следующем порядке: наиболее значимый - 1-й, далее - 3-й и наименее значимый - 2-й. Данное распределение можно проиллюстрировать гистограммой (рис. 1). Для построения этой гистограммы все вопросы, отсортированные в порядке убывания значимости, были разбиты на девять десяток, а затем для каждой из них было подсчитано число вхождений вопросов, принадлежащих первому, второму и третьему субтесту.
Рис. 1. Диаграмма распределения вопросов теста по их значимости для предсказания статуса испытуемых.
Для вопросов первого субтеста виден эксцесс распределения в сторону большей значимости, второго - в сторону меньшей, а вопросы третьего - относительно равномерно распределены по всему интервалу.
Была произведена серия экспериментов с целью выяснить достаточный для нейросети объем опросника. На каждом этапе исключалась половина из имеющихся вопросов опросника.
При исключении половины вопросов скользящий контроль консилиума сетей, обученных на выборке по всем группам, дал среднюю погрешность в 24%, при исключении трех четвертей вопросов - в 28% и, наконец, при исключении семи восьмых нейросети обучиться не смогли.
Таким образом, примерно половина вопросов и без того изначально минимизированного теста оказалась для нейросети избыточной, даже приводящей к ухудшению оценки качества предсказания. Оптимальным можно признать опросник из половины вопросов, максимальных по своей значимости для нейронной сети, поскольку результаты тестирования для него лучше чем для всех остальных вариантов, включая и полный набор вопросов.
3.6 Оценка оптимизации задачника нейросетью с позиций теории информации
Разницу между первоначальным (заданным психологом) и требуемым нейросети для успешного решения задачи объемом опросника можно оценить с позиций теории информации [95].
Начальное количество информации, содержащейся в тесте можно оценить исходя из того, что вопросы первого и третьего тестов бинарны (варианты ответов «Да» и «Нет», вероятность наступления каждого из них - 0.5), а ответы на вопросы второго - могут с равной вероятностью соответствовать наступлению одного из трех событий, которые будем считать равновероятными (варианты ответов «А», «Б» и «В», p=0.333). Тогда, исходя из формулы Шеннона
и учитывая, что количество вопросов в первом субтесте - 29, во втором - 25 и в третьем - 36 можем вычислить суммарное количество информации, содержащееся в ответах на вопрос теста:
.
После исключения половины вопросов из-за их малой значимости для нейронной сети в оптимизированном опроснике осталось 16 вопросов первого субтеста, 9 - второго и 20 - третьего. Количество информации, оставшееся после оптимизации:
,
то есть количество информации при оптимизации сократилось несколько более чем вдвое.
3.7 Эксперименты по предсказанию парных взаимоотношений
В этой серии экспериментов предполагалось установить, способны ли нейросети воспроизвести взаимоотношения пары испытуемых.
Обучающие выборки имели следующую структуру: № - номер примера, ID_From - номер оценивающего, ID_From - имя оценивающего, ID_To - номер оцениваемого, Name_To - имя оценивающего, w1_1_From - w3_36_From - ответы на вопросы опросника А.Г. Копытова, данные оценивающим, w1_1_To - w3_36_To - ответы на вопросы опросника А.Г. Копытова, данные оцениваемым, Ocen - данная оценка.
В задачник включались строки, соответствующие всем клеткам социометрической матрицы кроме диагональных, отвечающих за самооценку испытуемых.
Был сформирован задачник по группе 5-го курса. В него вошли 132 примера, по которым было произведено обучение соответствующего числа сетей по методике скользящего контроля.
В силу большой трудоемкости задачи обучения по выбооркам такого объема и размерности (обучение одной сети занимает около 40 мин.) обучения консилиумов не проводилось.
Результат скользящего контроля следующий: средняя относительная ошибка предсказания парных взаимоотношений в группе составила 33,1%.
Затем было вычислено среднее расстояние между случайными оценками и , вычисляемое, как и в п.3.4, по формуле
,
где N - количество примеров обучающей выборки.
Данная величина составила 6.612 (или, относительно шкалы измерения признака, 66.12%), то есть отличие предсказания сети от случайного почти двукратное.
Таким образом, можно говорить, что нейронные сети могут предсказывать не только усредненный статус члена группы, но и взаимоотношения между двумя произвольно взятыми личностями.
Выводы главы 3
Нейронная сеть способна на основе только психологических свойств исследуемых, без привлечения фактов социальной истории исследуемых личностей, интуитивно порождать прогноз результатов социометрического эксперимента на базе, со средней ошибкой 23-30%.
Данный прогноз общезначим для всех исследуемых с равным социальным статусом и устойчив относительно состава группы.
Аппарат нейронных сетей позволяет оптимизировать психодиагностические тестовые методики по объему точнее, чем это доступно даже опытному психологу.
Глава 4. Полутораслойный предиктор с произвольными преобразователями
4.1 Постановка проблемы
Функция F на R задана набором своих значений в случайных точках пространства . Построим ее аппроксимацию при помощи комбинаций - функций из набора , гладких и непрерывно дифференцируемых. Тогда
- ошибка аппроксимации F функцией ;
- ошибка предыдущего шага аппроксимации
Аппроксимация может вестись не только подбором коэффициентов, но и выбором на каждом шаге функций из . Таким образом может быть получено разложение функции F в сходящийся ряд вида:
Решение задачи аппроксимации может быть получено путем минимизации функционала качества, соответствующего квадрату отклонения:
,
Задача состоит в приближении функции F, заданной исходной выборкой точек, при помощи нейросети-предиктора с неизвестным заранее количеством нейронов и видом функции, используемой в преобразователе каждого из нейронов.
Решение может быть представлено как итерационный процесс, состоящий из следующих шагов:
- Подключение нового нейрона;
- Оптимизация ошибки предсказания значений в заданных точек для текущего нейрона путем подбора функции преобразователя, ее параметров и весов синапсов;
Если заданная точность достигнута, то процесс можно остановить, в противном случае - процесс повторяется сначала, причем параметры уже обученных нейронов фиксируются, так что каждый новый нейрон обучается вычислять погрешность, оставшуюся от предыдущих.
Количество итераций процесса исчерпания ошибки может быть также ограничено из условия превышения нижней оценки константы Липшица для конструируемой нейронной сети над верхней оценкой выборочной константы Липшица.
4.2 Аналитическое решение
Пусть - приближаемое очередным слоем значение. Тогда - само значение приближаемой функции в точках экспериментальной выборки, а и последующие - погрешности вычисления на соответствующем шаге.
Обучение ведется оптимизацией параметров сети каким либо из градиентных методов по всему задачнику.
Тогда при обучении k-го нейрона
,
соответственно H (функция ошибки) для всего задачника будет иметь вид
,
то есть в качестве критерия близости аппроксимируемой и аппроксимирующей функций выбрана сумма квадрата ошибки по всей обучающей выборке.
Для обучения каждого очередного нейрона используются частные производные функции по весам синапсов первого слоя :
,
параметру нейрона
и весу синапса второго (выходного) слоя соответствующему данному нейрону
,
где - число примеров обучающей выборки.
Однако, если вычисление функции H связано с затратами процессорного времени порядка TH, то вычисление ее градиента традиционным способом потребует времени порядка
TgradH=nTH,
где n - число переменных функции H. Учитывая, что в задачах, для которых традиционно применяются нейросети, величина n может достигать нескольких тысяч, аналитическое решение для вычисления градиента функции ошибки следует признать неприемлемым.
Однако при описании решающей функции F в виде сети автоматов вычисление градиента функции ошибки H может быть представлено как функционирование системы, двойственной исходной. При таком подходе
,
где C - константа, не зависящая от размерности n и в большинстве случаев примерно равная 3.
Таким образом, мы приходим к записи решения исходной задачи в идеологии нейронных сетей.
4.3 Запись решения в идеологии нейросетей
Как уже было сказано, выше, ряд вида может быть представлен как нейронная сеть, имеющая структуру, показанную на рис.1.
Тогда вычисление градиента функции ошибки H можно производить, используя схему, двойственную данной. При этом решение задачи может быть существенно упрощено применением следующего приема. Поскольку обучение следующего слоя начинается тогда, когда предыдущие уже обучены, а их связи зафиксированы, то, фактически, каждый нейрон обучается отдельно от других, а в качестве значения, вычисляемого k-м нейроном берется погрешность вычисления функции предыдущими k-1 - нейронами, или Fi.
Процесс обучения всей сети сводится этим ее разбиением к ряду последовательных процессов обучения структур вида, представленного на рис. 2.
Здесь x1 - xN - входные сигналы сети, Wij(1) - синапсы первого слоя от i-го входа к j-му сумматору первого слоя, Wj1(2) - синапсы второго слоя от j-го преобразователя к выходному сумматору, fj - j-й преобразователь, символом ? обозначаются тривиальные сумматоры.
Далее в тексте такая структура будет именоваться «потоком сети» или просто «потоком».
Вычисление производных H (функции ошибки) для сети, представляющего собой один «поток», можно вести на основе аппарата двойственных функций и алгоритма обратного распространения ошибки. Схема прохождения сигналов при обратном функционировании показана на рис. 3.
Здесь - двойственный сигнал от функции оценки, передаваемый без изменения через тривиальный сумматор второго слоя, - двойственный сигнал от соответствующего синапса второго слоя, - двойственный сигнал от преобразователя j-го «потока», передающийся сумматору для раздачи на синапсы, - двойственные сигналы соответствующих синапсов первого слоя.
4.4 Алгоритмическая часть
Обучение сети, состоящей из «потоков» производится в соответствии с алгоритмом, представленным на рис. 4.
Здесь H - значение оценки сети, накопленное по всему задачнику, ? - константа малости ошибки.
Для обучения каждого из потоков используется алгоритм, показанный на рис.5. Здесь Nф - общее число функций, по которому идет обучение, ?o - карта параметров сети, h0 - шаг оптимизации в начале цикла, s - градиент функции оценки H по обучаемым параметрам.
Используемое в алгоритме условие остановки формируется из двух подусловий, скомбинированных через «или»:
Число шагов оптимизации, во время которых превысило заранее заданную величину (при обучении использовалось значение Nsh=15), то есть сеть в данной конфигурации уже не может улучшить оценку;
Достигнуто заданное значение функции оценки , то есть сеть уже обучена.
При обучении одного потока используются процедуры подбора шага оптимизации - Increase (поиск шага в сторону возрастания, блок-схему см. на рис. 6), Decrease (поиск шага в сторону убывания, блок-схему см. на рис. 7) и Parabola (поиск оптимального шага по формулам параболического поиска блок-схему см. на рис. 8).
В процедурах используются следующие обозначения:
H(...) - функция оценки сети, накопленная по всему задачнику;
Подобные документы
Особенности нейронных сетей как параллельных вычислительных структур, ассоциируемых с работой человеческого мозга. История искусственных нейронных сетей как универсального инструмента для решения широкого класса задач. Программное обеспечение их работы.
презентация [582,1 K], добавлен 25.06.2013Рост активности в области теории и технической реализации искусственных нейронных сетей. Основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения. Решение проблемы мертвых нейронов.
реферат [347,6 K], добавлен 17.12.2011Понятие и свойства искусственных нейронных сетей, их функциональное сходство с человеческим мозгом, принцип их работы, области использования. Экспертная система и надежность нейронных сетей. Модель искусственного нейрона с активационной функцией.
реферат [158,2 K], добавлен 16.03.2011История возникновения, примеры использования и основные виды искусственных нейронных сетей. Анализ задач, решаемых при помощи Персептрона Розенблатта, создание схемы имитационной модели в среде Delphi. Исходные коды компьютерной программы Perseptron.
дипломная работа [933,1 K], добавлен 18.12.2011Искусственные нейронные сети как одна из широко известных и используемых моделей машинного обучения. Знакомство с особенностями разработки системы распознавания изображений на основе аппарата искусственных нейронных сетей. Анализ типов машинного обучения.
дипломная работа [1,8 M], добавлен 08.02.2017Рождение искусственного интеллекта. История развития нейронных сетей, эволюционного программирования, нечеткой логики. Генетические алгоритмы, их применение. Искусственный интеллект, нейронные сети, эволюционное программирование и нечеткая логика сейчас.
реферат [78,9 K], добавлен 22.01.2015Сущность и функции искусственных нейронных сетей (ИНС), их классификация. Структурные элементы искусственного нейрона. Различия между ИНС и машинами с архитектурой фон Неймана. Построение и обучение данных сетей, области и перспективы их применения.
презентация [1,4 M], добавлен 14.10.2013Сущность и понятие кластеризации, ее цель, задачи, алгоритмы; использование искусственных нейронных сетей для кластеризации данных. Сеть Кохонена, самоорганизующиеся нейронные сети: структура, архитектура; моделирование кластеризации данных в MATLAB NNT.
дипломная работа [3,1 M], добавлен 21.03.2011Простейшая сеть, состоящая из группы нейронов, образующих слой. Свойства нейрокомпьютеров (компьютеров на основе нейронных сетей), привлекательных с точки зрения их практического использования. Модели нейронных сетей. Персептрон и сеть Кохонена.
реферат [162,9 K], добавлен 30.09.2013Сущность и экономическое обоснование, методы и подходы к прогнозированию валютного курса. Описание технологии интеллектуальных вычислений. Применение генетических алгоритмов для настройки архитектуры нейронных сетей. Основные способы улучшения модели.
курсовая работа [1,3 M], добавлен 26.03.2016
