Состояние и перспективы развития нейрокомпьютерных систем
Основы нейрокомпьютерных систем. Искусственные нейронные сети, их применение в системах управления. Алгоритм обратного распространения. Нейронные сети Хопфилда, Хэмминга. Современные направления развития нейрокомпьютерных технологий в России и за рубежом.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | дипломная работа |
| Язык | русский |
| Дата добавления | 23.06.2012 |
| Размер файла | 962,4 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Существуют три основных типа искусственных нейросетей:
1) обучаемые многослойные нейронные сети прямого распространения (многослойные перцептроны;
2) рекуррентные сети Хопфилда;
3) сети ("самоорганизующиеся карты") Кохонена.
Наибольшее распространение для целей управления по ряду причин нашли многослойные нелинейные нейронные сети (МНС), меньшее - сети Хопфилда и еще меньшее - сети Кохонена; в частности, "самоорганизующаяся карта" Кохонена образует первый слой применяемых в системах управления сетей с "радиальными базисными функциями" активации (RBF-сети от англ. Radial Basis Function).
Применение обучаемых многослойных нейросетей в системах управления началось по - настоящему в конце 80-х годов, главным образом в США, для управления движением подвижными роботами по аналитически заданным траекториям. Это направление использования нейросетей в системах управления остается по прежнему актуальным, только теперь решение задачи распространилось и на случай не заданных заранее траекторий движения. В это же время начались исследования по применению многослойных сетей как идентификаторов состояния нелинейных объектов, и это направление также получило впоследствии развитие. Многослойная нейронная сеть может выполнять функцию оптимизатора настроек параметров промышленного ПИД - регулятора С. 87 Ясинский, И.Ф. Введение в нейросетевые технологии [Текст] / И.Ф. Ясинский. - Иваново: ИГТА, 2010. - 119 с. .
Но лишь в последние годы появились первые результаты по использованию нейросетей для управления динамическими объектами. Эти проблемы касаются:
- синтеза структур нейросетевых систем управления;
- ограничений на скорость настройки параметров сети;
- модификации алгоритмов настройки, обеспечивающих малые траекторные ошибки при ограничениях на значения весовых коэффициентов синаптических связей нейронов;
- модификации управления, гарантирующего грубость в условиях неконтролируемых возмущений.
Подходы к решению перечисленных проблем, безусловно, так или иначе, отражены в литературе по применению нейросетей в задачах управления. Еще в 1992 г, была разработана процедура синтеза системы управления нелинейными объектами с применением RBF-сети и достаточно подробно рассмотрены вопросы синтеза ее архитектуры и алгоритма настройки. Проблемы же, связанные с качеством процессов и нечувствительностью системы к неизмеряемым возмущениям, не были решены. В ряде других работ и в более позднее время были предложены методы синтеза нейросетевых систем управления сложными техническими объектами, в частности, для решения задач синтеза нейросетевых автопилотов и систем управления угловым движением ракеты. Необходимо отметить, что методы, описанные в этих работах, были протестированы на действующих моделях в реальных условиях (т.е. при наличии помех в каналах измерения, неточности математических моделей и т.д.).
Примечательно, что большинство работ по искусственным нейронным сетям и их применению опубликовано в зарубежных изданиях научной литературы. российская же библиография в этом направлении довольно скудна, а в приложениях к управлению динамическими объектами практически отсутствует.
Главной проблемой как алгоритмического, так и структурного синтеза нейросетевых систем управления является обоснованный выбор содержательной информации, необходимой для обучения многослойных нейронных сетей для формирования ею оптимального закона управления и установления условий существования решения задачи управления для класса нелинейных объектов и требуемых целей управления. Алгоритмический синтез включает в себя решение задачи выбора алгоритма обучения нейросети в реальном времени и анализа условий достижимости целей управления с их помощью, что существенно с практической точки зрения.
В узком смысле понятие "нелинейный объект со сложной динамикой" можно дать, опираясь на следующие признаки:
- многомерность и многосвязность объектов и систем;
- нелинейность, нестационарность и априорная неопределенность динамики объекта управления (существование так называемой "немоделируемой динамики");
- возмущаемая среда функционирования системы управления.
Даже при этом ограниченном перечне исходных реальных условий работы системы управления очевидны те аналитические проблемы, с которыми приходится иметь дело при проектировании и расчете регулятора такой системы. Применение нейросетевой технологии управления позволяет в значительной мере снять математические проблемы аналитического синтеза и анализа свойств проектируемой системы. Это объясняется тем, что достигаемые свойства и качество процессов управления в нейросетевых системах в большей степени зависят от фундаментальных свойств многослойных нелинейных нейросетей, а не от аналитически рассчитанных оптимальных законов, обычно реализуемых в виде компьютерной программы. Настраиваемые многослойные нейросети обладают рядом достоинств, оправдывающих их применение в задачах управления нелинейными динамическими объектами.
2.2 Теория нейронных сетей
В области теории нейронных сетей российская научная школа, которая развивается уже в течение 30 лет, имеет определенный приоритет по сравнению с зарубежными исследованиями. Теория нейронных сетей - алгоритмический базис нейрокомпьютеров, подобно тому, как булева алгебра служила основой логики однопроцессорных и многопроцессорных компьютеров.
Общая методика синтеза многослойных нейронных сетей была разработана сотрудниками Научного центра нейрокомпьютеров еще в конце 60-х годов и постоянно развивалась в течение 30 лет. В результате в России сформировалось направление в области теории нейронных сетей, которое по ряду параметров превосходит уровень зарубежных работ. Например были разработаны методы адаптивной настройки нейронных сетей с произвольным видом нейрона и произвольным числом слоев; с различными видами связей между слоями; с различными видами критериев оптимизации; с различными ограничениями на весовые коэффициенты нейронных сетей.
Реализованные в известных зарубежных нейропакетах нейросетевые парадигмы имеют по крайней мере два серьезных недостатка:
1) они реализуют нейросетевой алгоритм, не адекватный выбранной задаче;
2) достигают локального эффекта на первом этапе использования без возможности улучшения для повышения качества решения задачи.
В таблице 1 представлена сравнительная характеристика зарубежных и отечественных методов настройки многослойных нейронных сетей.
Определенная общность отечественных методов развития теории нейронных сетей позволила создать единый подход к разработке нейросетевых алгоритмов решения самых разнообразных задач, сформировав новое направление в вычислительной математике - нейроматематику. Эта область связана с разработкой алгоритмов решения математических задач в нейросетевом логическом базисе. Необходимо отметить, что передовая в этом направлении американская школа разработки нейрокомпьютеров уже трижды в истории развития вычислительной техники совершала принципиальные ошибки.
Таблица 2. Сравнение метода обратного распространения и российских методов адаптации в многослойных нейронных сетях
|
NN |
Признак |
Российские методы адаптации в многослойных нейронных сетях |
Метод обратного распространения |
Примечание |
|
|
1 |
Срок разработки и опубликования |
1965 - 1971,1970 - 1974 |
1976 - 1984 |
||
|
Характеристики входных сигналов |
|||||
|
2 |
Число классов образов (градаций по уровню сигнала указаний учителя о принадлежности входных образов полученному классу) |
2, К, континуум |
2 |
||
|
3 |
Характеристика стационарности входных образов как случайных сигналов |
стационарные, нестационарные |
стационарные |
||
|
4 |
Характеристика "квалификации" учителя |
произвольная |
обучение (в=1) редко самообучение (в=0) |
||
|
5 |
Собственное мнение учителя о своих способностях |
+ |
- |
||
|
6 |
Априорные вероятности появления классов образов |
произвольные |
равные |
||
|
Характеристика пространства решений |
|||||
|
7 |
Количество решений |
2, К, континуум |
2 |
для любого варианта числа классов |
|
|
8 |
Априорная информация об условной плотности распределения вероятностей относительно образов классов |
может быть учтена |
не учитывается |
||
|
Критерии первичной оптимизации |
|||||
|
9 |
Класс критериев первичной оптимизации |
средняя функция риска, без учета и при наличии ограничений на составляющие для различных классов, максимум апостериорной информации и другие критерии |
Энергетическая функция, среднеквадратическая ошибка |
Российская методика: - min R (средней функции риска) - min R при (составляющей средней функции риска) - min R при и др. |
|
|
10 |
Матрица (функция) потерь |
произвольная |
диагональная симметричная |
||
|
Структуры многослойных нейронных сетей |
|||||
|
11 |
Типы структур многослойных нейронных сетей |
многослойные нейронные сети с полными, и неполными последовательными, перекрестными и обратными связями. Произвольные структуры, адекватные решаемым задачам |
трехслойные сети с полными последовательными связями |
||
|
Функционал вторичной оптимизации |
|||||
|
12 |
Метод выбора функционала вторичной оптимизации, соответствующего функционалу первичной оптимизации |
+ |
- |
||
|
Методы поиска экстремума функционала вторичной оптимизации |
|||||
|
13 |
Использование Комбинированных (градиентных и случайных методов поиска) |
+ |
- |
||
|
14 |
Использование метода стохастической аппроксимации |
+ |
- |
||
|
15 |
Учет информации об ограничениях на настраиваемые коэффициенты (например, по величине или скорости изменения) |
+ |
- |
||
|
16 |
Возможность использования поисковых колебаний |
+ |
- |
||
|
17 |
Возможность фильтрации в контуре адаптации при оценке градиента функционала вторичной оптимизации |
+ |
- |
||
|
18 |
Выбор начальных условий в контуре адаптации весовых коэффициентов |
+ |
- |
||
|
Типовые входные сигналы |
|||||
|
19 |
Выбор типовых входных сигналов |
+ |
- |
Первая из них была сделана в 60-е годы, когда создавались нейрокомпьютеры с ориентацией на элементную базу с адаптацией весовых коэффициентов. Российская школа приняла тогда концепцию разработки нейрокомпьютеров, в которых рабочая, распознающая часть, реализовывалась в виде аналогового блока с фиксированными или перестраиваемыми коэффициентами, а блок адаптации реализовывался на универсальных ЭВМ С. 24 Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с. .
Вторая ошибка была связана с публикацией работы Минского и Пейперта "Персептроны", где показывалась, якобы, невозможность решения на двухслойной нейронной сети задачи реализации "исключающего или". Российские специалисты, владея в то время общей методикой настройки многослойных нейронных сетей, продолжая работы в этой области, наблюдали практически полное их отсутствие за рубежом вплоть до середины 80-х годов.
Третья ошибка связана с тем, что в работах американских ученых решение отдельных математических задач в нейросетевом логическом базисе ориентируется на частные нейросетевые парадигмы. В наших работах общий метод синтеза нейронных сетей позволил создать и развивать в дальнейшем единую методику решения любых математических задач, создавая нейроматематику - новый раздел вычислительной математики.
2.3 Нейроматематика
Всегда звучит вопрос: для какого класса задач наиболее эффективно применение того или иного вычислительного устройства, построенного по новым признакам. По отношению к нейрокомпьютерам ответ на него постоянно меняется в течение уже почти 50 лет.
Долгое время считалось, что нейрокомпьютеры эффективны для решения неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задач процесса обучения на реальном экспериментальном материале - распознавания образов. Конечно неформализуемые задачи являются важным аргументом использования нейрокомпьютеров. Однако необходимо помнить, что это всего лишь частная постановка аппроксимации функций, заданных некоторым множеством значений. При этом главное, что для аппроксимации используются не прежние статистические, в частности, регрессионные, а гибкие нелинейные нейросетевые модели.
Сегодня к этому классу задач добавляется второй класс задач, иногда не требующих обучения на экспериментальном материале, но хорошо представимых в нейросетевом логическом базисе - это задачи с ярко выраженным естественным параллелизмом: обработка сигналов и обработка изображений. В истории вычислительной техники всегда были задачи, не решаемые компьютерами текущего уровня развития и для них переход к нейросетевому логическому базису характерен в случае резкого увеличения размерности пространства решения или необходимости резкого сокращения времени. Различают три раздела нейроматематики: общая, прикладная и специальная.
Такие казалось бы простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и т.п. многие авторы пытаются решить с помощью нейрокомпьютеров. Действительно, при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно реализовать значительно эффективнее, чем на известных булевских элементах. В нейронных сетях это функции активации, поэтому сегодня много говорят о решении систем линейных уравнений и неравенств, обращении матриц, сортировки с помощью нейрокомпьютерных технологий.
2.4 Прикладная нейроматематика
Как правило множество задач прикладной нейроматематики не решается известными типами вычислительных машин.
Это задачи, достаточно просто сводимые к обработке нейронной сетью многомерных векторов вещественных переменных, например:
контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;
система скрытого обнаружения веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется уже во многих аэропортах США при досмотре багажа для обнаружения наркотиков, взрывчатых веществ, ядерных и других материалов;
система автоматизированного контроля безопасного хранения ядерных изделий.
Наиболее перспективными задачами обработки изображений нейрокомпьютерами являются обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, контрастирование и обработка текстур), выделение на изображении движущихся целей, поиск и распознавание на нем объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.
В первую очередь это класс задач, связанных с прогнозированием временных зависимостей:
прогнозирование финансовых показателей;
прогнозирование надежности электродвигателей;
упреждение мощности АЭС и прогнозирование надежности систем электропитания на самолетах;
обработка траекторных измерений.
При решении этих задач сейчас все переходят от простейших регрессионных и других статистических моделей прогноза к существенно нелинейным адаптивным экстраполирующим фильтрам, реализованным в виде сложных нейронных сетей.
При обработке гидролокационных сигналов нейрокомпьютеры применяются при непосредственной обработке сигнала, распознавании типа надводной или подводной цели, определении координат цели. Сейсмические сигналы по структуре весьма близки к гидролокационным. Обработанные нейрокомпьютером позволяют получить с достаточной точностью данные о координатах и мощности землетрясения или ядерного взрыва. Нейрокомпьютеры начали активно использовать при обработке сейсмических сигналов в нефтегазоразведке. В Международном обществе по нейронным сетям для этого создана специальная группа.
Нейрокомпьютеры в системах управления динамическими объектами - это одна из самых перспективных, областей применения нейрокомпьютеров. По крайней мере США и Финляндия ведут работы по использования нейрокомпьютеров для управления химическими реакторами. В нашей стране этим не занимались, в частности, по причине морального устаревания существующих реакторов и нецелесообразности совершенствования их систем управления.
Перспективной считается разработка нейрокомпьютера для управления двигательной установкой гиперзвукового самолета. Фактически единственным вариантом реализации высокопараллельной вычислительной системы управления зеркалами (100-400 зеркал) адаптивного составного телескопа сегодня является нейрокомпьютер. Адаптивные режимы управления этим сложным объектом по критерию обеспечения максимального высокого качества изображения и компенсации атмосферных возмущений может обеспечить мощный нейрокомпьютер, в свою очередь реализующий адаптивный режим собственного функционирования.
Весьма адекватной нейрокомпьютеру является задача обучения нейронной сети выработке точного маневра истребителя. Обучение системы с достаточно слабой нейронной сетью требовало 10 часов на ПК 386. Тоже можно сказать и о задаче управления роботами: прямая, обратная кинематические и динамические задачи, планирование маршрута движения робота. Переход к нейрокомпьютерам здесь связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.
Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика С. 87 Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с. .
2.5 Нейрочипы и нейрокомпьютеры
В 1995 году была завершена разработка первого отечественного нейрокомпьютера на стандартной микропроцессорной элементной базе, а сегодня проводится разработка на базе отечественных нейрочипов, в том числе супернейрокомпьютера для решения задач, связанных с системами уравнений математической физики: аэро-, гидро-, и газодинамики.
Главный результат разработки нейросетевого алгоритма решения задачи - возможность создания архитектуры нейрочипа, адекватного решаемой задаче. Можно с уверенностью сказать что программная эмуляция нейросетевых алгоритмов на вычислительных средствах, реализованных на элементной базе, не имеющей отношения к нейросетевому логическому базису, либо неэффективна, либо представляет собой временное явление. Для эмуляции нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективнее создать архитектуры, ориентированные на выполнение нейросетевых операций, чем использовать стандартные, ориентированные на модификацию однопроцессорных алгоритмов решения задач.
В отличие от других направлений развития сверхвысокопроизводительной вычислительной техники нейрокомпьютеры дают возможность вести отечественные разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:
- это направление позволяет создать уникальные суперкомпьютеры на отечественной элементной базе, поскольку для них не так важен уровень развития технологии;
- разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки к аналого-цифровой и аналоговой с целью резкого увеличения отношения производительность/цена при контролируемой точности вычислений;
- для разработки нейрочипов больше подходит полузаказная технология, нежели заказная, из-за относительной "сырости" идей архитектуры алгоритмов и нейрочипов, нехватки времени и средств для проведения работ;
- нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластине, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы;
- возникает потребность в универсализации САПР нейрочипов. Сейчас основное внимание разработчиков нейрочипов сосредоточено на системах Компас и SPICE, которые становятся базовыми для таких предприятий как НИИ "Квант", АО "Ангстрем", "Ангстрем РТМ", НИИМЭ, НИИ "Научный центр", НИИМА "Прогресс";
- рождение технологии систем на пластине и нанотехнологии приведет к появлению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине (американская и японская разработки). Поэтому попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, соответствующей однопроцессорным машинам, можно считать бесплодными. Начиная с нанонейроэлементов, мы вплотную подходим к другим принципиально новым архитектурным элементам, образующим сверхпараллельные высокопроизводительные вычислительные системы.
Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки, и при соответствующей поддержке, в ближайшее время станут интенсивно развиваться С. 28 Нейроинформатика-2011 [Текст]: XIII Всероссийская научно-техническая конференция: сборник научных трудов: [в 3 ч.] / Российская акад. наук [и др.]; [отв. ред. О.А. Мишулина]. - Москва: Нац. исслед. ядерный ун-т "МИФИ", 2010. - 164с. .
Основой активного развития нейрокомпьютеров является принципиальное отличие нейросетевых алгоритмов решения задач от однопроцессорных, малопроцессорных, а также транспьютерных. Для данного направления развития вычислительной техники не так важен уровень развития отечественной микроэлектроники, поэтому оно позволяет создать основу построения российской элементной базы суперкомпьютеров.
Сегодня начинает расширяться сфера коммерческой деятельности в области нейрокомпьютеров или подобных им систем, в частности: нейропакеты; нейроплаты (CNAPS и другие); нейрокомпьютеры (Sinapse и другие); видеокурсы; нейросетевые системы управления электроэррозионными станками; охранные системы с нейросетевыми алгоритмами выделения движущихся объектов; системы "электронного ключа" с распознаванием отпечатков пальцев, рисунка радужной оболочки глаза; экспертная система G2 (1)
2.6 Обзор зарубежных достижений нейрокомпьютерных систем
Анализ зарубежной научно-технической литературы в области перспективных средств обработки информации, использующих элементы искусственного интеллекта (ИИ), свидетельствует о дальнейшем развитии исследований и разработок, направленных на создание и аппаратное внедрение нейроподобных сетей. Данную ситуацию можно объяснить двумя объективными причинами. Во-первых, проведенные по широкому фронту исследования обнаружили ряд практических областей, в которых применение нейроинтеллекта позволяет получить эффективные результаты даже при условии программной реализации НПС на базе традиционной вычислительной техники. Во-вторых, успехи в области цифровой и аналоговой микроэлектроники обеспечили реальность создания нейрочипов, позволяющих в полном объеме реализовать возможности параллельной и распределенной обработки информации, характерных для НПС.
Компания Loral Space Information System развивает нейроэмулятор собственной разработки NET (Neural Emulation Tool), который используется в качестве ускорителя персональной вычислительной техники. Эмулятор выполнен в двух модификациях - сопроцессора и памяти.net - процессор содержит четыре 32-разрядных чипа сигнальных процессоров с плавающей точкой TMS 320C30 компании Texas Instruments. В нем реализованы различные нейросетевые парадигмы.net - память выполнена на одном чипе [15].
Характерный пример реализации НПС на современной мультипроцессорной ЭВМ описан в работе. На транспьютерной ЭВМ Computing Surfase была реализована многослойная НПС, обучающаяся по методу обратного распространения ошибки. ЭВМ содержала 32 транспьютера с 4 Мбайт памяти в каждом узле. При реализации НПС обеспечивалось равномерное распределение нейронов по транспьютерным узлам с обеспечением симметрии связей. В результате удалось получить скорость моделирования трехслойной НПС до 1,8 млн. переключений связей/с при общем числе нейронов до 5040, а связей - до 5 644 800.
В работе [13] описывается реализация трехслойной НПС с 256 нейронами и 131072 связями на специализированном клеточном процессоре ААР-2 фирмы NTT. Процессор ААР-2 содержит 65536 процессорных элементов. Каждый процессорный элемент представляет собой совокупность однобитного АЛУ, 144-битного регистрового файла и 8 Кбит локальной памяти. При обучении НПС была показана скорость 18 млн. переключений связей/с, что в 45 раз быстрее, чем на высокопроизводительной универсальной ЭВМ IBM-3090. Следует отметить, что размер моделируемой сети был ограничен объемом локальной памяти.
Фирмой Intel совместно с фирмой Nestor разработана СБИС NI1000 [14], которая ориентирована на решение задач распознавания на основе вероятностных НПС и НПС, реализующих алгоритмы окон Парзена. СБИС позволяет проводить распознавание со скоростью 40 тыс. образов/с при тактовой частоте 40 МГц или 20 млрд. коротких операций с 5 битными данными в секунду и 160 млн. операций с запятой/с. Образ представляется вектором с размерностью до 256 и разрядностью элемента вектора 5 бит. Характеристики этого нейрочипа в настоящее время являются рекордными в данном классе реализаций НПС.
Американской фирмой Intel разработан и серийно выпускается специализированный аналоговый нейрочип ETANN (80170NX). Он представляет собой электрически перепрограммируемую аналоговую НПС, со средствами для программирования весовых коэффициентов и других параметров. Микросхема смонтирована на 208-выводном корпусе типа PGA.
Основной прирост производительности обеспечивается за счет применения параллельного аналогового перемножения входных сигналов на весовые коэффициенты НПС. Максимальная производительность достигается при реализации НПС с прямым распространением сигналов - 2 млн. связей/с.
От аналогичных разработок ETANN отличается законченностью архитектуры НПС достаточно большого размера, реализуемой одной микросхемой, и частичной реализацией алгоритма ее обучения. Все эти три основных составляющих обеспечивают нейрочипу широкий спектр применения в различных областях. Применение ЭППЗУ (CHMOS) технологии в НЧ обеспечивает высокую его производительность, малое энергопотребление, длительное хранение весовых коэффициентов без существенного изменения параметров НПС и широкий диапазон применения.
Рассмотрим архитектуру нейрочипа. Внутри аналогового НЧ 80170NХ размещены 64 аналоговых нейрона-сумматора. На входе и выходе НЧ расположены матрицы синаптических элементов размерностью 80 х 60. Они обеспечивают умножение входных сигналов НПС на хранящиеся весовые коэффициенты. Максимальная размерность НПС, реализуемая отдельным кристаллом равна 64. Максимально возможное число входных сигналов в этой сети - 128 на один нейрон. Матрицы 14 х 64 используются для задания начальных смещений нейронов. Нейрочип имеет встроенные средства для реализации некоторых алгоритмов обучения. Возможно использование НЧ для обработки цифровых сигналов в смешанной среде.
Корпорация Formulab Neoronetics (Уэст-Перт, Австралия) разработала нейрокомпьютер, быстродействие которого значительно выше, чем у существующих персональных компьютеров (ПК) [3]. Благодаря интуитивному визуальному интерфейсу, программирование для новой машины (Richter Paradigm Computer), моделирующей деятельность мозга и обучаемой пользователем, осуществляется просто и быстро.
Компьютер, содержащий 896 RISC-процессоров, выполняет приложения, основанные на технологии нейронной сети, в 180 раз быстрее, чем машина на базе процессора Pentium/166. В компьютере применены новые объектно-специфические архитектура и система адресации, обеспечивающие повышение скорости, гибкости и отказоустойчивости системы.
Вместе с компьютером разработано программное обеспечение (ПО) Richter Paradigm View, позволяющее создавать программы, просто соединяя ячейки на экране дисплея. Действия по написанию программы моделируют процесс принятия решения, происходящий в биологическом мозге. При этом может быть учтена вся необходимая информация, даже если некоторые данные неполны или отсутствуют, а также противоречивы и неясны.
Поскольку Richter Paradigm Computer может быть адаптирован к решению в реальном времени множества разнообразных задач, он представляет собой нечто большее, чем экспертная система или нейросеть. Систему можно расширять, наращивая число процессоров.
Важным компонентом новой технологии является плата Richter Paradigm Neurocard.
Если ее установить в ПК или подсоединить его к внешнему порту, ПК превратится в настоящую “думающую" машину.
Руководство корпорации уверено, что благодаря невысокой стартовой цене:
Richter Paradigm Computer - 3 тыс. долларов;
платы Richter Paradigm View - 300 долларов;
ПО Richter Paradigm Neurocard - 90 долларов;
новая, способная “мыслить” машина (на разработку которой ушло более 14 лет) будет пользоваться значительным спросом.
Одна из разработок фирмы Siemens Nixdorf - специализированный компьютер Synaps1, который разработчики слишком смело назвали НК [4]. За счет масштабируемой мультипроцессорной архитектуры, архитектуры памяти, использования сигнальных процессоров, выполняющих наиболее интенсивные вычислительные операции, разработчикам удалось добиться производительности компьютера, равной нескольким миллиардам соединений (умножений и сложений) в секунду. Благодаря этим аспектам, становится возможной реализация большого спектра приложений, выходящих за рамки классических информационных технологий, включая моделирование деятельности мозга и органов чувств человека, решение комплексных вопросов оптимизации и управления, разработку самообучаемых и экспертных систем, то есть тех задач, которые составляют проблематику современной теории НПС.
Ориентация аппаратных и инструментальных программных средств Synaps1 на решение задач в нейросетевом исполнении, а так же архитектурная способность к наращиванию мощности и подключению внешних устройств “очувствления”, позволяют выделить эту вычислительную систему в отдельный класс специализированных вычислительных систем, подготовленных к быстрому прототипированию любых, даже самых сложных НПС, тестированию концепций и созданию нейроимитаций, доведению разработок до готового коммерческого продукта.
Приведенные сведения подтверждают реальность создания нейрокомпьютерных средств уже сегодня на базе интегральной цифровой микроэлектроники, что дает дополнительный стимул развития теоретических исследований, направленных на поиск решений широкого круга практических задач на основе нейросетевых парадигм вычислений.
Заключение
Искусственные нейронные сети служат универсальным и эффективным средством моделирования и идентификации нелинейных объектов. С их помощью в настоящее время успешно решаются сложные задачи распознавания, классификации и оптимизации. Не менее перспективным является использование искусственных нейросетей, и прежде всего класса многослойных, для синтеза оптимальных (точнее, субоптимальных) алгоритмов управления многосвязными нелинейными объектами со сложной и немоделируемой динамикой. Сочетание концепций, методов и математического аппарата современной нелинейной теории управления с теорией обучаемых искусственных нейронных сетей открывает широкие перспективы для структурного синтеза сложных динамических систем, в том числе того класса, который сейчас относят к системам с элементами искусственного интеллекта.
С позиций современной теории автоматического управления применение МНС как регуляторов объектов адекватно задачам, возникающим в тех нередких случаях, когда аналитический синтез системы управления становится весьма трудоемкой задачей из-за сложности или недостоверности используемой математической модели объекта. Такая ситуация неизбежна, если объект - многосвязный и содержит нелинейности, а его функционирование сопровождается неконтролируемыми изменениями во времени его динамических свойств.
Состояние теории искусственных нейронных сетей и их применение отражено в огромном числе работ и реализовано главным образом за рубежом: в коммерческих программных средствах научного и прикладного характера. Немалое их число составляют работы по применению сетей для автоматического управления. Наибольшая часть из них посвящена применению МНС для управления движением роботов и манипуляторов. В этих случаях объект описывается статическими уравнениями, а обучение сети осуществляется для заданных, как правило, классов траекторий движения.
Проблемам управления динамическими объектами с помощью искусственных нейросетей уделяется меньшее внимание, как это следует из обзоров отечественных и зарубежных публикаций. В определенной степени это объяснимо теми проблемами, с которыми приходится сталкиваться специалистам при использовании стандартных алгоритмов обучения нейросетей в реальном масштабе времени, т.е. в темпе протекания процессов в динамических объектах управления. С другой стороны существующее состояние структурного синтеза нейросетевых систем управления является следствием того, что специалисты по управлению пока еще недостаточно осведомлены о тех возможностях, которые открываются с использованием МНС для решения задач управления. В то же время сами приложения в области управления динамическими объектами занимают незначительное место в исследованиях специалистов по искусственным нейронным сетям. В последние годы положение дел в этой области начинает изменяться к лучшему: число публикуемых работ и докладов на конференциях разного уровня, посвященных применению нейросетей для управления динамическими системами, заметно выросло.
Искусственные нейронные сети и, в частности, многослойные сети прямого распространения служат мощным средством формирования управляющих воздействий на нелинейные объекты в условиях неполноты информации. В этом смысле применение нейросетей для управления в линейных динамических системах хотя и возможно, но действительно эффективное применение нейронных средств (нейроконтроллеров и нейрокомпьютеров) просматривается прежде всего для управления нелинейными объектами. Однако управление нелинейным объектом с помощью нелинейного нейросетевого контроллера порождает весьма сложную динамическую систему, синтез и анализ которой при выбранных целевых условиях требует нетрадиционных подходов и методов.
Глоссарий
|
№ п/п |
Понятие |
Определение |
|
|
1 |
Автоассоциативная сеть |
многослойная нейронная сеть прямого распространения сигнала, обученная выдавать входные данные на выходе. |
|
|
2 |
Архитектура нейронной сети |
способ организации и связи отдельных элементов нейросети (нейронов). |
|
|
3 |
Алгоритм обучения Кохонена |
алгоритм обучения "без учителя", предусматривающий подстройку синапсов на основании их значений от предыдущей итерации. |
|
|
4 |
Ассоциативная память |
свойство нейронной сети восстанавливать предъявленный слегка измененный образ, например, с наложенным шумом или содержащий лишь важную часть исходного образа. |
|
|
5 |
Выходная звезда (Аутстар,Outstar) |
фрагмент нейронных сетей, предложенный и использованный Гроссбергом во многих нейросетевых моделях. Состоит из нейрона, управляющего группой весов. |
|
|
6 |
Нейронная сеть |
вычислительная или логическая схема, построенная из однородных процессорных элементов, являющихся упрощенными функциональными моделями нейронов. |
|
|
7 |
Нейробионика |
научное направление, изучающее возможность использования принципов строения и функционирования мозга с целью создания более совершенных технических устройств и технологических процессов. |
|
|
8 |
Нейрокибернетика |
научное направление, изучающее основные закономерности организации и функционирования нейронов и нейронных образований. Основным методом нейрокибернетики является математическое моделирование, при этом данные физиологического эксперимента используются в качестве исходного материала для создания моделей. |
|
|
9 |
Нейрокомпьютер |
компьютер, созданный на основе нейронных сетей. |
|
|
10 |
Нейронные модели памяти и обучения |
модели нейронных сетей, направленные на изучение их способности к формированию следов памяти и извлечению записанной информации. |
|
|
11 |
Сеть Хемминга (Классификатор по минимуму расстояния Хемминга) |
нейронная сеть ассоциативной памяти, принцип работы которой основан на вычислении расстояния Хемминга от входного вектора до всех векторов-образцов, известных сети. |
|
|
12 |
Сеть Хопфилда (адресуемая по содержанию ассоциативная память, модель Хопфилда) |
нейронная сеть, состоящая из одного слоя нейронов, каждый из которых связан синапсами со всеми остальными нейронами, а также имеет один вход и один выход. |
|
|
13 |
Синапс - в нейронных сетях |
связь между формальными нейронами. Выходной сигнал от нейрона поступает в синапс, который передает его другому нейрону. Сложные синапсы могут иметь память. |
|
|
14 |
Сумматор - в нейронных сетях |
блок, суммирующий сигналы, поступающие от нейронов через синапсы. В общем случае сумматор может преобразовывать сигналы и передавать их нейронам или сумматорам тоже через синапсы. |
|
|
15 |
Теория адаптивного резонанса (адаптивная резонансная теория, ART) |
теория Гроссберга и Карпентера в которой изучайтся модели, направленные на решение дилеммы устойчивости-пластичности т.е. обучения новым знаниям без разрушения уже существующих. |
|
|
16 |
Формальный нейрон |
в нейронных сетях - процессорный элемент, преобразователь данных, получающий входные данные и преобразующий их в соответствии с заданной функцией и параметрами. Формальный нейрон работает с дискретным временем. |
Список использованных источников
1. Архангельский, А.А. Нейрокомпьютерные системы: Учеб. пособие / А.А. Архангельский. - СПб.: СПбГУТ, 2007. - 243 с.
2. Булдакова, Т.И. Нейрокомпьютерные системы: Учеб. пособие для студентов специальностей 220400, 210100/Т.И. Булдакова, С.И. Суятинов; М-во образования Рос. Федерации. Сарат. гос. техн. ун-т. - Саратов, 2008. - 94 с.
3. Бутусов, О.Б. Современные компьютерные технологии в прикладной математике [Текст]: учебное пособие / О.Б. Бутусов, Н.И. Редикульцева, О.П. Никифорова. - Москва: Изд-во МГУИЭ, 2010. - 98 с.
4. Бархатов, Н.А. Искусственные нейронные сети в задачах солнечно-земной физики [Текст]: монография / Н.А. Бархатов, С.Е. Ревунов. - Нижний Новгород: Нижегородский гос. пед. ун-т, 2010. - 407 с.
5. Горлов, В.Н. Прикладные нейрокомпьютерные системы: Учебное пособие: / В.Н. Горлов; М-во образования Рос. Федерации, Владимир. гос. ун-т. - Владимир: Владим. гос. ун-т, 2009. - 125 с.
6. Евдокимов, А.А. Нейрокомпьютерные технологии в системах защиты информации / А.А. Евдокимов. - Невинномысск: НТИ (фил.) ГОУ ВПО "СевКавГТУ", 2007. - 199 с.
7. Злобин, В.К. Нейросети и нейрокомпьютеры [Текст] / В.К. Злобин, В.Н. Ручкин. - Санкт-Петербург: БХВ-Петербург, 2011. - 252 с.
8. Ключко, В.И. Нейрокомпьютерные системы. Базы знаний: Учеб. пособие / В.И. Ключко, В.В. Ермоленко. - Краснодар: Изд-во КубГТУ, 2008. - 100 с.
9. Ковалев, И.В. Нейросетевые и гибридные методы и программные средства повышения эффективности поддержки принятия решений в интеллектуальных системах: автореферат дис. кандидата технических наук: 05.13.11/Ковалев Иван Витальевич; [Место защиты: Моск. энергет. ин-т]. - Москва, 2011. - 18 с.
10. Кобенко, В.Ю. Компьютерные технологии в науке и производстве: учебное пособие / В.Ю. Кобенко, Ю.Н. Кликушин. - Омск: Изд-во ОмГТУ, 2010. - 103 с.
11. Лесохин, В.З. Разработка бизнес-процессов совместных инвестиций с применением ППП МАТЛАБ - нейронные сети [Текст] / В.З. Лесохин. - Санкт-Петербург: Изд-во С. - Петерб. гос. ун-та экономики и финансов, 2011. - 90 с.
12. Малыхина, М.П. Нейросетевая экспертная система на основе прецедентов для решения проблем абонентов сотовой сети [Текст]: [монография] / М.П. Малыхина, Ю.В. Бегман. - Краснодар: Юг, 2011. - 148 с.
13. Нейроинформатика, ее приложения и анализ данных [Текст]: материалы девятнадцатого Всероссийского семинара, 1 октября - 3 октября 2011 года / М-во образования и науки РФ, Сибирское отд-ние РАН, Сибирский федеральный ун-т [и др.]. - Красноярск: Сибирский федеральный ун-т, 2011. - 190 с.
14. Нейроинформатика, ее приложения и анализ данных [Текст]: материалы XVIII Всероссийского семинара, 8-10 октября 2010 г. - Красноярск: Сибирский федеральный ун-т, 2010. - 216 с.
15. Нейроинформатика и системы ассоциативной памяти [Текст] / Российская акад. наук, Научно-исследовательский ин-т системных исслед. РАН, Научно-исследовательский ин-т многопроцессорных вычислительных систем им. А.В. Каляева Южного федерального ун-та, Базовая каф. Южного науч. центра РАН "Интеллектуальные и многопроцессорные системы" Технологического ин-та Южного федерального ун-та в г. Таганроге; под ред. Б.В. Крыжановского. - Москва [и др.]: Изд-во Технологического ин-та Южного федерального ун-та, 2008. - 176 с.
16. Нейрокомпьютеры и их применение. Нейро-2007 [Текст]: материалы Международной научной молодежной школы, 24 сентября-29 сентября 2007, пос. Дивноморское, Геленджик, Россия / Российская акад. наук [и др.]; под ред.А.И. Галушкина. - Москва; Таганрог: Изд-во ТТИ ЮФУ, 2007. - 189 с.
17. Нейроинформатика-2011 [Текст]: XIII Всероссийская научно-техническая конференция: сборник научных трудов: [в 3 ч.] / Российская акад. наук [и др.]; [отв. ред. О.А. Мишулина]. - Москва: Нац. исслед. ядерный ун-т "МИФИ", 2010.
18. Осипов, Л.А. Искусственный интеллект и нейронные сети [Текст]: учебное пособие: для студентов высших учебных заведений, обучающихся по направлению подготовки 230400 - "Информационные системы и технологии" / Л.А. Осипов, С.А. Яковлев. - Санкт-Петербург: ГУАП, 2011. - 133 с.
19. Павлов, А.Н. Интеллектуальные средства измерений [Электронный ресурс] / А.Н. Павлов. - Бийск: БТИ АлтГТУ, 2011.
20. Потапов, И.В. Надежность нейрокомпьютерных систем. Модели и задачи: монография / И.В. Потапов. - Омск: Омский гос. технический ун-т, 2007. - 239 с.
21. Потапов, И.В. Модели, методы и задачи прикладной теории надежности нейрокомпьютерных систем: автореферат дис. доктора технических наук: 05.13.15, 05.13.17/Потапов Илья Викторович; [Место защиты: Сиб. гос. ун-т телекоммуникаций и информатики]. - Новосибирск, 2010. - 35 с.
22. Потапов, В.И. Новые задачи прикладной теории надежности нейронных систем: монография / В.И. Потапов. - Омск: Изд-во ОмГТУ, 2008. - 56 с.
23. Редько, В.Г. Эволюция, нейронные сети, интеллект [Текст]: модели и концепции эволюционной кибернетики / В.Г. Редько; предисл.Г. Г. Малинецкого. - 7-е изд. - Москва: URSS, 2011. - 220 с.
24. Рыжаков, В.В. Аналитические положения диагностирования объектов на основе нечеткой информации с использованием искусственных нейронов [Текст] / В.В. Рыжаков, М.В. Рыжаков; под ред.В. В. Рыжакова; М-во образования и науки Российской Федерации, Московский физико-технический ин-т (гос. ун-т). - Москва: МФТИ, 2010. - 112 с.
25. Серов, В.А. Нейроуправление многокритериальными конфликтными системами [Текст]: монография / В.А. Серов, Ю.Н. Бабинцев, Н.С. Кондаков. - Москва: Изд-во Московского гуманитарного ун-та, 2011. - 135 с.
26.
27. Степанов, М.Ф. Искусственные нейронные сети в задачах планирования и управления / М.Ф. Степанов. - Саратов: Саратовский гос. технический ун-т, 2010. - 123 с.
28. Синявский, О.Ю. Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации: автореферат дис. кандидата технических наук: 05.13.17/Синявский Олег Юрьевич. - Москва, 2011. - 20 с.
29. Тарков М.С. Нейрокомпьютерные системы. - М.: Изд-во "Интернет-университет информационных технологий - ИНТУИТ. ру", 2007. - 144 c.
30. Толмачев, С.Г. Системы искусственного интеллекта. Нейросетевые модели [Текст]: учебное пособие / С.Г. Толмачев. - Санкт-Петербург: БГТУ, 2011. - 130 с
31. Трофимов, Я.А. Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей: автореферат дис. кандидата технических наук: 05.13.01/Трофимов Ярослав Александрович. - Дубна, 2011. - 23 с.
32. Философские проблемы информационных технологий и киберпространства [Текст]: материалы II Международной междисциплинарной научно-практической конференции, 21-22 апреля 2011 года / М-во образования и науки РФ, ГОУ ВПО "Пятигорский гос. лингвистический ун-т. - Пятигорск: Пятигорский гос. лингвистический ун-т, 2011. - 307 с.
33. Хаптахаева, Н.Б. Нейрокомпьютерные системы: курс лекций / Н.Б. Хаптахаева. - Улан-Удэ: Изд-во ВСГТУ, 2008. - 109 с.
34. Элементарное введение в технологию нейронных сетей с примерами программ [Текст] / Рышард Тадеусевич [и др.; пер. с пол. И.Д. Рудинского]. - Москва: Горячая линия-Телеком, 2011. - 408 с.
35. Ясницкий, Л.Н. Искусственный интеллект [Текст]: методическое пособие / Л.Н. Ясницкий, Ф.М. Черепанов. - Москва: Бином. Лаб. знаний, 2012. - 216 с.
36. Ясинский, И.Ф. Введение в нейросетевые технологии [Текст] / И.Ф. Ясинский. - Иваново: ИГТА, 2010. - 119 с.
Размещено на Allbest.ru
Подобные документы
Характеристика моделей обучения. Общие сведения о нейроне. Искусственные нейронные сети, персептрон. Проблема XOR и пути ее решения. Нейронные сети обратного распространения. Подготовка входных и выходных данных. Нейронные сети Хопфилда и Хэмминга.
контрольная работа [1,4 M], добавлен 28.01.2011Искусственные нейронные сети как вид математических моделей, построенных по принципу организации и функционирования сетей нервных клеток мозга. Виды сетей: полносвязные, многослойные. Классификация и аппроксимация. Алгоритм обратного распространения.
реферат [270,4 K], добавлен 07.03.2009Искусственные нейронные сети, строящиеся по принципам организации и функционирования их биологических аналогов. Элементарный преобразователь в сетях. Экспериментальный автопилотируемый гиперзвуковой самолет-разведчик LoFLYTE, использующий нейронные сети.
презентация [1,3 M], добавлен 23.09.2015Начало современного этапа развития систем искусственного интеллекта. Особенности взаимодействия с компьютером. Цель когнитивного моделирования. Перспективы основных направлений современного развития нейрокомпьютерных технологий, моделирование интеллекта.
реферат [24,7 K], добавлен 05.01.2010Базовые архитектуры компьютеров: последовательная обработка символов по заданной программе и параллельное распознавание образов по обучающим примерам. Искусственные нейронные сети. Прототип для создания нейрона. Поведение искусственной нейронной сети.
контрольная работа [229,5 K], добавлен 28.05.2010Рождение искусственного интеллекта. История развития нейронных сетей, эволюционного программирования, нечеткой логики. Генетические алгоритмы, их применение. Искусственный интеллект, нейронные сети, эволюционное программирование и нечеткая логика сейчас.
реферат [78,9 K], добавлен 22.01.2015Принципы организации и функционирования биологических нейронных сетей. Система соединенных и взаимодействующих между собой простых процессоров. Нейронные сети Маккалока и Питтса. Оценка качества кластеризации. Обучение многослойного персептрона.
курсовая работа [1,1 M], добавлен 06.12.2010Общие сведения о принципах построения нейронных сетей. Искусственные нейронные системы. Математическая модель нейрона. Классификация нейронных сетей. Правила обучения Хэбба, Розенблатта и Видроу-Хоффа. Алгоритм обратного распространения ошибки.
дипломная работа [814,6 K], добавлен 29.09.2014Возможности программ моделирования нейронных сетей. Виды нейросетей: персептроны, сети Кохонена, сети радиальных базисных функций. Генетический алгоритм, его применение для оптимизации нейросетей. Система моделирования нейронных сетей Trajan 2.0.
дипломная работа [2,3 M], добавлен 13.10.2015Разработка нейронной сети, ее применение в алгоритме выбора оружия ботом в трехмерном шутере от первого лица, тестирование алгоритма и выявление достоинств и недостатков данного подхода. Обучение с подкреплением. Описание проекта в Unreal Engine 4.
контрольная работа [611,0 K], добавлен 30.11.2016
