Загрузка...
Учебная работа. Реферат: Нейронные сети 4
Факультет муниципального и городского управления
Кафедра информатики и информационных технологий в менеджменте
Реферат
по дисциплине: «Информационные системы»
на тему:
«Нейронные сети»
Выполнил: студент
группы 23 ИОСП
Бобровникова Инна
Проверил: канд. полит.
наук, доцент
Проскурякова Л. Г.
Орел, 2008
Содержание
Введение………………………………………………………………………..3
1.История развития нейронных сетей…………………………………………4
2.Устройство нейронных сетей………………………………………………..6
3.Функции активации………………………………………………………….7
4.Типы архитектур нейросетей………………………………………………..8
5.Обучение мультислойной сети………………………………………………..12
6.Оборотное распространение ошибки…………………………………………14
7..Организация процесса обучения……………………………………………16
Заключение………………………………………………………………………17
Введение
Нейронные сети представляют собой новейшую и очень многообещающую вычислительную технологию, дающую новейшие подходы к исследованию динамических задач в денежной области. Сначало нейронные сети открыли новейшие способности в области определения образов, потом к этому прибавились статистические и основанные на способах искусственного ума средства поддержки принятия решений и решения задач в сфере денег.
Способность к моделированию нелинейных действий, работе с зашумленными данными и адаптивность дают способности использовать нейронные сети для решения широкого класса денежных задач. В крайние несколько лет на базе нейронных сетей было создано много программных систем для внедрения в таковых вопросцах, как операции на товарном рынке, оценка вероятности банкротства банка, оценка кредитоспособности, контроль за инвестициями, размещение займов. Приложения нейронные сетей обхватывают самые различные области интересов: определение образов, обработка зашумленных данных, дополнение образов, ассоциативный поиск, систематизация, оптимизация, прогноз, диагностика , обработка сигналов, абстрагирование, управление действиями, сегментация данных, сжатие инфы, сложные отображения, моделирование сложных действий, машинное зрение, определение речи.
1.
История развития нейронных сетей
На заре развития электронно-вычислительной техники посреди XX века посреди ученых и конструкторов еще не было одного представления он том, как обязана быть реализована и по какому принципу работать типовая электронно-вычислительная машинка. Это на данный момент мы с вами изучаем в курсах основ информатики архитектуру машинки фон Неймана, по которой построены фактически все имеющиеся сейчас компы. При всем этом в тех же учебниках ни слова не говорится о том, что в те же годы были предложены принципно другие архитектуры и принципы деяния компов. одна из таковых схем получила заглавие нейросетевого компа, либо просто нейросети. Рис. 1 Главные части нервной клеточки — это ее тело, содержащее ядро и остальные органеллы, единственный аксон, передающий импульсы от клеточки, и дендриты, к которым приходят импульсы от остальных клеток. 1-ый Энтузиазм к нейросетям был обоснован пионерской работой МакКаллока и Питса, изданной в 1943 году, где предлагалась схема компа, основанного на аналогии с работой людского мозга . Они сделали облегченную модель нервной клеточки — нейрон. тела нейронов, а сероватое — это соединительная ткань меж нейронами, либо аксоны и дендриты.
Рис. 1
Главные части нервной клеточки — это ее тело, содержащее ядро и остальные органеллы, единственный аксон, передающий импульсы от клеточки, и дендриты, к которым приходят импульсы от остальных клеток связанных меж собой. Любой нейрон получает информацию через свои дендриты, а передает ее далее лишь через единственных аксон, разветвляющийся на конце на тыщи синапсов (см. рис. 1). Простой нейрон может иметь до 10000 дендритов, принимающих сигналы от остальных клеток.
Таковым образом, процесс активизирует сходу огромное количество нейронов, то можно представить для себя то количество инфы либо сигналов, которое возникает в мозгу. Нейроны ведут взаимодействие средством серий импульсов, длящихся несколько миллисекунд, любой импульс представляет собой частотный сигнал с частотой от нескольких единиц до сотен герц. Это немыслимо медлительно по сопоставлению с современными компами, но в тоже время человечий мозг еще резвее машинки может обрабатывать аналоговую информацию, как-то: узнавать изображения, ощущать вкусна данный момент поочередные вычисления.
Разработка поочередных вычислений подошла к лимиту собственных технических способностей, и в истинное время остро стоит неувязка развития способов параллельного программирования и сотворения параллельных компов. Так что, быть может, нейросети являются лишь еще одним шагом в этом направлении.
2. Устройство нейронных сетей
Искусственным нейроном именуется обычный элемент, поначалу вычисляющий взвешенную сумму V входных величин хi:
тут N — размерность места входных сигналов. Потом приобретенная сумма сравнивается с пороговой величиной W0, вослед за чем вступает в действие нелинейная функция активации f. Коэффициенты {Wi} во взвешенной сумме обычно именуют синаптическими коэффициентами либо весами. Саму же взвешенную сумму V мы будем именовать потенциалом нейрона i. Выходной сигнал тогда имеет вид f(V). Величину порогового барьера можно разглядывать как еще один весовой коэффициент при неизменном входном сигнале. В этом случае мы говорим о расширенном входном пространстве: нейрон с N-мерным входом имеет N+1 весовой коэффициент. Если ввести в уравнение пороговую величину W0, то оно перепишется так:
Зависимо от метода преобразования сигнала и нрава активации появляются разные виды нейронных структур. Есть детерминированные нейроны, когда активизирующая функция совершенно точно вычисляет выход по входу, и вероятностные нейроны, состояние которых в момент t есть случайная функция потенциала и состояния в момент t-1. Дальше речь пойдёт о детерминированных нейронах
3. Функции активации
В искусственных нейронах могут быть разные функции активации, да и в применяемых программках, и в известной литературе указаны лишь последующие виды функций:
* Линейная: выходной сигнал нейрона равен его потенциалу,
* Пороговая: нейрон выбирает решение из 2-ух вариантов: активен /неактивен,
* Многопороговая: выходной сигнал может принимать одно из q значений,определяемых (q-1) порогом снутри предельных значений.
* Сигмоидная: рассматриваются два вида сигмоидных функций:
с выходными значениями в промежутке [0,1] и
с выходными значениями в промежутке [-1,1]. Коэффициент b описывает крутизну сигмоида. Так как сигмоидная функция является гладким отображением (-?,?) на (-1,1), то крутизну можно учитывать через величины весов и порогов, и без ограничения общности можно считать ее равной единице.
4. Типы архитектур нейросетей
Из точек на плоскости и соединений меж ними можно выстроить огромное количество графических фигур, именуемых графами. Если каждую точку представить для себя как один нейрон, а соединения меж точками — как дендриты и синапсы, то мы получим нейронную сеть. Но не всякое соединение нейронов будет работоспособно либо совершенно целенаправлено. Потому на нынешний денек существует лишь несколько работающих и реализованных программно архитектур нейросетей. Я лишь кратко обрисую их устройство и классы решаемых ими задач. сеть прямого распространения По архитектуре связей нейросети могут быть сгруппированы в два класса: сети прямого распространения, в каких связи не имеют петель, и сети рекуррентного типа, в каких вероятны оборотные связи (см. рис. 2)
Рис. 2 Рекуррентная сеть
Сети прямого распространения разделяются на однослойные перцепротроны (сети) и мультислойные перцептроны (сети). Заглавие перцептрона для нейросетей выдумал южноамериканский нейрофизиолог Ф. Розенблатт, придумавший в 1957 году 1-ый нейропроцессорный элемент (НПЭ), другими словами нейросеть. Он же обосновал сходимость области решений для персептрона при его обучении. сходу опосля этого началось бурное исследование в данной для нас области и был сотворен самый 1-ый нейрокомпьютер Mark I. Мультислойные сети различаются тем, что меж входными и выходными данными размещаются несколько так именуемых укрытых слоев нейронов, добавляющих больше нелинейных связей в модель. Разглядим устройство простейшей мультислойной нейросети.
Неважно какая нейронная сеть состоит из входного слоя и выходного слоя. Соответственно подаются независящие и зависимые переменные. Входные данные преобразуются нейронами сети и сравниваются с выходом. Если отклонение больше данного, то особым образом меняются веса связей нейронов меж собой и пороговые значения, нейронов. Опять происходит процесс вычислений выходного значения и его сопоставление с образцом. Если отличия меньше данной погрешности, то процесс обучения прекращается. Кроме входного и выходного слоев в мультислойной сети есть так именуемые сокрытые слои. Они представляют собой нейроны, которые не имеют конкретных входов начальных данных, а соединены лишь с выходами входного слоя и с входом выходного слоя. Таковым образом, сокрытые слои добавочно конвертируют информацию и добавляют нелинейности в модели.
Если однослойная нейросеть весьма отлично совладевает с задачками систематизации, потому что выходной слой нейронов ассоциирует приобретенные от предшествующего слоя значения с порогом и выдает значение или ноль, другими словами меньше порогового значения, или единицу — больше порогового (для варианта пороговой внутренней функции нейрона), и не способен решать большая часть практических задач (что было подтверждено Минским и Пейпертом), то мультислойный перцептрон с сигмоидными решающими функциями способен аппроксимировать всякую многофункциональную зависимость (это было подтверждено в виде аксиомы). Но при всем этом не понятно ни необходимое число слоев, ни необходимое количество укрытых нейронов, ни нужное для обучения сети время. Эти препядствия до сего времени стоят перед исследователями и разрабами нейросетей. Лично мне кажется, что весь Интерес в применении нейросетей строится конкретно на подтверждении данной для нас аксиомы. Разглядим, как нейроны могут моделировать разные классы функций.
Класс рекуррентных нейросетей еще шире, ну и сами сети труднее по собственному устройству. правило, первого порядка. Это еще расширяет области внедрения нейросетей и методы их обучения. сеть организована так, что любой нейрон получает входную информацию от остальных нейронов, может быть, и от самого себя, и от окружающей среды. Этот тип сетей имеет принципиальное системы. Посреди рекуррентных сетей можно выделить сети Хопфилда и сети Кохонена. При помощи сетей Хопфилда можно обрабатывать неупорядоченные (рукописные буковкы), упорядоченные во времени (временные ряды) либо пространстве (графики) эталоны. Рекуррентная нейросеть простого вида была введена Хопфилдом и построена она из N нейронов, связанных любой с каждым не считая самого себя, при этом все нейроны являются выходными. Нейросеть Хопфилда можно применять в качестве ассоциативной памяти.
сеть Кохонена еще именуют «самоорганизующейся картой признаков«. Сеть такового типа рассчитана на самостоятельное обучение . Во время обучения докладывать ей правильные ответы необязательно. В процессе обучения на вход сети подаются разные эталоны. сеть улавливает индивидуальности их структуры и делит эталоны на кластеры, а уже обученная сеть относит любой вновь поступающий пример к одному из кластеров, руководствуясь неким аспектом «близости». сеть состоит из 1-го входного и 1-го выходного слоя. количество частей в выходном слое конкретно описывает, сколько разных кластеров сеть сумеет распознать. Любой из выходных частей получает на вход весь входной вектор. Как и во всякой нейронной сети, каждой связи приписан некий синоптический вес. Почти всегда любой выходной элемент соединен также со своими соседями. Эти внутрисловные связи играют важную роль в процессе обучения, потому что корректировка весов происходит лишь в округи того элемента, который лучшим образом откликается на очередной вход. Выходные элементы соревнуются меж собой за Право вступить в действи и «получить урок». Выигрывает тот из их, чей вектор весов окажется поближе всех к входному вектору.
5. Обучение мультислойной сети
основное отличие и преимущество нейросетей перед традиционными средствами прогнозирования и систематизации заключается в их возможности к обучению. Так что все-таки такое обучение нейросетей? На шаге обучения происходит вычисление синоптических коэффициентов в процессе решения нейронной сетью задач, в каких подходящий ответ определяется не по правилам, а при помощи примеров, сгруппированных в обучающие огромного количества. Так что нейросеть на шаге обучения сама играет роль профессионала в процессе подготовки данных для построения экспертной системы. Предполагается, что правила находятся в структуре обучающих данных. Для обучения нейронной сети требуются обучающие данные. Они должны отвечать свойствам представительности и случайности либо последовательности. Все зависит от класса решаемой задачки. Такие данные представляют собой ряды примеров с указанием для всякого из их значением выходного параметра, которое было бы лучше получить. Деяния, которые при всем этом происходят, можно именовать управляемым обучением: «учитель» подает на вход сети вектор начальных данных, а на выходной узел докладывает хотимое
Контролируемое обучение нейросети можно разглядывать как решение оптимизационной задачки. Ее целью является минимизация функции ошибок Е на данном огромном количестве примеров методом выбора значений весов W. Достижение минимума именуется сходимостью процесса обучения. Конкретно возможность этого и обосновал Розенблатт. Так как ошибка зависит от весов нелинейно, получить решение в аналитической форме нереально, и поиск глобального минимума осуществляется средством итерационного процесса так именуемого обучающего метода. Создано уже наиболее сотки различных обучающих алгоритмов, различающихся друг от друга стратегией оптимизации и аспектом ошибок. Обычно в качестве меры погрешности берется средняя квадратичная ошибка (СКО):
где М — число примеров в обучающем огромном количестве. Минимизация величины Е осуществляется при помощи градиентных способов. Изменение весов происходит в направлении, оборотном к направлению большей крутизны для функции:
тут ? — определяемый юзером параметр, который именуется коэффициентом обучения.
6. Оборотное распространение ошибки
Одним из самых всераспространенных алгоритмов обучения нейросетей прямого распространения является метод оборотного распространения ошибки (Back Propagation, BP). Этот метод был переоткрыт и популяризован в 1986 г. Румельхартом и МакКлелландом из группы по исследованию параллельных распределенных действий в Массачусетском технологическом институте. тут я желаю тщательно выложить математическую сущность метода, потому что весьма нередко в литературе ссылаются на некий факт либо аксиому, но никто не приводит его подтверждения либо источника. Если честно, то же самое относится к аксиоме о отображении нейросетью хоть какой многофункциональной зависимости, на которой основываются все пробы применить нейросети к моделированию настоящих действий. Приведём метод работы нейросети Итак, это метод градиентного спуска, минимизирующий суммарную квадратичную ошибку:
тут индекс i пробегает все выходы мультислойной сети. Основная мысль ВР заключается в том, чтоб вычислять чувствительность ошибки сети к изменениям весов. Для этого необходимо вычислить личные производные от ошибки по весам. Пусть обучающее огромное количество состоит из Р. образцов, входы которого где ? — длина шага в направлении, оборотном к градиенту обозначены через {xik} Вычисление личных производных осуществляется по правилу цепи: вес входа i-гo нейрона, идущего от j-гo нейрона, пересчитывается по формуле:
где ? — длина шага в направлении, оборотном к градиенту
Если разглядеть раздельно k-тый эталон, то соответственное изменение весов равно:
Множитель рассчитывается через подобные множители из следующего слоя, и ошибка, таковым образом, передается в оборотном направлении. Для выходных частей получим:
Для укрытых частей множитель определяется так:
где индекс h пробегает номера всех нейронов, на которые повлияет i-ый нейрон.
7. Организация процесса обучения
Из аксиомы о отображении фактически хоть какой функции при помощи мультислойной нейросети следует, что обучаемая нами нейронная сеть в принципе способна сама подстроиться под любые данные с целью минимизации суммарной квадратичной ошибки. Чтоб этого не происходило, при обучении нейросетей употребляют последующий метод проверки сети. Для этого обучающую подборку еще перед началом обучения разбивают случайным образом на две подвыборки: обучающую и тестовую. Обучающую подборку употребляют фактически для процесса обучения, при всем этом меняются веса нейронов. А тестовую употребляют в процессе обучения для проверки на ней суммарной квадратичной ошибки, но при всем этом не происходит изменение весов. Если нейросеть указывает улучшение аппроксимации и на обучающей, и на испытательной подборках, то обучение сети происходит в правильном направлении. По другому может понижаться ошибка на обучающей выборке, но происходит ее повышение на испытательной. Крайнее значит, что сеть «переобучилась» и уже не быть может применена для прогнозирования либо систематизации. В этом случае мало меняются веса нейронов, чтоб вывести сеть из округи локального минимума ошибки.
Литература:
1. Мак-Каллок У.С., Питтс У. Логическое исчисление мыслях, относящихся к нервной активности // Автоматы, под ред. Шеннона К.Э. и Маккарти Дж. М.: ИЛ, 2003. С. 362 — 384.
2. Минский М., Пейперт С. Перцептроны./ Минский М. мир, 2001. 234 с.
3. Розенблат Ф. Принципы нейродинамики. Перцептроны и теория устройств мозга . Мир, 2004, 248 с.
4. С. Маленький, «Нейронные сети: метод оборотного распространения». СПб, 2002, 328 с.
5. С. Маленький,»Нейронные сети: Главные положения. СПб, 2002. 357 с.
6. Фомин С.В., Беркенблит М.Б. Математические препядствия в биологии. М.: Наука, 2004, 200 с.
7. Фон Нейман Дж. Вероятностная мир, 2001, 382 с.
9. Фролов А.А., Муравьев И.П. Информационные свойства нейронных сетей. М.: Наука, 2005, 160 с.
10. Фролов А.А., Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука, 2004, 160 с.
]]>