Загрузка...
Учебная работа. Реферат: Представление знаний в информационных системах
1. анализ начальных данных и разработка ТЗ
1.1 Основание и предназначение разработки
1.2 систематизация решаемой задачки
1.3 Подготовительный выбор класса НС
1.4 Подготовительный выбор структуры НС
1.5 Выбор пакета НС
1.6 Малые требования к информационной и программной сопоставимости
1.7 Малые требования к составу и характеристикам технических средств
2. Обучение НС
2.1 Формирование начальных данных
2.2. Окончательный выбор модели, структуры и характеристик обучения НС
2.3 Блок-схема метода обучения
3. анализ свойства обучения
4. Тестовый пример
5. Выводы
1. анализ начальных данных и разработка технического задания
1.1
Основание и предназначение разработки
Основанием данной работы является необходимость выполнения курсовой работы по дисциплине «работы является освоение нейронной сети.
1.2 Систематизация решаемой задачки
В таблице 1 представлены некие трудности, решаемые нейронными сетями [5].
Таблица 1.
неувязка
Начальные данные
Выходные данные
Задачка
Применение
систематизация
вектор признаков
вектор, значения всех координат которого должны быть равными 0, кроме координаты, соответственной выходному элементу, представляющему разыскиваемый класс(
указание принадлежности входного вида одному либо нескольким за ранее определенным классам
определение букв, определение речи, систематизация сигнала электрокардиограммы, систематизация клеток крови
Кластеризация
(систематизация вида без учителя)
вектор признаков, в каком отсутствуют метки классов
—
Метод основан на подобии образов и располагает близкие образы в один кластер
извлечение познаний, сжатие данных и исследование параметров данных
Апроксимация функций
(имеется обучающая подборка ((xl yi), (х2
, у2
), …, (xn, yw)), которая генерируется неведомой функцией, искаженной шумом)
набор обучающих векторов
рассчитанное сетью
нахождение оценки функции
Прогнозирование ( заданы N дискретных отсчетов {(y(f1
), y(f2
), …, y(fN
)} в поочередные моменты времени t1
, t2
, …, tN
)
вектора данных по M признакам за T периодов времени
вектора данных по M признакам за периоды времени T+L
пророчество значения y(tN
+1
) в момент tN
+1
принятие решений в бизнесе, науке и технике
Управление
(рассматривается динамическая система, данная совокупой {u(t), y(t)})
u(t) — входное управляющее действие
(t) — выход системы в момент времени t
расчет такового входного действия u(t), при котором система следует по хотимой линии движения, диктуемой эталонной моделью
Начальными данными для данной задачки является вектора(из нулей и единиц) размерности 60, которые обрисовывают каждую из 10 арабских цифр, избранных для обучения. Начальные данные предлагаются в прилагаемом файле «cifri.xls»
В этом же файле содержатся и выходные вектора размерности 10, где единица в одном из 10 положений значит принадлежность классифицируемого эталона к той либо другой цифре.
сеть, принимая входной вектор, обязана в согласовании с ним выдать соответственный данной последовательности выходной вектор.
Исходя из начальных, выходных данных, задачкам, которые нужно решить, данная задачка является задачей систематизации.
1.3 Подготовительный выбор класса нейронной сети
Перечень классов НС, в каких существует возможность решения задачки, отражён в таблице 2 [5].
Таблица 2.
Класс НС
сети прямого распространения (персептрон, однослойный и мультислойный)
реккурентные (однослойные и мультислойные, в том числе сети Хопфилда и двунаправленная ассоциативная память)
Из классов, которые не подступают для решения задач систематизации можно указать мультислойные динамические сети с возбуждением и торможением и динамикой второго порядка.
Строго и совершенно точно найти класс НС для данной нам задачки не представляется вероятным, потому что большая часть из их в той либо другой мере подступают для ее решения.
Исходя из выше произнесенного остановим собственный выбор на последующих классах: Персептрон, однослойный и мультислойный; Сети Хопфилда; Сети Ворда; Сети Кохонена; Двунаправленная ассоциативная память(ДАП);
Проведем сравнительный анализ данных классов[5]:
Класс
Модель
Область внедрения
Плюсы
Недочеты
Однослойный персептрон
отдельный персептронный нейрон вычисляет взвешенную сумму частей входного сигнала, вычитает
определение образов, систематизация
программные либо аппаратные реализации модели весьма ординарны. Обычной и резвый метод обучения
обыкновенные разделяющие поверхности (гиперплоскости) дают возможность решать только легкие задачки определения
Мультислойный персептрон с обучением по способу оборотного распространения ошибки
употребляется метод оборотного распространения ошибки. Тип входных сигналов – целые и действительные, тип выходных сигналов – действительные из интервала, данного передаточной функцией нейронов. Тип передаточной функции – сигмоидальная
определение образов, систематизация, прогнозирование, определение речи. Контроль, адаптивное управление, построение экспертных систем
1-ый действенный метод обучения мультислойных нейронных сетей
этот способ относится к методам с малой скоростью сходимости. Для роста скорости сходимости нужно применять матрицы вторых производных функции ошибки
сеть Хопфилда
употребляется как автоассоциативная память. Начальные данные – векторы-образцы классов. Выход всякого из нейронов подаётся на вход всех других нейронов.
Тип входных и выходных сигналов – биполярные. Тип передаточной функции – жёсткая пороговая.
ассоциативная память, адресуемая по содержанию, определение образов, задачки оптимизации(в том числе, комбинаторной оптимизации).
дозволяет вернуть искажённые сигналы
размерность и тип входных сигналов совпадают с размерностью и типом выходных сигналов. Это значительно ограничивает применение сети в задачках определения образов. При использовании очень коррелированных векторов-образцов может быть зацикливание сети в процессе функционирования. Маленькая ёмкость, квадратичный рост числа синапсов при увеличении размерности входного сигнала
Сети Ворда
рядовая трехслойная сеть с оборотным распространением ошибки с различными передаточными функциями в блоках укрытого слоя
Классифика-ция
обучение , не плохое обобщение на зашумленных данных
Сети Кохонена
сеть состоит из М нейронов, образующих прямоугольную сетку на плоскости. Элементы входных сигналов подаются на входы всех нейронов сети. В процессе работы метода настраиваются синаптические веса нейронов. Входные сигналы (вектора реальных чисел) поочередно предъявляются сети, при всем этом требуемые выходные сигналы не определяются. Опосля предъявления достаточного числа входных векторов, синаптические веса сети определяют кластеры. Не считая того, веса организуются так, что топологически близкие нейроны чувствительны к схожим входным сигналам
кластерный анализ, определение образов, систематизация
сеть быть может применена для кластерного анализа лишь в случае, если заблаговременно понятно число кластеров
способна работать в критериях помех, потому что число классов фиксировано, веса модифицируются медлительно, и настройка весов завершается опосля обучения
Двунаправленная ассоциативная память
является гетероассоциативной. Входной вектор поступает на один набор нейронов, а соответственный выходной вектор вырабатывается на другом наборе нейронов. Входные образы ассоциируются с выходными
ассоциативная память, определение образов
сеть может строить ассоциации меж входными и выходными векторами, имеющими различные размерности
Емкость агрессивно ограничена, вероятны неверные ответы
Исходя из выше произнесенного сужаем выбор класса до мультислойного персептрона и сети Ворда.
1.4 Подготовительный выбор структуры НС
Советы по выбору структуры:
На вход сети подается вектор размерности 60, потому что в нашей математической модели растровое изображение делится сетью 6х10 и представляется вектором.
На выходе сети вектор из нулей и единиц размерности 10, потому что число классов равно 10.
1. количество слоев: 1
, обычно, начинают с 1-го укрытого слоя, а потом экспериментально по мере необходимости наращивают это число
2. количество нейронов:
1) во входном слое: 60
, потому что размер изображения 6×10;
2) в сокрытом слое: 30-50% от 60
, также определяется экспериментально в процессе моделирования;
3) в выходном слое: 10
;
3. вид функций активации:
определим дальше экспериментально
Скорость обучения выберем исходя из того, что при весьма большенный скорости сеть может обучиться ошибочно, а при весьма малеханькой процесс обучения быть может долгим.
1.5 Выбор пакета НС
Требования для выбора пакета НС:
1. наличие в пакете избранной модели НС
2. возможность сотворения избранной структуры
3. возможность задания начальных данных для обучения и расчета
4. доступность пакета
5. трудозатратность по его освоению
6. наличие русификации
7. интерфейс
8. остальные плюсы
9. остальные недочеты
В таблице 2 приведены свойства неких пакетов [HTTP://alife.narod.ru/].
Таблица 2:
Заглавие пакета
1
2
3
4
5
7
6
Neural10
нет
нет
да
freeware
просто
неловкий
есть
NeuroPro
нет
нет
да
freeware
просто
неловкий
есть
Neural Planner
да
да
да
—
просто
очень упрощённый
есть
BrainMaker 3.10
да
да
да
—
просто
весьма удачный
есть
NeuroShell 2
да
да
да
freeware
весьма просто
весьма удачный
есть
Заглавие пакета
8
Neural10
допускаются любые расширения файлов с обучающими парами
NeuroPro
способности упрощения сети
Neural Planner
интегрированный графический редактор, аналог табличного редактора
BrainMaker 3.10
набор утилит широкого предназначения
NeuroShell 2
весьма не плохая справка, собственные методы обучения
Заглавие пакета
9
Neural10
ограниченность опции характеристик сети
NeuroPro
невозможность сохранения результатов опроса обученной сети
Neural Planner
ограниченность по числу алгоритмов обучения
BrainMaker 3.10
ограниченные многофункциональные способности
NeuroShell 2
возможность импорта лишь 5 типов входных файлов
Исходя из данных таблицы 2, более пригодным пакетом является пакет NeuroShell 2.
1.6 Малые требования к информационной и программной сопоставимости
Microsoft Office 97 и выше
Пакет NeuroShell 2
1.7 Малые требования к составу и характеристикам технических средств
MS Windows 9х/2000/Ме/NT/XP
32 Mb RAM
IBM – совместимый индивидуальный комп класса 486/66 либо выше (лучше Pentium II либо выше)
Монитор VGA и выше
клавиатура, мышь
2. Обучение нейронной сети
Под
искусственной нейронной сети понимается процесс опции весовых коэффициентов 
ее базисных процессорных частей, результатом что является выполнение сетью определенных задач — определения, оптимизации, аппроксимации, управления. Достижение схожих целей формализуется аспектом свойства Q, малое min
W
которого соответствует лучшему решению поставленной задачки [5].
2.1 Формирование начальных данных
Рассматривается систематизация цифр арабского алфавита, написанных шрифтом Arial 10ым размером. Для формирования начальных данных (вектор признаков) использовалось растровое представление цифр (в виде массива из 0 и 1). Размер изображения, исходя из шрифта написания, составил 6х10 квадратов. Отсюда размерность входного вектора – 60.
Выходной вектор (-вектор, значения всех координат которого должны быть равными 0, кроме координаты, соответственной выходному элементу, представляющему разыскиваемый класс(
Для всякого хотимого вида формируется соответственный массив, записанный в одну строчку (сверху вниз слева вправо), и также в процессе обучения употребляются настоящие выходные значения, которые записаны в конце строчки сформированного массива.
2.2
Окончательный выбор модели, структуры и характеристик обучения НС
В NeuroShell 2 предлагается несколько моделей НС.
По советам разрабов пакета аспектом остановки обучения будет: действия опосля минимума > 20000, потому что с внедрением интегрированной калибровки этот аспект дозволяет избежать переучивания сети и запоминания тестовых примеров.
О
кончательный выбор нейронной сети основан на анализе приобретенных экспериментально результатов для средней ошибки < 0,000001.
Таблица 1 Окончательный выбор нейронной сети
Нейронная сеть
Время обучения
Количество эпох
Мультислойный персептрон
0:09
4047
Реккурентная сеть
2:13
29274
Сеть Ворда
0:00
224
Сеть Ворда с обходным соединением
0:00
87
Трехслойная сеть с обходным соединением
0:01
149
Из анализа таблицы 1 следует, что лучшей моделью является сеть Ворда с 2-мя блоками укрытого слоя, имеющими различные передаточные функции, с обходным соединением.
Окончательный выбор структуры нейронной сети основан на анализе приобретенных экспериментально результатов для средней ошибки < 0,000001.
Изменяем количество укрытых нейронов и передаточные функции укрытых блоков для выбора хорошей структуры сети.
Передаточная функция блока 1 – Б1.
Передаточная функция блока 2 – Б2.
Таблица 2 Окончательный выбор структуры нейронной сети
Параметр сети
время обучения
Количество эпох
Количество нейронов — 30
0:00
99
количество нейронов — 40
0:00
87
Количество нейронов — 50
0:00
86
Б1 – Гаусса, Б2 — Гаусса
0:00
87
Б1 – Гаусса, Б2 – компьютер. Гаусса
0:00
87
Б1 – Гаусса, Б2 – sin
0:00
87
Б1 – компьютер. Гаусса, Б2 – компьютер. Гаусса
0:00
86
Б1 – sin, Б2 — sin
0:00
87
Б1 – компьютер. Гаусса, Б2 — логистическая
0:00
112
Из анализа таблицы 2 следует, что хорошей структурой сети является:
• комплем. Гауссова функция для блока 1;
• комплем. Гауссова функция для блока 2;
• количество укрытых нейронов – 50(25 в любом из блоков);
Выбор характеристик обучения основан на анализе результатов опыта для сети Ворда с 2-мя сокрытыми блоками, имеющими различные передаточные функции, с обходным соединением, с количеством укрытых нейронов равном 50.
Таблица 3 Выбор скорости обучения
Скорость обучения
время обучения
Количество эпох
0,1
0:00
86
0,2
0:00
62
0,3
0:00
49
0,4
0:00
37
0,5
0:00
37
0,6
0:00
37
0,7
0:00
36
Из анализа таблицы 3 следует, что лучшая скорость обучения равна 0,7.
Проанализируем сейчас зависимость обучаемости сети от момента при избранной скорости обучения.
Таблица 4 Выбор момента
момент
Время обучения
Количество эпох
0,1
0:00
36
0,2
0:00
37
0,3
0:00
37
0,4
0:00
37
Из анализа таблицы 4 следует, что среднее
Таковым образом хорошими параметрами обучения для данной сети являются:
· Скорость обучения – 0,7
· момент – 0,1
2.3 Блок-схема метода обучения
Блок-схема метода обучения с оборотным распространением ошибки[6]:
3 анализ свойства обучения
Для проверки возможностей к обобщению на вход сети подаются зашумленные последовательности входных сигналов. Процент зашумления указывает, какое количество битов входного вектора было инвертировано по отношению к размерности входного вектора.
Начальные и выходные файлы для анализа свойства обучения [6,7]:
Листы Шум 7, Шум 13 и Шум 20 в файле cifri.xls для 7%,13% и 20% соответственно.
В силу большенный размерности таблиц, содержащих входные и выходные вектора, данные файлы прилагаются к объяснительной записке в электрическом виде.
При зашумлении до 13% сеть отлично решает предложенную задачку. При вводе сигналов с уровнем шума 20% обученная сеть выдает неправильные значения на 40% экзаменационных наборах (т.е. сеть не может дать предпочтение одной из нескольких цифр).
к примеру, при подаче зашумленного вектора, соответственного цифре 8, выход сети, соответственный 8 равен 0,61, выход 1 – 0,73.
При подаче числа 3 соответственный выход равен 0,34, выход 8 – 0,51.
Снизить ошибку можно увеличив размерность сетки, которой разбиваются числа, к примеру 16х16, тогда размерность входного вектора 256.
Не считая того можно снизить среднюю ошибку при обучении сети.
Но, невзирая на все выше произнесенное, можно сказать, что сеть отлично обучилась и владеет неплохими возможностями к обобщению.
4. Тестовый пример
Для тестирования сети используем экзаменационные данные из файла «test.xls» с уровнем шума 7 %.
Результаты отражены в файле «test.out», который прилагается к объяснительной записке в электрическом виде.
Из анализа содержимого файла можно прийти к выводу, что обученная сеть совладевает с поставленной задачей и владеет неплохой способностью к обобщению.
5. Выводы
В данной курсовой работе был решен личный вариант задачки систематизации цифр арабского алфавита на базе нейронных сетей. задачка была решена лишь для цифр, написанных шрифтом Arial, 10 размера.
Для решения задачки на остальных данных (остальных алфавитов, шрифтов, размеров шрифтов) будет нужно ввести некие конфигурации:
• Прирастить количество записей в файле обучения;
• Прирастить количество ячеек, на которые разбивается знак (обычно применяется растр размером 16х16 пикселей);
• Уменьшить среднюю ошибку при обучении нейронной сети;
• Для внедрения данной схемы к остальным размерам букв необходимо восстановить поступающие на вход сети знаки к одному размеру, к примеру 16х16.
Перечень использованных источников
1. Эталон компании СТП 1–У–НГТУ–98
2. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. – М.: Жгучая линия – Телеком, 2001. – 382 с.:ил.
3. Уоссермен Ф. Нейрокомпьютерная техника – М.: Мир 1992
4. Электрический учебник по NeuroShell 2
5. Терехов В.А. Управление на базе нейронных сетей. – М.: Высшая школа,2002. – 153 с.: ил.
1. Каллан Р. Главные концепции нейронных сетей
2. Ресурсы сети веб(http://alife.narod.ru/)
]]>