Зміст :
Введення
1. Штучні нейронні мережі
1.1 Паралелі з біології
1.2 Визначення ІНС
1.3 Архітектура нейронної мережі
1.4 Збір даних для нейронної мережі
2 Навчання
2.1 Алгоритм зворотного поширення
2.2 Перенавчання та узагальнення
2.3 Моделі теорії адаптивного резонансу
3 Багатошаровий персептрон (MLP)
3.1 Навчання багатошарового персептрона
4. Імовірнісна нейронна мережа
5. Узагальнено-регресійна нейронна мережа
6. Лінійна мережа
7. Мережа Кохонена
8. Кластеризація
8.1 Оцінка якості кластеризації
8.2 Процес кластеризації
8.3 Застосування кластерного аналізу
1. Штучні нейронні мережі
Штучні нейронні мережі (ШНМ) - математичні моделі, а також їх програмні або апаратні реалізації, побудовані за принципом організації та функціонування біологічних нейронних мереж - мереж нервових клітин живого організму. Це поняття виникло при вивченні процесів, що протікають в мозку, і при спробі змоделювати ці процеси. Першою такою спробою були нейронні мережі Маккалок і Піттса. Згодом, після розробки алгоритмів навчання, одержувані моделі стали використовувати в практичних цілях: в задачах прогнозування, для розпізнавання образів, в завданнях управління та ін
ІНС являють собою систему з'єднаних і взаємодіючих між собою простих процесорів (Штучних нейронів). Такі процесори зазвичай досить прості, особливо в порівнянні з процесорами, використовуваними в персональних комп'ютерах. Кожен процесор подібної мережі має справу тільки з сигналами, які він періодично отримує, і сигналами, які він періодично посилає іншим процесорам. І тим не менше, будучи з'єднаними в досить велику мережу з керованим взаємодією, такі локально прості процесори разом здатні виконувати досить складні завдання.
З точки зору машинного навчання, нейронна мережа являє собою окремий випадок методів розпізнавання образів, дискримінантного аналізу, методів кластеризації і т. п. З математичної точки зору, навчання нейронних мереж - це Багатопараметрична завдання нелінійної оптимізації. З точки зору кібернетики, нейронна мережа використовується в задачах адаптивного управління і як алгоритми для робототехніки. З точки зору розвитку обчислювальної техніки та програмування, нейронна мережа - спосіб вирішення проблеми ефективного паралелізму. А з точки зору штучного інтелекту, ІНС є основою філософської течії коннектівізма і основним напрямком в структурному підході з вивчення можливості побудови (моделювання) природного інтелекту за допомогою комп'ютерних алгоритмів.
Нейронні мережі не програмуються у звичному розумінні цього слова, вони навчаються. Можливість навчання - одна з головних переваг нейронних мереж перед традиційними алгоритмами. Технічно навчання полягає в знаходженні коефіцієнтів зв'язків між нейронами. У процесі навчання нейронна мережа здатна виявляти складні залежності між вхідними даними і вихідними, а також виконувати узагальнення. Це означає, що, у разі успішного навчання, мережа зможе повернути вірний результат на підставі даних, які були відсутні в навчальній вибірці, а також неповних і/або В«зашумленихВ», частково перекручених даних.
1.1 Паралелі з біології
Нейронні мережі виникли з досліджень в галузі штучного інтелекту, а саме, із спроб відтворити здатність біологічних нервових систем навчатися і виправляти помилки, моделюючи низькорівневий структуру мозку (Patterson, 1996). Основною областю досліджень з штучного інтелекту в 60-ті - 80-і роки були експертні системи. Такі системи грунтувалися на високорівневих моделюванні процесу мислення (зокрема, на представленні, що процес нашого мислення побудований на маніпуляціях з символами). Скоро стало ясно, що подібні системи, хоча і можуть принести користь в деяких областях, НЕ ухвативают деякі ключові аспекти людського інтелекту. Згідно однією з точок зору, причина цього полягає в тому, що вони не в змозі відтворити структуру мозку. Щоб створити штучних інтелект, необхідно побудувати систему зі схожою архітектурою.
Мозок складається з дуже великого числа (приблизно 10,000,000,000) нейронів, з'єднаних численними зв'язками (в середньому кілька тисяч зв'язків на один нейрон, проте це число може сильно коливатися). Нейрони - це спеціальна клітини, здатні поширювати електрохімічні сигнали. Нейрон має розгалужену структуру введення інформації (дендрити), ядро ​​і розгалужуються вихід (аксон). Аксони клітини з'єднуються з дендритами інших клітин за допомогою синапсів. При активації нейрон посилає електрохімічний сигнал за своїм аксонів. Через синапси цей сигнал досягає інших нейронів, які можуть в свою чергу активуватися. Нейрон активується тоді, коли сумарний рівень сигналів, прийшли в його ядро ​​здендрітов, перевищить певний рівень (поріг активації).
Інтенсивність сигналу, одержуваного нейроном (а отже і можливість його активації), сильно залежить від активності синапсів. Кожен синапс має протяжність, і спеціальні хімічні речовини передають сигнал вздовж нього. Один з найбільш авторитетних дослідників нейросистем, Дональд Хебб, висловив постулат, що навчання полягає в першу чергу в змінах "сили" синаптичних зв'язків. Наприклад, у класичному досвіді Павлова, кожен раз безпосередньо перед годуванням собаки дзвонив дзвоник, і собака швидко навчилася пов'язувати дзвінок дзвоника з їжею. Синаптичні зв'язки між ділянками кори головного мозку, відповідальними за слух, і слинними залозами посилилися, і при порушенні кори звуком дзвіночка у собаки починалося слиновиділення.
Таким чином, будучи побудований з дуже великого числа зовсім простих елементів (кожен з яких бере зважену суму вхідних сигналів і в разі, якщо сумарний вхід перевищує певний рівень, передає далі двійковий сигнал), мозок здатний вирішувати надзвичайно складні завдання. Зрозуміло, ми не торкнулися тут багатьох складних аспектів пристрої мозку, однак цікаво те, що штучні нейронні мережі здатні досягти чудових результатів, використовуючи модель, яка ненабагато складніше, ніж описана вище.
Рис. 1 Нейрон
1.2 Визначення ІНС
Штучна нейронна мережу (ШНМ, нейронна мережа) - це набір нейронів, з'єднаних між собою. Як правило, передатні функції всіх нейронів у нейронної мережі фіксовані, а ваги є параметрами нейронної мережі і можуть змінюватися. Деякі входи нейронів позначені як зовнішні входи нейронної мережі, а деякі виходи - як зовнішні виходи нейронної мережі. Подаючи будь-які числа на входи нейронної мережі, ми отримуємо якийсь набір чисел на виходах нейронної мережі. Таким чином, робота нейронної мережі полягає в перетворенні вхідного вектора у вихідний вектор, причому це перетворення задається вагами нейронної мережі.
Штучна нейронна мережу це сукупність нейронних елементів та зв'язків між ними.
Основу кожної штучної нейронної мережі складають відносно прості, в більшості випадків - однотипні, елементи (комірки), що імітують роботу нейронів мозку (Далі під нейроном ми матимемо на увазі штучний нейрон, осередок штучної нейронної мережі).
Рис. 2 - Штучний нейрон
В· Нейрон володіє групою синапсів - односпрямованих вхідних зв'язків, з'єднаних з виходами інших нейронів. Кожен синапс характеризується величиною синоптичної зв'язку або її вагою w i .
В· Кожен нейрон має поточний стан, яке зазвичай визначається, як зважена сума його входів:
В· Нейрон має аксон - вихідну зв'язок даного нейрона, з якої сигнал (збудження або гальмування) надходить на синапси наступних нейронів. Вихід нейрона є функція його стану:
y = F (s)
Функція f називається функцією активації.
Ри...