Міністерство освіти і науки Російської Федерації Федеральне агентство з освіти
Амурський гуманітарно-педагогічний державний університет
Фізико-математичний факультет
Кафедра інформатики
ЛАБОРАТОРНА РОБОТА № 2
з дисципліни В«Штучні нейронні мережі В»
на тему В«Нейронні мережі з радіальними базисними функціями В»
2007
Введення
Мета лабораторної роботи: освоїти основні принципи вирішення задачі нейронних мереж з радіальними базисними функціями.
Завдання: Використовуючи вбудовані функції пакета нейронних мереж математичної середовища Matlab, побудувати нейронну мережу з радіальними базисними функціями.
1 Теоретичні відомості
Мережі РБФ мають ряд переваг перед розглянутими багатошаровими мережами прямого поширення. По-перше, вони моделюють довільну нелінійну функцію за допомогою всього одного проміжного шару, тим самим, позбавляючи розробника від необхідності вирішувати питання про кількість шарів. По-друге, параметри лінійної комбінації в вихідному шарі можна повністю оптимізувати за допомогою добре відомих методів лінійної оптимізації, які працюють швидко і не зазнають труднощів з локальними мінімумами, так мешающими при навчанні з використанням алгоритму зворотного поширення помилки. Тому мережа РБФ навчається дуже швидко - на порядок швидше, ніж з використанням алгоритму ОР (зворотного поширення).
Недоліки мереж РБФ:
-->> дані мережі володіють поганими екстраполюється властивостями і виходять досить громіздкими при великій розмірності вектора входів.
На рис. 1 представлена ​​структурна схема нейронної мережі з радіальними базисними функціями.
Нейронна мережу радіальних базисних функцій містить в найбільш простій формі три шари: звичайний вхідний шар, що виконує розподіл даних зразка для першого шару ваг; шар прихованих нейронів з радіально симетричною активаційною функцією, кожен j-й з яких призначений для зберігання окремого еталонного вектора у вигляді вектора ваг wj (h); вихідний шар
Для побудови мережі РБФ необхідне виконання наступних умов.
перше, наявність еталонів, представлених у вигляді вагових векторів нейронів прихованого шару. По-друге, наявність способу вимірювання відстані вхідного вектора від еталону. Зазвичай це стандартне евклідова відстань. По-третє, спеціальна функція активації нейронів прихованого шару, що задає вибраний спосіб вимірювання відстані. Зазвичай використовується функція Гаусса, істотно підсилює малу різницю між вхідним і еталонним векторами. Вихідний сигнал еталонного нейрона прихованого шару aj-це функція (гауссіан) тільки від відстані pj між вхідним і еталонним векторами.
Рис. 1 . Мережа з радіальними базисними функціями
Таким чином, вихідний сигнал шаблонного нейрона - це функція тільки від відстані між вхідним вектором х і збереженим центром w v
Навчання шару зразків-нейронів мережі мають на увазі попереднє проведення кластеризації для знаходження еталонних векторів і певних евристик для визначення значень -.
Нейрони прихованого шару з'єднані по повнозв'язною схемою з нейронами вихідного шару, які здійснюють зважене підсумовування
Для знаходження значення ваг w від нейронів прихованого до вихідного прошарку використовується лінійна регресія.
У загальному випадку активаційні функції нейронів прихованого шару можуть відображати закони розподілу випадкових величин (імовірнісні нейронні мережі) або характеризувати різні аналітичні залежності між змінними (Регресійні нейронні мережі).
До недоліків мереж РБФ можна віднести те, що заздалегідь має бути відомо число еталонів, а також евристики для побудови активаційних функцій нейронів прихованого шару.
У моделях РБФ можуть бути використані різні способи вимірювання відстані між векторами, а також функції активації нейронів прихованого шару.
Радіальна, базисна мережа загального вигляду - це двошарова нейронна мережа з R входами, кожен з яких може складатися з декількох елементів. Передатною функцією нейронів вхідного прошарку є колоколообразний симетрична функція наступного виду:
Ця функція має максимум, рівний 1 , при n = 0 і плавно убуває при збільшенні n , досягаючи значення 0.5 при n = В± 0.833 . Передавальної функцією нейронів вихідного шару є лінійна функція perelin .
Функція зважування для вхідного шару обчислює евклідова відстань між кожним рядком матриці ваг і кожним стовпцем матриці входів:
Потім ця величина множиться на зсув нейрона і надходить на вхід передавального функції, так що
a {i} = Radbas (net.prod (dist (net.IW {1, 1}, p). Net.b {i})).
Для нейронів вихідного шару функцією зважування є скалярний добуток dotprod , а функцією нагромадження - функція підсумовування зважених входів і зваженого зміщення netsum.
Для того щоб зрозуміти поведінку радіальної базисної мережі загального вигляду, необхідно простежити проходження вектора входу p . При завданні значень елементам вектора входу кожен нейрон вхідного шару видає значення відповідно до того, як близький вектор входу до вектора ваг кожного нейрона. Таким чином, нейрони з векторами ваг, що значно відрізняються з вектором входу p , будуть мати виходи, близькі до 0 , і їх вплив на виходи лінійних нейронів вихідного шару буде незначне. Навпаки, вхідний нейрон, ваги якого близькі до вектора p , видасть значення, близьке до одиниці.
Для побудови радіальних базисних мереж загального вигляду і автоматичної настройки ваг і зміщень використовуються дві функції newrbe і newrb . Перша дозволяє побудувати радіальну базисну мережу з нульовою помилкою, друга дозволяє управляти кількістю нейронів вхідного прошарку. Ці функції мають наступні параметри:
net = Newrbe (P, T, SPREAD),
net = Newrb (P, T, GOAL, SPREAD),
де P - масив розміру RxQ вхідних векторів, причому R - число елементів вектора входу, а Q - число векторів в послідовності;
T - масив розміру SxQ з Q векторів ланцюга і S класів;
SPREAD - параметр впливу, визначає крутизну функції radbas , значення по умовчання якого дорівнює одиниці;
GOAL - середня квадратична помилка, при цьому значення за замовчуванням дорівнює 0.0 .
Параметр впливу SPREAD суттєво впливає на якість апроксимації функції: чим більше його значення, тим більше гладкою буде апроксимація. Занадто велика його значення призведе до того, що для отримання гладкої апроксимації швидко змінюється функції потрібно велика кількість нейронів: занадто мале значення параметра SPREAD зажадає більшої кількості нейронів для апроксимації гладкої функції. Зазвичай параметр впливу SPREAD вибирається більшим, ніж крок розбиття інтервалу завдання навчальної послідовності, але меншим розміру самого інтервалу.
Функція newrbe встановлює ваги першого шару рівним P. , а зміщення - рівними 0.8326/SPREAD , в результаті радіальна базисна функція перетинає значення 0.5 при значеннях евклідової відстані В± SPREAD . Ваги другого шару LW {2,1} і зміщення b {2} визначаються шляхом моделювання виходу першого шару A {1} та подальшого вирішення системи лінійних рівнянь:
[LW {2,1} b {2}] * [A {1}; ones] = T.
Функція newrb формує мережу так...
