Реєстр. № _________________
"___" _______________2008г.
МОСКОВСЬКИЙ НОВИЙ ЮРИДИЧНИЙ ІНСТИТУТ
Факультет: Фінансово-економічний
Реферат
З дисципліни: "Економетрика"
_____________________________________________________________
На тему: _____ "Нелінійні регресії"
Студента
Кулешовой Юлії В'ячеславівни
Группа_____М07ФЗВС-2/04 сп____
курc _____ второй______
Форма обученія__ _заочная______
Преподаватель_______________
Дата сдачі___________________
Результат проверкі_____________
Робота захищена з оцінкою
2008/2009 уч. рік
Зміст
Введення. 3
1. Лінійна регресія. 5
2. Поліноміальна регресія. 6
3. Нелінійна регресія. 8
4. Згладжування даних. 12
5. Передбачення залежностей. 14
Література. 15
Введення
Апроксимація даних з урахуванням їх статистичних параметрів відноситься до завдань регресії. Вони зазвичай виникають при обробці експериментальних даних, отриманих в результаті вимірів процесів або фізичних явищ, статистичних за своєю природою (як, наприклад, вимірювання в радіометрії та ядерної геофізики), або на високому рівні перешкод (шумів). Завданням регресійного аналізу є підбір математичних формул, найкращим чином описують експериментальні дані.
Математична постановка задачі регресії полягає в наступному. Залежність величини (числового значення) певного властивості випадкового процесу або фізичного явища Y від іншого змінного властивості або параметра Х, яке в загальному випадку також може відноситися до випадковій величині, зареєстрована на множині точок xk безліччю значень yk, при цьому в кожній точці зареєстровані значення yk і xk відображають дійсні значення Y (хk) з випадковою похибкою пЃі k, розподіленої, як правило, по нормальному закону. За сукупністю значень yk потрібно підібрати таку функцію f (xk, a0, a1, ..., an), якій залежність Y (x) відображалася б з мінімальною похибкою. Звідси випливає умова наближення:
yk = f (xk, a0, a1, ..., an) + пЃі k.
Функцію f (xk, a0, a1, ..., an) називають регресією величини y на величину х. Регресійний аналіз передбачає завдання виду функції f (xk, a0, a1, ..., an) і визначення чисельних значень її параметрів a0, a1, ..., an, що забезпечують найменшу похибку наближення до безлічі значень yk. Як правило, при регресійному аналізі похибка наближення обчислюється методом найменших квадратів (МНК). Для цього виконується мінімізація функції квадратів залишкових помилок:
пЃі пЂЁ a0, a1, ..., an) = [f (xk, a0, a1, ..., An) - yk] 2.
Для визначення параметрів a0, a1, ..., an функція залишкових помилок диференціюється за всіма параметрами, отримані рівняння приватних похідних прирівнюються нулю і вирішуються у сукупності щодо всіх значень параметрів. Види регресії зазвичай називаються за типом апроксимуючих функцій: поліноміальна, експоненціальна, логарифмічна і т.п.
1. Лінійна регресія
Загальний принцип. Найпростіший спосіб апроксимації по МНК довільних даних sk - за допомогою полінома перший ступеня, тобто функції виду y (t) = a + bt. З урахуванням дискретності даних по точках tk, для функції залишкових помилок маємо:
пЃі (a, b) = [(a + b В· tk) - sk] 2.
Диференціюючи функцію залишкових помилок по аргументам a, b, прирівнюємо отримані рівняння нулю і формуємо 2 нормальних рівняння системи:
(a + b В· tk) - sk Вє a1 + btk-sk = 0,
((a + b В· tk) - sk) В· tk Вє atk + btk2 - sk В· tk = 0,
Рішення даної системи рівнянь в явній формі для К-відліків:
b = [Ktk В· sk-tksk]/[Ktk2 - (tk) 2],
a = [sk - btk]/K.
Отримані значення коефіцієнтів використовуємо в рівнянні регресії y (t) = a + bt. За аналогічною методикою обчислюються коефіцієнти і будь-яких інших видів регресії, відрізняючись тільки громіздкістю відповідних виразів.
Реалізація в Mathcad. Лінійна регресія в системі Mathcad виконується по векторах аргументу Х і відліків Y функціями:
intercept (X, Y) - обчислює параметр а, зсув лінії регресії по вертикалі;
slope (X, Y) - обчислює параметр b, кутовий коефіцієнт лінії регресії.
Розташування відліків по аргументу Х довільне. Функцією corr (X, Y) додатково можна обчислити коефіцієнт кореляції Пірсона. Чим він ближче до 1, тим точніше оброблювані дані відповідають лінійної залежності.
Приклад виконання лінійної регресії наведено на ріс.2.1.1
Ріс.2.1.1
2. Поліноміальна регресія
Одновимірна поліноміальна регресія з довільною ступенем n полінома і з довільними координатами відліків в Mathcad виконується функціями:
regress (X, Y, n) - обчислює вектор S для функції interp (...), у складі якого знаходяться коефіцієнти ki полінома n-го ступеня;
interp (S, X, Y, x) - повертає значення функції апроксимації за координатами х.
Функція interp (...) реалізує обчислення за формулою:
f (x) = k0 + k1 В· x1 + k2 В· x2 + ... + Kn В· xn в‰Ў ki В· xi.
Значення коефіцієнтів ki можуть бути витягнуті з вектора S функцією submatrix (S, 3, length (S), 0, 0).
На ріс.2.2.1 наведено приклад поліноміальної регресії з використанням поліномів 2, 3 і 8-го ступеня. Ступінь полінома зазвичай встановлюють не більше 4-6 з послідовним підвищенням ступеня, контролюючи середньоквадратичне відхилення функції апроксимації від фактичних даних. Неважко помітити, що в міру підвищення ступеня полінома функція апроксимації наближається до фактичних даних, а при ступені полінома, рівної кількості відліків даних мінус 1, взагалі перетворюється в функцію інтерполяції даних, що не відповідає завданням регресії.
Ріс.2.2.1 Одновимірна поліноміальна регресія.
Зональна регресія. Функція regress по всій сукупності точок створює один апроксимує поліном. При великих координатних інтервалах з великою кількістю відліків і досить складною динаміці зміни даних рекомендується застосовувати послідовну локальну регресію відрізками поліномів малих ступенів. У Mathcad це виконується відрізками поліномів другого ступеня функцією loess (X, Y, span), яка формує спеціальний вектор S для функції interp (S, X, Y, x). Аргумент span> 0 в цій функції (близько 0.1-2) визначає розмір локальної області та підбирається з урахуванням характеру даних і необхідного ступеня їх згладжування (чим більше span, тим більше ступінь згладжування даних).
рис.2.2.2
На рис.2.2.2 наведений приклад обчислення регресії модельної кривої (відрізка синусоїди) в сумі з шумами. Обчислення виконані для двох значень span з визначенням середньоквадратичного наближення до базової кривої. При моделюванні будь-яких випадкових процесів і сигналів на високому рівні шумів по мінімуму середньоквадратичного наближення може визначатися оптимальне значення параметра span.
3. Нелінійна регресія
Лінійне підсумовування довільних функцій. У Mathcad є можливість виконання регресії з наближенням до функції загального вигляду у вигляді вагової суми функцій fn (x):
f (x, Kn) = K1 В· f1 (x) + K2 В· f2 (x) + ... + KN В· fN (x),
при цьому самі функції fn (x) можуть бути будь-якого, в тому числі нелінійного типу. З одного боку, це різко підвищує можливості аналітичного відображення функцій регресії. Але, з іншого боку, це вимагає від користувача певних навичок апроксимації експериментальних даних комбінаціями досить простих функцій.
Реалізується узагальнена регресія по векторах X, Y і f функцією linfit (X, Y, f), яка обчислює значення коефіцієнтів Kn. Вектор f повинен містити символьну запис функцій fn (x). Координати xk у векторі Х можуть бути будь-якими, але розташо...
