Множинна регресія і кореляція
Нехай потрібно побудувати лінійну модель залежності деякого вихідного економічного показника, званого пояснюється змінної від набору вхідних показників, званих пояснюючими змінними. Основним методом побудови таких моделей є метод найменших квадратів, сенс якого полягає в тому, щоб підібрати параметри моделі, які мінімізують суми квадратів відхилень модельних значень що пояснюється змінної від дійсних значень. Метод найменших квадратів реалізований у всіх статистичних пакетах програм, а також у засобах статистичного пакету Аналізу даних Microsoft Excel.
Нехай - спостережень пояснюється змінної, а - спостережень пояснюють змінних. Завдання полягає в побудові по даній вибірці лінійної моделі залежності що пояснюється змінної від вектора пояснюють змінних.
.
Тут - коефіцієнти моделі, які треба визначити, а - помилка вимірювання моделі.
Для адекватної роботи методу найменших квадратів потрібно виконання наступних гіпотез:
1. . (Специфікація моделі).
2. -Детерміновані величини, причому в матриці
стовпці лінійно незалежні, тобто ранг цієї матриці дорівнює.
3. - Випадкова величина, задовольняє умовам
3а. , Математичне очікування помилки дорівнює нулю;
3b. , Дисперсія помилки не залежить від номера спостереження;
3с. , Тобто помилки різних спостережень не залежать один від одного.
Справедлива теорема Гауса-Маркова, що за цих умов метод найменших квадратів дає найкращу в деякому сенсі модель. Якщо деякі з умов не виконуються, то доводиться використовувати більш складні методи.
В результаті застосування методу найменших квадратів знаходяться оцінки коефіцієнтів моделі. За цим оцінкам і за значеннями пояснюють змінних будуються модельні значення пояснюється змінної. Позначимо через відхилення істинного значення пояснюється змінної від модельного для-го спостереження (). Якість моделі оцінюється через суму квадратів відхилень моделі
.
(error sum of squares) називається сумою квадратів помилок.
Метод найменших квадратів полягає в тому, що серед усіх можливих наборів коефіцієнтів моделі знаходиться набір, здатний мінімізувати.
Якщо всі коефіцієнти моделі, крім константи, дорівнюють нулю, то - середнім значенням що пояснюється змінної. Тоді сума квадратів відхилень дорівнює
.
(total sum of squares) називається загальною сумою квадратів.
За рахунок того, що не всі коефіцієнти моделі дорівнюють нулю, сума квадратів відхилень зменшується. У відповідності з цим величина
означає пояснення суму квадратів (regression sum of squares).
Після отримання оцінок необхідно визначити, чи всі з них значимо відрізняються від нуля, так як, якщо коефіцієнт дорівнює нулю, це означає, що відповідна пояснююча змінна не бере участь у моделі. Коефіцієнт значимий, якщо гіпотезу його рівності нулю треба відкинути. Відповідно значимістю коефіцієнта називається ймовірність того, що його знак збігається зі знаком його оцінки.
Для отриманою моделі необхідно вміти визначати, чи можна відкинути кілька вхідних в неї пояснюють змінних або додати змінні, що не входять в модель. З цією метою, проводять тест для визначення яка модель краще - В«довгаВ» або В«короткаВ». Також необхідно перевіряти однорідність моделі для різних наборів змінних. Для цього призначений тест Чоу. Для оцінки адекватності моделі треба перевіряти тести на виконання умов теореми Гауса-Маркова.
Тест на вибір В«довгоюВ» або В«КороткійВ» регресії
Даний тест використовується для відбору найбільш суттєвих пояснюють змінних. Наприклад, перехід від великого числа вихідних показників стану аналізованої системи до меншого числа найбільш інформативних змінних може бути обумовлений дублюванням інформації, доставляється сильно взаємопов'язаними ознаками або неінформативні ознак, мало мінливих при переході від одного об'єкта до іншого. Так, якщо два небудь пояснюючі змінні сильно корельовані з результуючим показником і один з іншому, то часто буває досить включення в модель однієї з них, а додатковим внеском від включення інший можна знехтувати.
Нехай. Припустимо, що модель не залежить від останніх пояснюють змінних і їх можна виключити з моделі. Це відповідає гіпотезі
,
тобто останні коефіцієнтів дорівнюють .
Тест з перевірки даної гіпотези полягає в наступному:
1. Побудувати по МНК В«довгуВ» (unrestricted) регресію по всіма параметрами і знайти для неї.
2. Використовуючи МНК, побудувати В«короткуВ» (restricted) регресію по перших параметрами і знайти для неї.
3. Обчислити F -статистику:
4. Знайти критичну точку розподілу Фішера при обраному рівні значущості:.
5. Якщо, то гіпотеза відкидається, тобто слід використовувати В«довгуВ» модель.
Якщо, то гіпотеза приймається, тобто краще В«КороткаВ» модель.
Тест Чоу на однорідність залежності що пояснюється змінної від пояснюючих
На практиці нерідкі випадки, коли є дві вибірки пар значень залежної і пояснюючої змінних. Наприклад, одна вибірка пар значень змінних об'ємом отримана при одних умовах, а інша, об'ємом , - при дещо змінених умовах. Необхідно з'ясувати, чи дійсно чи дві вибірки однорідні в регресійному сенсі? Іншими словами, чи можна об'єднати дві вибірки в одну і розглядати єдину модель регресії по (гіпотеза)?
Для перевірки гіпотези застосовується тест Чоу (Chow), що складається в наступному:
1. Використовуючи МНК, побудувати модель за вибіркою обсягом і знайти для неї.
2. Нехай є підстави припускати, що вся вибірка складається з двох підвибірок обсягами і відповідно. Для кожної з них будується лінійна регресія. - Сума квадратів відхилень значень від регресійних значень, порахованих за перший підвибірки, - сума квадратів відхилень значень від регресійних значень, порахованих за другий підвибірки.
3. Обчислити F - статистику:
,
де - число пояснюючих змінних моделі.
4. Знайти критичну точку розподілу Фішера при обраному рівні значущості.
5. Якщо, то ми можемо об'єднати дві вибірки в одну. Якщо, то необхідно використовувати дві моделі.
Тести на гетероскедастичності
Гомоскедастічность - дисперсія кожного відхилення однакова для всіх значень .
гетероскедастичності - дисперсія пояснюється змінної (отже, і випадкових помилок) непостійна.
У тестах на гетероскедастичності перевіряється основна гіпотеза (тобто модель гомоскедастічна) проти альтернативної гіпотези: не (тобто модель гетероскедастичності).
Тест Гольдфельда - Куандта (Goldfeld - Quandt)
Цей тест застосовується, як правило, коли є припущення про пряму залежність дисперсії помилок від величини деякої пояснюючої змінної, що входить в модель.
Передбачається, що має нормальний розподіл. Тест включає в себе наступні кроки:
1. Упорядкувати дані по убуванню (або за зростанням) тієї незалежної змінної, щодо якої є підозра на гетероскедастичності.
2. Виключити середніх (В цьому упорядкуванні) спостережень (, де - загальна кількість спостережень).
3. Провести дві незалежних регресії перших спостережень і останніх спостережень і знайти, відповідно, і. З і вибираємо більшу і меншу величини, відповідно, і.
4. Скласти статистику і знайти по розподілу Фішера, де - число пояснюючих змінних моделі.
5. Якщо, то гіпотеза відкидається, тобто модель гетероскедастичності, а якщо, то гіпотеза приймається, тобт...
