p>
(4)
Тоді можна записати наступне:
(5)
де k-номер групи; p - Число змінних, що характеризують кожне спостереження.
Позначимо дискримінантної функції (x) як ( k - номер групи, t - номер спостереження в групі). Внутригрупповая варіація може бути виміряна сумою квадратів відхилень:
(6)
За обом групам це буде виглядати наступним чином:
(7)
В матричній формі цей вираз може бути записано так:
(8)
де А - вектор коефіцієнтів дискримінантної функції;
- транспонована матриця відхилень спостережуваних значень вихідних змінних від їхніх середніх величин в першій групі
(9)
- аналогічна матриця для другої групи.
Об'єднана коваріаційна матриця визначається так:
(10)
Отже вираз (8) дає оцінку внутрішньогрупової варіації і його можна записати у вигляді:
(11)
міжгрупових варіація може бути виміряна як
(12)
При знаходженні коефіцієнтів дискримінантної функції слід виходити з того, що для розглянутих об'єктів внутригрупповая варіація повинна бути мінімальною, а межгрупповая варіація - максимальної. У цьому випадку ми досягнемо найкращого поділу двох груп, тобто необхідно, щоб величина F була максимальної:
(13)
В точці, де функція F досягає максимуму, приватні похідні по будуть дорівнюють нулю. Якщо обчислити приватні похідні
(14)
і прирівняти їх нулю, то після перетворень отримаємо вираз:
(15)
З цієї формули і визначається вектор коефіцієнтів дискримінантної функції (А)
Отримані значення коефіцієнтів підставляють у формулу (1) і для кожного об'єкта в обох групах (множинах) обчислюють дискримінантні функції, потім знаходять середнє значення для кожної групи. Таким чином, кожне i - е спостереження, яке спочатку описувалося m змінними, буде як би переміщене в одномірне простір, тобто йому буде відповідати одне значення дискримінантної функції, отже, розмірність ознакового простору знижується.
3. Класифікація за наявності двох навчальних вибірок
Перед тим як приступити безпосередньо до процедури класифікації, потрібно визначити кордон, що розділяє в окремому випадку дві розглянуті групи. Такий величиною може бути значення функції, рівновіддалених від і, тобто
(16)
Величина З називається константою дискримінації.
На рис.1 видно, що об'єкти, розташовані над прямої f (x) = + + ... + = C , Знаходяться ближче до центру безлічі і, отже, можуть бути віднесені до першої групи, а об'єкти, розташовані нижче цієї прямої, ближче до центру другого множин, тобто відносяться до другої групи. Якщо межа між групами обрана так, як сказано вище, то сумарна ймовірність помилкової класифікації мінімальна.
Розглянемо приклад використання дискримінантного аналізу для проведення багатомірної класифікації об'єктів. При цьому в якості навчальних будемо використовувати спочатку дві вибірки, належать двом класам, а потім узагальнимо алгоритм класифікації на випадок k класів.
Приклад 1. Є дані по двох групах промислових підприємств машинобудівного комплексу:
-фондовіддача основних виробничих фондів, руб.;
-витрати на гривню виробленої продукції, коп.;
-витрати на сировину і матеріалів на один рубль продукції, коп.
Номер
Х 1
Х 2
Х З
підприємства
1
0,50
94,0
8,50
l-я група
2
0,67
75,4
8,79
3
0,68
85,2
9,10
4
0,55
98,8
8,47
5
1,52
81,5
4,95
2-я група
6
1,20
93,8
6,95
7
1,46
86,5
4,70
Необхідно провести класифікацію чотирьох нових підприємств, що мають наступні значення вихідних змінних:
l-е підприємство: = 1,07, = 93,5, = 5,30,
2-е підприємство: = 0,99, = 84,0, = 4,85,
третій підприємство: = 0,70, = 76,8, = 3,50,
4-е підприємство: = 1,24, = 88,0, = 4,95.
Для зручності запишемо значення вихідних змінних для кожної групи підприємств у вигляді матриць і:
(17)
Розрахуємо середнє значення кожної змінної в окремих групах для визначення положення центрів цих груп:
I гр. = 0,60, = 88,4, = 8,72
II гр. = 1,39, = 87,3, = 5,53.
дискримінантного функція f (x) в даному випадку має вигляд:
f (х) = + + (18)
Коефіцієнти , І обчислюються за формулою:
A = (-), (19)
де і - вектори середніх в першій і другій групах; А - вектор коефіцієнтів; - матриця, зворотна спільної ковариационной матриці.
Для визначення спільної ковариационной матриці потрібно розрахувати матриці і. Кожен елемент цих матриць являє собою різницю між відповідним значенням вихідної змінної та середнім значенням цієї змінної в даній групі ( k - номер групи):
Тоді спільна коваріаційна матриця буде дорівнює:
, (20)
де , - число об'єктів l-й і 2-ї групи;
(21)
Зворотній матриця буде дорівнює:
. (22)
Отcюда знаходимо вектор коефіцієнтів дискримінантної функції по формулі:
(23)
тобто = -185,03, = 1,84, = 4,92.
Підставимо отримані значення коефіцієнтів у формулу (18) і розрахуємо значення дискримінантної функції для кожного об'єкта:
(24)
Тоді константа дискримінації С буде дорівнювати:
З = (94,4238-70,0138) = 12,205.
Після отримання константи дискримінації можна перевірити правильність розподілу об'єктів у вже існуючих двох класах, а також провести класифікацію нових об'єктів.
Розглянемо, наприклад, об'єкти з номерами 1, 2, З, 4. Для того щоб віднести ці об'єкти до одному з двох множин, розрахуємо для них значення дискримінантних функцій (За трьома змінним):
= -185,03 Х 1,07 + 1,84 х 93,5 + 4,92 х 5,30 = 0,1339,
= -185,03 х 0,99 + 1,84 х 84,0 + 4,92 х 4,85 = -4,7577,
= -185,03 х 0,70 + 1,84 х 76,8 + 4,92 х 3,50 = 29,0110,
= -185,03 х 1,24 + 1,84 х 88,0 + 4,92 х 4,95 = -43,1632.
Таким чином, об'єкти 1, 2 і 4 ставляться до другого класу, а об'єкт 3 відноситься до першого класу, так як <с, <с, > с, <с.
4. Класифікація за наявності k навчальних вибірок
При необхідності можна проводити розбиття множини об'єктів на k класів (При k > 2). У цьому випадку потрібно розрахувати k дискримінантних функцій, так як класи будуть відокремлюватися один від одного індивідуальними поділяючими поверхнями. На рис. 3 показаний випадок з трьома множинами і трьома дискримінантного змінними:
Рис.3 Три класи об'єктів і розділяють їх прямі
- перша, - друга, - третя дискримінантні функції.
Прикла...
