Метод найменших квадратів
Метод найменших квадратів # 151; метод знаходження оптимальних параметрів лінійної регресії. таких, що сума квадратів помилок (регресійних залишків) мінімальна. Метод полягає в мінімізації евклидова відстані - \ mathbf \ | "/> між двома векторами - вектором відновлених значень залежної змінної і вектором фактичних значень залежної змінної.
Постановка задачі
Завдання методу найменших квадратів полягає у виборі вектора "/>, що мінімізує помилку - \ mathbf \ | ^ 2" />. Ця помилка є відстань від вектора "/> до вектора" />. Вектор "/> лежить в простанстве стовпців матриці, так як" /> є лінійна комбінація стовпців цієї матриці з коефіцієнтами. Відшукання рішення "/> за методом найменших квадратів еквівалентно завданню відшукання такої точки = A \ mathbf" />, яка лежить найближче до "/> і знаходиться при цьому в просторі стовпців матриці. Таким чином, вектор" /> повинен бути проекцією " /> на простір стовпців і вектор нев'язки - \ mathbf "/> повинен бути ортогонален цього простору. Ортогональность полягає в тому, що кожен вектор в просторі стовпців є лінійна комбінація стовпців з деякими коефіцієнтами, тобто це вектор "/>. Для всіх в просторі" />, ці вектори повинні бути перпендикулярні невязке> - \ mathbf "/>:Так як це рівність має бути справедливо для довільного вектора "/>, то
Рішення по методу найменших квадратів несумісної системи = \ mathbf "/>, що складається з рівнянь з невідомими, є рівняння
яке називається нормальним рівнянням. Великі значення матриці лінійно незалежні, то матриця оборотна і єдине рішення
Проекція вектора "/> на простір стовпців матриці має вигляд
Матриця A ^ T "/> називається матрицею проектування вектора" /> на простір стовпців матриці. Ця матриця має дві основні властивості: вона ідемпотентна,, і симетрична,. Зворотне також вірно: матриця, що володіє цими двома властивостями є матриця проектування на свій простір стовпців.
Приклад побудови лінійної регресії
задана вибірка # 151; таблиця
Задана регресійна модель # 151; квадратичний поліном
Призначена модель є лінійною. Для знаходження оптимального значення вектора параметрів = \ langle \ rangle ^ T "/> виконується наступна підстановка:
Тоді матриця значень підстановок вільної змінної матиме вигляд
Заданий критерій якості моделі: функція помилки
Тут вектор = \ langle "/>. Потрібно знайти такі параметри" />, які б доставляли мінімум цього функціонала,
Потрібно знайти такі параметри "/>, які доставляють мінімум # 151; нормі вектора нев'язок - \ mathbf "/>.
Для того, щоб знайти мінімум функції нев'язки, потрібно прирівняти її похідні до нуля. Похідні даної функції по "/> складають
Цей вислів збігається з нормальним рівнянням. Вирішення цього завдання має задовольняти системі лінійних рівнянь
Після отримання ваг можна побудувати графік знайденої функції.
При зверненні матриці "/> передбачається, що ця матриця невирождени і не погано обумовлена. Про те, як працювати з погано зумовленими матрицями см. В статті Сингулярне розкладання.