Најмањи квадрати
Метод најмањих квадрата је метод процене параметара у регресионој анализи заснован на минимизовању збира квадрата остатака (остатак је разлика између посматране вредности и прилагођене вредности коју даје модел) направљених у резултатима сваке појединачне једначине. (Једноставније, најмањи квадрати су математички поступак за проналажење криве која најбоље одговара датом скупу тачака минимизовањем збира квадрата помака („остатака“) тачака од криве.)
Најважнија примена је у уклапању података. Када проблем има значајне несигурности у независној променљивој (променљива x), онда једноставне методе регресије и методе најмањих квадрата имају проблеме; у таквим случајевима, методологија потребна за уклапање модела грешака у променљивим може се узети у обзир уместо оне за најмање квадрате.
Проблеми најмањих квадрата спадају у две категорије: линеарни или обични најмањи квадрати и нелинеарни најмањи квадрати, у зависности од тога да ли су функције модела линеарне у свим непознатим. Проблем линеарних најмањих квадрата јавља се у статистичкој регресионој анализи; има решење затвореног облика. Нелинеарни проблем се обично решава итеративним пречишћавањем; на свакој итерацији систем се апроксимира линеарним, тако да је прорачун језгра сличан у оба случаја.
Полиномни најмањи квадрати описују варијансу у предвиђању зависне променљиве као функције независне променљиве и одступања од постављене криве.
Када запажања долазе из експоненцијалне породице са идентитетом као што је њена природна довољна статистика и благи услови су задовољени (нпр. за нормалну, експоненцијалну, Поасонову и биномну расподелу), стандардизоване процене најмањих квадрата и процене максималне вероватноће су идентичне.[1] Метод најмањих квадрата се такође може извести као метод процене момената.
Следећа дискусија је углавном представљена у виду линеарних функција, али је употреба најмањих квадрата валидна и практична за општије породице функција. Такође, итеративном применом локалне квадратне апроксимације на вероватноћу (преко Фишерове информације), метода најмањих квадрата се може користити за уклапање у генерализовани линеарни модел.
Метод најмањих квадрата званично је открио и објавио Адријен-Мари Лежандр (1805),[2] иако се обично приписује и Карлу Фридриху Гаусу (1809),[3][4] који је допринео значајним теоријским напрецима метода,[4] и можда га је такође користио у својим ранијим радовима 1794. и 1795. године.[5][4]
Референце
уреди- ^ Цхарнес, А.; Фроме, Е. L.; Yу, П. L. (1976). „Тхе Еqуиваленце оф Генерализед Леаст Сqуарес анд Маxимум Ликелихоод Естиматес ин тхе Еxпонентиал Фамилy”. Јоурнал оф тхе Америцан Статистицал Ассоциатион. 71 (353): 169—171. дои:10.1080/01621459.1976.10481508.
- ^ Мансфиелд Мерриман, "А Лист оф Wритингс Релатинг то тхе Метход оф Леаст Сqуарес"
- ^ Бретсцхер, Отто (1995). Линеар Алгебра Wитх Апплицатионс (3рд изд.). Уппер Саддле Ривер, Њ: Прентице Халл.
- ^ а б в Стиглер, Степхен M. (1981). „Гаусс анд тхе Инвентион оф Леаст Сqуарес”. Анн. Стат. 9 (3): 465—474. дои:10.1214/аос/1176345451
.
- ^ Плацкетт, Р.L. (1972). „Тхе дисцоверy оф тхе метход оф леаст сqуарес” (ПДФ). Биометрика. 59 (2): 239—251.
Литература
уреди- Бјöрцк, Å. (1996). Нумерицал Метходс фор Леаст Сqуарес Проблемс. СИАМ. ИСБН 978-0-89871-360-2.
- Кариyа, Т.; Курата, Х. (2004). Генерализед Леаст Сqуарес. Хобокен: Wилеy. ИСБН 978-0-470-86697-9.
- Луенбергер, D. Г. (1997) [1969]. „Леаст-Сqуарес Естиматион”. Оптимизатион бy Вецтор Спаце Метходс. Неw Yорк: Јохн Wилеy & Сонс. стр. 78—102. ИСБН 978-0-471-18117-0.
- Рао, C. Р.; Тоутенбург, Х.; et al. (2008). Линеар Моделс: Леаст Сqуарес анд Алтернативес. Спрингер Сериес ин Статистицс (3рд изд.). Берлин: Спрингер. ИСБН 978-3-540-74226-5.
- Ван де моортел, Коен (април 2021). „Мултидирецтионал регрессион аналyсис”.
- Wолберг, Ј. (2005). Дата Аналyсис Усинг тхе Метход оф Леаст Сqуарес: Еxтрацтинг тхе Мост Информатион фром Еxпериментс. Берлин: Спрингер. ИСБН 978-3-540-25674-8.
Спољашње везе
уреди
Медији везани за чланак Најмањи квадрати на Викимедијиној остави
