Najmanji kvadrati
Metod najmanjih kvadrata je metod procene parametara u regresionoj analizi zasnovan na minimizovanju zbira kvadrata ostataka (ostatak je razlika između posmatrane vrednosti i prilagođene vrednosti koju daje model) napravljenih u rezultatima svake pojedinačne jednačine. (Jednostavnije, najmanji kvadrati su matematički postupak za pronalaženje krive koja najbolje odgovara datom skupu tačaka minimizovanjem zbira kvadrata pomaka („ostataka“) tačaka od krive.)
Najvažnija primena je u uklapanju podataka. Kada problem ima značajne nesigurnosti u nezavisnoj promenljivoj (promenljiva x), onda jednostavne metode regresije i metode najmanjih kvadrata imaju probleme; u takvim slučajevima, metodologija potrebna za uklapanje modela grešaka u promenljivim može se uzeti u obzir umesto one za najmanje kvadrate.
Problemi najmanjih kvadrata spadaju u dve kategorije: linearni ili obični najmanji kvadrati i nelinearni najmanji kvadrati, u zavisnosti od toga da li su funkcije modela linearne u svim nepoznatim. Problem linearnih najmanjih kvadrata javlja se u statističkoj regresionoj analizi; ima rešenje zatvorenog oblika. Nelinearni problem se obično rešava iterativnim prečišćavanjem; na svakoj iteraciji sistem se aproksimira linearnim, tako da je proračun jezgra sličan u oba slučaja.
Polinomni najmanji kvadrati opisuju varijansu u predviđanju zavisne promenljive kao funkcije nezavisne promenljive i odstupanja od postavljene krive.
Kada zapažanja dolaze iz eksponencijalne porodice sa identitetom kao što je njena prirodna dovoljna statistika i blagi uslovi su zadovoljeni (npr. za normalnu, eksponencijalnu, Poasonovu i binomnu raspodelu), standardizovane procene najmanjih kvadrata i procene maksimalne verovatnoće su identične.[1] Metod najmanjih kvadrata se takođe može izvesti kao metod procene momenata.
Sledeća diskusija je uglavnom predstavljena u vidu linearnih funkcija, ali je upotreba najmanjih kvadrata validna i praktična za opštije porodice funkcija. Takođe, iterativnom primenom lokalne kvadratne aproksimacije na verovatnoću (preko Fišerove informacije), metoda najmanjih kvadrata se može koristiti za uklapanje u generalizovani linearni model.
Metod najmanjih kvadrata zvanično je otkrio i objavio Adrijen-Mari Ležandr (1805),[2] iako se obično pripisuje i Karlu Fridrihu Gausu (1809),[3][4] koji je doprineo značajnim teorijskim naprecima metoda,[4] i možda ga je takođe koristio u svojim ranijim radovima 1794. i 1795. godine.[5][4]
Reference
уреди- ^ Charnes, A.; Frome, E. L.; Yu, P. L. (1976). „The Equivalence of Generalized Least Squares and Maximum Likelihood Estimates in the Exponential Family”. Journal of the American Statistical Association. 71 (353): 169—171. doi:10.1080/01621459.1976.10481508.
- ^ Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares"
- ^ Bretscher, Otto (1995). Linear Algebra With Applications (3rd изд.). Upper Saddle River, NJ: Prentice Hall.
- ^ а б в Stigler, Stephen M. (1981). „Gauss and the Invention of Least Squares”. Ann. Stat. 9 (3): 465—474. doi:10.1214/aos/1176345451
.
- ^ Plackett, R.L. (1972). „The discovery of the method of least squares” (PDF). Biometrika. 59 (2): 239—251.
Literatura
уреди- Björck, Å. (1996). Numerical Methods for Least Squares Problems. SIAM. ISBN 978-0-89871-360-2.
- Kariya, T.; Kurata, H. (2004). Generalized Least Squares. Hoboken: Wiley. ISBN 978-0-470-86697-9.
- Luenberger, D. G. (1997) [1969]. „Least-Squares Estimation”. Optimization by Vector Space Methods. New York: John Wiley & Sons. стр. 78—102. ISBN 978-0-471-18117-0.
- Rao, C. R.; Toutenburg, H.; et al. (2008). Linear Models: Least Squares and Alternatives. Springer Series in Statistics (3rd изд.). Berlin: Springer. ISBN 978-3-540-74226-5.
- Van de moortel, Koen (април 2021). „Multidirectional regression analysis”.
- Wolberg, J. (2005). Data Analysis Using the Method of Least Squares: Extracting the Most Information from Experiments. Berlin: Springer. ISBN 978-3-540-25674-8.
Spoljašnje veze
уреди
Mediji vezani za članak Najmanji kvadrati na Vikimedijinoj ostavi
