Закон великих бројева

Закон великих бројева (LLN) фундаментална је теорема из области теорије вероватноће и статистике. У своме најједноставнијем облику овај закон тврди да се релативна вероватноћа случајног догађаја приближава вероватноћи овог догађаја када се случајни експеримент понавља велики број пута. Формалније, ради се о конвергенцији случајне променљиве у „јаком“ (скоро сигурна конвергенција) и „слабом“ смислу (конвергенција вероватноће).^[1]

Илустрација закона великих бројева на примеру бацања коцке. Ако се број бацања повећава, просечна вредност исхода се приближава вредности 3,5.

LLN је важан, јер гарантује стабилне дугорочне резултате за просеке неких случајних догађаја.^[1]^[2] На пример, док казино може да изгуби новац у једном окретању рулета, његова зарада ће тежити ка предвидљивом проценту током великог броја окретаја. Сваки победнички низ играча ће на крају бити превазиђен параметрима игре. Важно је да се закон примењује (као што назив говори) само када се узме у обзир велики број запажања. Не постоји принцип да ће се мали број запажања поклопити са очекиваном вредношћу или да ће низ једне вредности одмах бити „уравнотежен” од стране других (погледајте заблуду коцкара).

LLN се односи само на просек. Стога, док je

$\lim _{n\to \infty }\sum _{i=1}^{n}{\frac {X_{i}}{n}}={\overline {X}}$

друге формуле које изгледају слично нису потврђене, као што је грубо одступање од „теоријских резултата“:

$\sum _{i=1}^{n}X_{i}-n\times {\overline {X}}$

не само да не конвергира ка нули како n расте, већ има тенденцију да расте у апсолутној вредности како се n повећава.

Пример: бацање новчића

Вероватноћа да бачени новчић покаже писмо или главу износи ½. Што се више понавља овај експеримент, то ће бити вероватније да ће број исхода када „падне глава“ (релативна вероватноћа исхода „глава“), бити близак вредности ½. Са друге стране, врло је вероватно да ће апсолутна разлика између броја исхода „глава“ и половине броја бацања новчића расти.

Постоји и укорењено погрешно схватање закона великих бројева. Овај закон не тврди да ће они исходи који се до сада нису појављивали, од сада појављивати чешће да би уравнотежили расподелу вероватноћа. То је честа грешка играча рулета и лотоа.

Нека је низ исхода бацања новчића: глава, грб, глава, глава. Исход „глава“ се појавио три пута, а исход „грб“ једанпут. „Глава“ се дакле појављивала са релативним учешћем ¾, док је ова вредност за „грб“ ¼. После нових 96 бацања новчића исход је био 49 „грбова“ и 51 „глава“. Апсолутна разлика глава и грбова је после 100 бацања остала иста и као после 4, али је релативна разлика знатно смањена. Тако долазимо до дефиниције Закона великих бројева – вредност релативног учешћа $\textstyle {\frac {51}{100}}=0{,}51$ тежи очекиваној вредности 0,5.

Практичне импликације

Индустрија осигурања: Закон великих бројева има велики практични значај за индустрију осигурања. Он омогућава да се направе дугорочне прогнозе износа одштетних захтева. Што је већи број осигураних особа и добара, и ако се подразумева да су сви изложени једнаком ризику, то је мањи утицај случаја. Овај закон, ипак, не може да да никакву прогнозу о томе ко ће конкретно уложити одштетни захтев.
Медицина: Када се проучава ефикасност медицинских третмана, помоћу овог закона се могу елиминистаи случајни споредни фактори.
Природне науке: Утицај несистематских грешки у мерењу се смањује понављањем мерења.
Информатика: Постоје информатичке технике код којих се примењује овај закон. Пример је рачунарство у облаку.

Ограничење

Просек резултата добијених из великог броја испитивања можда неће моћи да конвергира у неким случајевима. На пример, просек од n резултата узетих из Кошијеве расподеле или неке Паретове расподеле (α<1) неће конвергирати како n постаје веће; разлог су тешки репови. Кошијева и Паретова расподела представљају два случаја: Кошијева расподела нема очекивање,^[3] док је очекивање Паретове расподеле (α<1) бесконачно.^[4] Један од начина да се генерише Кошијев пример је где су случајни бројеви једнаки тангенти угла равномерно распоређени између -90° и +90°. Медијана је нула, али очекивана вредност не постоји, и заиста просек од n таквих променљивих има исту дистрибуцију као једна таква променљива. Он не конвергира по вероватноћи ка нули (или било којој другој вредности) како n иде ка бесконачности.

А ако покушаја уграђује пристрасност селекције, типичну за људско економско/рационално понашање, закон великих бројева не помаже у решавању пристрасности. Чак и ако се број испитивања повећа, пристрасност избора остаје.

Историја

Дифузија је пример закона великих бројева. У почетку, на левој страни баријере налазе се молекули растворених материја (магентна линија) и ни један на десној страни. Преграда се уклања, и раствор се дифундира да попуни цео контејнер.
Горе: Са једним молекулом, кретање изгледа сасвим случајно.
Средина: Са више молекула, јасно је присутан тренд где растворена материја све више и више униформно испуњава контејнер, али постоје и случајне флуктуације.
Доле: Са огромним бројем молекула растворене супстанце (превише да се могу видети), случајност је у суштини нестала: Чини се да растворак иде глатко и систематски од подручја високе концентрације до подручја са ниском концентрацијом. У реалним ситуацијама, хемичари могу описати дифузију као детерминистички макроскопски феномен (погледајте Фикове законе), упркос њене радомне природе.

Италијански математичар Ђироламо Кардано (1501–1576) је без доказа изјавио да се тачност емпиријских статистика повећава са бројем покушаја.^[5] Ово је затим формализовано као закон великих бројева. Посебан облик LLN (за бинарну случајну променљиву) први је доказао Јакоб Бернули.^[6] Било му је потребно више од 20 година да развије довољно ригорозан математички доказ који је објављен у његовом Ars Conjectandi (Уметност претпостављања) 1713. Он је то назвао својом „Златном теоремом“, али је постала опште позната као „Бернулијева теорема“. Ово не треба мешати са Бернулијевим принципом, названом по нећаку Јакоба Бернулија Данијелу Бернулију. Године 1837, С. Д. Поасон га је даље описао под називом "la loi des grands nombres" („закон великих бројева“).^[7]^[8] Од тада је био познат под оба имена, али се најчешће користи „закон великих бројева“.

Након што су Бернули и Поасон објавили своје напоре, други математичари су такође допринели прецизирању закона, укључујући Чебишева,^[9] Маркова, Борела, Кантелија, Колмогорова и Кинчина. Марков је показао да се закон може применити на случајну променљиву која нема коначну варијансу под неком другом слабијом претпоставком, а Кинчин је 1929. показао да ако се серија састоји од независних идентично распоређених случајних променљивих, довољно је да очекивана вредност постоји за слаб закон великих бројева да буде истинит.^[10]^[11] Ове даље студије довеле су до два истакнута облика LLN-а. Један се назива „слабим” законом, а други „јаким” законом, у односу на два различита начина конвергенције кумулативног узорка према очекиваној вредности; посебно, као што је објашњено у наставку, јак облик имплицира слаб.^[10]

Форме

Постоје две различите верзије закона великих бројева које су описане у наставку. Називају се јаким законом великих бројева и слабим законом великих бројева.^[12]^[1] Наведен је случај где је X₁, X₂, ... бесконачан низ независних и идентично распоређених Лебегових интеграбилних случајних променљивих са очекиваном вредношћу E(X₁) = E(X₂) = ... = µ, обе верзије закон наводе да просек узорка

${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$

конвергира очекиваној вредности:

${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$

(1)

(Лебегова интеграбилност X_j значи да очекивана вредност E(X_j) постоји према Лебеговој интеграцији и да је коначна. То не значи да је придружена мера вероватноће апсолутно континуирана у односу на Лебегову меру.)

Уводни текстови вероватноће често додатно претпостављају идентичну коначну варијансу $\operatorname {Var} (X_{i})=\sigma ^{2}$ (за свако $i$ ) и нема корелације између случајних променљивих. У том случају, варијанса просека од n случајних променљивих је

$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$

што се може користити за скраћивање и поједностављење доказа. Ова претпоставка о коначној варијанси није неопходна. Велика или бесконачна варијанса ће учинити конвергенцију споријом, али LLN ипак важи.^[13]

Међусобна независност случајних променљивих може се заменити независношћу парова^[14] или разменљивошћу^[15] у обе верзије закона.

Разлика између јаке и слабе верзије се односи на начин конвергенције који се утврђује. За тумачење ових модова, погледајте конвергенцију случајних променљивих.

Слаби закон великих бројева

За низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ у ${\mathcal {L}}^{1}$ каже се да задовољава слаби закон великих бројева, када за ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ и све позитивне бројеве $\varepsilon$ важи:

\lim _{n\rightarrow \infty }\operatorname {P} \left(\left|{\overline {X}}_{n}\right|>\varepsilon \right)=0

.

Постоји мноштво ситуација у којима се може применити Слаби закон великих бројева. На пример, он важи за низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ које имају коначне варијансе $\sigma _{1}^{2},\sigma _{2}^{2},\sigma _{3}^{2}\dots$ , које су ограничене заједничком горњом границом, и нису међусобно корелисане: $\operatorname {Cov} (X_{i},X_{j})=0$ за $i\neq j$ .^[16]

Јаки закон великих бројева

Каже се да низ случајних променљивих $X_{1},X_{2},X_{3},\dots$ у ${\mathcal {L}}^{1}$ задовољава јаки закон великих бројева, када за ${\overline {X}}_{n}=\sum _{i=1}^{n}(X_{i}-E({X}_{i}))/n$ важи:

\operatorname {P} \left(\limsup _{n\rightarrow \infty }|{\overline {X}}_{n}|=0\right)=1

.

Јаки закон великих бројева имплицира слаби закон великих бројева. Јаки закон великих бројева важи за, на пример, низ стохастички независних случајних променљивих које имају једнаку расподелу вероватноће. Један облик овог закона за независне случајне променљиве је ергодичност.

Види још

Референце

^ ^а ^б ^в Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 181–190. ISBN 9781852338961.
^ Yao, Kai; Gao, Jinwu (2016). „Law of Large Numbers for Uncertain Random Variables”. IEEE Transactions on Fuzzy Systems. 24 (3): 615—621. ISSN 1063-6706. S2CID 2238905. doi:10.1109/TFUZZ.2015.2466080.
^ Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 92. ISBN 9781852338961.
^ Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 63. ISBN 9781852338961.
^ Mlodinow, L. (2008). The Drunkard's Walk. New York: Random House. стр. 50.
^ Bernoulli, Jakob (1713). „4”. Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis (на језику: латински). Превод: Sheynin, Oscar.
^ Poisson names the "law of large numbers" (la loi des grands nombres) in: Poisson, S. D. (1837). Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés (на језику: француски). Paris, France: Bachelier. стр. 7. He attempts a two-part proof of the law on pp. 139–143 and pp. 277 ff.
^ Hacking, Ian (1983). „19th-century Cracks in the Concept of Determinism”. Journal of the History of Ideas. 44 (3): 455—475. JSTOR 2709176. doi:10.2307/2709176.
^ Tchebichef, P. (1846). „Démonstration élémentaire d'une proposition générale de la théorie des probabilités”. Journal für die reine und angewandte Mathematik (на језику: француски). 1846 (33): 259—267. S2CID 120850863. doi:10.1515/crll.1846.33.259.
^ ^а ^б Seneta 2013.
^ Yuri Prohorov. „Law of large numbers”. Encyclopedia of Mathematics. EMS Press.
^ Bhattacharya, Rabi; Lin, Lizhen; Patrangenaru, Victor (2016). A Course in Mathematical Statistics and Large Sample Theory. Springer Texts in Statistics. New York, NY: Springer New York. ISBN 978-1-4939-4030-1. doi:10.1007/978-1-4939-4032-5.
^ „The strong law of large numbers – What's new”. Terrytao.wordpress.com. 19. 6. 2008. Приступљено 2012-06-09.
^ Etemadi, N. Z. (1981). „An elementary proof of the strong law of large numbers”. Wahrscheinlichkeitstheorie Verw Gebiete. 55 (1): 119—122. S2CID 122166046. doi:10.1007/BF01013465.
^ Kingman, J. F. C. (април 1978). „Uses of Exchangeability”. The Annals of Probability (на језику: енглески). 6 (2). ISSN 0091-1798. doi:10.1214/aop/1176995566  .
^ H.-O. Georgii: Stochastik, 2. Auflage, de Gruyter, 2004, S. 120 Satz (5.6) Schwaches Gesetz der großen Zahlen, ${\mathcal {L}}^{2}$ -Version.

Литература

Grimmett, G. R.; Stirzaker, D. R. (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford. ISBN 0-19-853665-8.
Richard Durrett (1995). Probability: Theory and Examples, 2nd Edition. Duxbury Press.
Martin Jacobsen (1992). Videregående Sandsynlighedsregning (Advanced Probability Theory) 3rd Edition. HCØ-tryk, Copenhagen. ISBN 87-91180-71-6.
Loève, Michel (1977). Probability theory 1 (4th изд.). Springer Verlag.
Newey, Whitney K.; McFadden, Daniel (1994). Large sample estimation and hypothesis testing. Handbook of econometrics, vol. IV, Ch. 36. Elsevier Science. стр. 2111—2245.
Ross, Sheldon (2009). A first course in probability (8th изд.). Prentice Hall press. ISBN 978-0-13-603313-4.
Sen, P. K; Singer, J. M. (1993). Large sample methods in statistics. Chapman & Hall, Inc.
Seneta, Eugene (2013), „A Tricentenary history of the Law of Large Numbers”, Bernoulli, 19 (4): 1088—1121, arXiv:1309.6488  , doi:10.3150/12-BEJSP12

Спољашње везе

Hazewinkel Michiel, ур. (2001). „Law of large numbers”. Encyclopaedia of Mathematics. Springer. ISBN 978-1556080104.
Weisstein, Eric W. „Weak Law of Large Numbers”. MathWorld.
Weisstein, Eric W. „Strong Law of Large Numbers”. MathWorld.
Animations for the Law of Large Numbers by Yihui Xie using the R package animation
Apple CEO Tim Cook said something that would make statisticians cringe.

[:0-1] а ^б ^в Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 181–190. ISBN 9781852338961.

[2] Yao, Kai; Gao, Jinwu (2016). „Law of Large Numbers for Uncertain Random Variables”. IEEE Transactions on Fuzzy Systems. 24 (3): 615—621. ISSN 1063-6706. S2CID 2238905. doi:10.1109/TFUZZ.2015.2466080.

[3] Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 92. ISBN 9781852338961.

[4] Dekking, Michel (2005). A Modern Introduction to Probability and Statistics . Springer. стр. 63. ISBN 9781852338961.

[5] Mlodinow, L. (2008). The Drunkard's Walk. New York: Random House. стр. 50.

[6] Bernoulli, Jakob (1713). „4”. Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis (на језику: латински). Превод: Sheynin, Oscar.

[7] Poisson names the "law of large numbers" (la loi des grands nombres) in: Poisson, S. D. (1837). Probabilité des jugements en matière criminelle et en matière civile, précédées des règles générales du calcul des probabilitiés (на језику: француски). Paris, France: Bachelier. стр. 7. He attempts a two-part proof of the law on pp. 139–143 and pp. 277 ff.

[8] Hacking, Ian (1983). „19th-century Cracks in the Concept of Determinism”. Journal of the History of Ideas. 44 (3): 455—475. JSTOR 2709176. doi:10.2307/2709176.

[9] Tchebichef, P. (1846). „Démonstration élémentaire d'une proposition générale de la théorie des probabilités”. Journal für die reine und angewandte Mathematik (на језику: француски). 1846 (33): 259—267. S2CID 120850863. doi:10.1515/crll.1846.33.259.

[FOOTNOTESeneta2013-10] а ^б Seneta 2013.

[EncMath-11] Yuri Prohorov. „Law of large numbers”. Encyclopedia of Mathematics. EMS Press.

[12] Bhattacharya, Rabi; Lin, Lizhen; Patrangenaru, Victor (2016). A Course in Mathematical Statistics and Large Sample Theory. Springer Texts in Statistics. New York, NY: Springer New York. ISBN 978-1-4939-4030-1. doi:10.1007/978-1-4939-4032-5.

[TaoBlog-13] „The strong law of large numbers – What's new”. Terrytao.wordpress.com. 19. 6. 2008. Приступљено 2012-06-09.

[14] Etemadi, N. Z. (1981). „An elementary proof of the strong law of large numbers”. Wahrscheinlichkeitstheorie Verw Gebiete. 55 (1): 119—122. S2CID 122166046. doi:10.1007/BF01013465.

[15] Kingman, J. F. C. (април 1978). „Uses of Exchangeability”. The Annals of Probability (на језику: енглески). 6 (2). ISSN 0091-1798. doi:10.1214/aop/1176995566  .

[16] H.-O. Georgii: Stochastik, 2. Auflage, de Gruyter, 2004, S. 120 Satz (5.6) Schwaches Gesetz der großen Zahlen, ${\mathcal {L}}^{2}$ -Version.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]