Naivni Bajesov klasifikator

U statistici, naivni Bajesovi klasifikatori su familija linearnih „probabilističkih klasifikatora” koji pretpostavlja da su obeležja uslovno nezavisna, s obzirom na ciljnu klasu. Snaga (naivnost) ove pretpostavke je ono što klasifikatoru daje ime. Ovi klasifikatori su među najjednostavnijim modelima tipa Bajesovе mreže.^[1]

Naivni Bajesovi klasifikatori su veoma skalabilni i zahtevaju niz parametara koji su linearni u broju varijabli (karakteristike/prediktori) u problemu učenja. Obuka maksimalne verovatnoće se može obaviti procenom izraza zatvorene forme,^[2] koji zahteva linearno vreme, umesto skupom iterativnom aproksimacijom kao što se koristi za mnoge druge tipove klasifikatora.

U statističkoj literaturi, naivni Bajesovi modeli poznati su pod raznim imenima, uključujući jednostavne i nezavisne Bajesove modele.^[3] Sva ova imena upućuju na upotrebu Bajesove teoreme u pravilu odlučivanja klasifikatora, ali naivni Bajes nije (nužno) Bajesov metod.^[2]^[3]

Uvod

Naivni Bajes je jednostavna tehnika za konstruisanje klasifikatora: modela koji dodeljuju oznake klasa instancama problema, predstavljene kao vektori vrednosti karakteristika, gde su oznake klasa izvučene iz nekog konačnog skupa. Ne postoji jedan algoritam za obuku takvih klasifikatora, već porodica algoritama zasnovana na zajedničkom principu: svi naivni Bajesovi klasifikatori pretpostavljaju da je vrednost određene karakteristike nezavisna od vrednosti bilo kog drugog obeležja, s obzirom na promenljivu klase. Na primer, voće se može smatrati jabukom ako je crveno, okruglo i prečnika oko 10 cm. Naivni Bajesov klasifikator smatra da svaka od ovih karakteristika nezavisno doprinosi verovatnoći da je ovo voće jabuka, bez obzira na sve moguće korelacije između karakteristika boje, zaobljenosti i prečnika.

U mnogim praktičnim primenama, procena parametara za naivne Bajesove modele koristi metod maksimalne verovatnoće; drugim rečima, može se raditi sa naivnim Bajesovim modelom bez prihvatanja Bajesove verovatnoće ili korišćenja bilo koje Bajesove metode.

Uprkos svom naivnom dizajnu i očigledno previše pojednostavljenim pretpostavkama, naivni Bajesovi klasifikatori su funkcionisali prilično dobro u mnogim složenim situacijama u stvarnom svetu. Godine 2004, analiza problema Bajesove klasifikacije pokazala je da postoje čvrsti teorijski razlozi za očigledno neverovatnu efikasnost naivnih Bajesovih klasifikatora.^[4] Ipak, sveobuhvatno poređenje sa drugim klasifikacionim algoritmima iz 2006. godine pokazalo je da je Bajesova klasifikacija bolja od drugih pristupa, kao što su pojačana stabla ili randomne šume.^[5]

Prednost naivnog Bajesa je u tome što je potrebna samo mala količina podataka za obuku da bi se procenili parametri neophodni za klasifikaciju.^[6]

Reference

^ McCallum, Andrew. „Graphical Models, Lecture2: Bayesian Network Representation” (PDF). Архивирано (PDF) из оригинала 2022-10-09. г. Приступљено 22. 10. 2019.
^ ^а ^б Russell, Stuart; Norvig, Peter (2003). Artificial Intelligence: A Modern Approach (2nd изд.). Prentice Hall. ISBN 978-0137903955.
^ ^а ^б Hand, D. J.; Yu, K. (2001). „Idiot's Bayes — not so stupid after all?”. International Statistical Review. 69 (3): 385—399. ISSN 0306-7734. JSTOR 1403452. doi:10.2307/1403452.
^ Zhang, Harry. The Optimality of Naive Bayes (PDF). FLAIRS2004 conference.
^ Caruana, R.; Niculescu-Mizil, A. (2006). An empirical comparison of supervised learning algorithms. Proc. 23rd International Conference on Machine Learning. CiteSeerX 10.1.1.122.5901  .
^ „Why does Naive Bayes work better when the number of features >> sample size compared to more sophisticated ML algorithms?”. Cross Validated Stack Exchange. Приступљено 24. 1. 2023.

Literatura

Domingos, Pedro; Pazzani, Michael (1997). „On the optimality of the simple Bayesian classifier under zero-one loss”. Machine Learning. 29 (2/3): 103—137. doi:10.1023/A:1007413511361  .
Webb, G. I.; Boughton, J.; Wang, Z. (2005). „Not So Naive Bayes: Aggregating One-Dependence Estimators”. Machine Learning. 58 (1): 5—24. doi:10.1007/s10994-005-4258-6  .
Mozina, M.; Demsar, J.; Kattan, M.; Zupan, B. (2004). Nomograms for Visualization of Naive Bayesian Classifier (PDF). Proc. PKDD-2004. стр. 337—348.
Maron, M. E. (1961). „Automatic Indexing: An Experimental Inquiry”. Journal of the ACM. 8 (3): 404—417. S2CID 6692916. doi:10.1145/321075.321084. hdl:2027/uva.x030748531  .
Minsky, M. (1961). Steps toward Artificial Intelligence. Proc. IRE. 49. стр. 8—30.

Spoljašnje veze

Book Chapter: Naive Bayes text classification, Introduction to Information Retrieval
Naive Bayes for Text Classification with Unbalanced Classes Архивирано на сајту Wayback Machine (31. јануар 2021)

[1] McCallum, Andrew. „Graphical Models, Lecture2: Bayesian Network Representation” (PDF). Архивирано (PDF) из оригинала 2022-10-09. г. Приступљено 22. 10. 2019.

[aima-2] а ^б Russell, Stuart; Norvig, Peter (2003). Artificial Intelligence: A Modern Approach (2nd изд.). Prentice Hall. ISBN 978-0137903955.

[idiots-3] а ^б Hand, D. J.; Yu, K. (2001). „Idiot's Bayes — not so stupid after all?”. International Statistical Review. 69 (3): 385—399. ISSN 0306-7734. JSTOR 1403452. doi:10.2307/1403452.

[4] Zhang, Harry. The Optimality of Naive Bayes (PDF). FLAIRS2004 conference.

[5] Caruana, R.; Niculescu-Mizil, A. (2006). An empirical comparison of supervised learning algorithms. Proc. 23rd International Conference on Machine Learning. CiteSeerX 10.1.1.122.5901  .

[6] „Why does Naive Bayes work better when the number of features >> sample size compared to more sophisticated ML algorithms?”. Cross Validated Stack Exchange. Приступљено 24. 1. 2023.

[1]

[2]

[3]

[4]

[5]

[6]