Kernelske metode

U mašinskom učenju, kernelske mašine su klasa algoritama za analizu paterna, čiji je najpoznatiji član mašina potpornih vektora (SVM). Ove metode uključuju korišćenje linearnih klasifikatora za rešavanje nelinearnih problema. Opšti zadatak analize paterna je da pronađe i proučava opšte tipove relacija (na primer, klastere, rangiranja, glavne komponente, korelacije, klasifikacije) u skupovima podataka. Za mnoge algoritme koji rešavaju ove zadatke, podaci sirovoj reprezentaciji moraju biti eksplicitno transformisani u reprezentaciju vektora obeležja preko korisničke mape karakteristika: nasuprot tome, metode kernela zahtevaju samo jezgro koje je odredio korisnik, tj. funkciju sličnosti nad svim parovima tačaka podataka izračunatu korišćenjem unutrašnjih proizvoda. Mapa karakteristika u mašinama za kernelskim mašinama je beskonačno dimenzionalna, ali zahteva samo matricu konačnih dimenzija iz korisničkog unosa prema predstavničkoj teoremi. Kernelske mašine se sporo izračunaju za skupove podataka veće od nekoliko hiljada primera bez paralelne obrade.

Kernelske metode duguju svoje ime korišćenju funkcija jezgra, koje im omogućavaju da rade u visokodimenzionalnom, implicitnom prostoru karakteristika bez izračunavanja koordinata podataka u tom prostoru, već jednostavnim izračunavanjem unutrašnjih proizvoda između slika svih parova podataka u prostoru karakteristika. Ova operacija je često računski jeftinija od eksplicitnog izračunavanja koordinata. Ovaj pristup se naziva „trik jezgra“. Kernelske funkcije su uvedene za podatke sekvence, grafova, teksta, slika, kao i vektore.

Algoritmi koji mogu da rade sa jezgrima uključuju kernelski perceptron, mašine potpornih vektorima (SVM), Gausove procese, analizu glavnih komponenti (PCA), analizu kanonske korelacije, ridž regresiju, spektralno klasterovanje, linearne adaptivne filtere i mnoge druge.

Većina kernelskih algoritama je zasnovana na konveksnoj optimizaciji ili sopstvenim vrednostima i vektorima i statistički je dobro utemeljena. Obično se njihova statistička svojstva analiziraju korišćenjem teorije statističkog učenja (na primer, korišćenjem Rademakerove složenosti).

Literatura

• Shawe-Taylor, J.; Cristianini, N. (2004). Kernel Methods for Pattern Analysis. Cambridge University Press. ISBN 9780511809682. 
• Liu, W.; Principe, J.; Haykin, S. (2010). Kernel Adaptive Filtering: A Comprehensive Introduction. Wiley. ISBN 9781118211212. 
• Schölkopf, B.; Smola, A. J.; Bach, F. (2018). Learning with Kernels : Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press. ISBN 978-0-262-53657-8. 

Spoljašnje veze

• Kernel-Machines Org—community website
• onlineprediction.net Kernel Methods Article