4. Stabla odlučivanja

Transcription

1 4. Stabla odlučivanja MARIJANA ZEKIĆ-SUŠAC SVEUČILIŠTE J.J. STROSSMAYERA U OSIJEKU, EKONOMSKI FAKULTET U OSIJEKU 1

2 Što ćete naučiti u ovom poglavlju? Što su i koje su vrste stabala odlučivanja? Kako funkcioniraju stabla odlučivanja za klasifikaciju? Kako se klasifikacijska stabla odlučivanja koriste na primjerima (u alatu Statistica)? Kako se tumače numerički i grafički rezultati klasifikacijskih stabala? Kako se provodi analiza osjetljivosti kod klasifikacijskih stabala? M. ZEKIĆ- SUŠAC 2

3 Stabla odlučivanja u analizi odlučivanja Stabla odlučivanja kao metoda pojavljuju se u dva područja znanosti: 1. U analizi odlučivanja (eng. Decision analysis) koriste se kako bi vizualno (grafički) predstavila način donošenja odluka od strane eksperta koriste se kod ekspertnih sustava Atributi za donošenje odluke Cilj - odluka Takva stabla odlučivanja opisuju način kako ljudski ekspert dolazi do odluke kod nekog problema odlučivanja, npr. kupovine automobila, izbora lokacije tvrtke, dijagnoze u medicini i slično. Kod ove metode se polazi od ručnog kreiranja stabla. M. ZEKIĆ- SUŠAC 3

4 Stabla odlučivanja u strojnom učenju i rudarenju podataka 2. U strojnom učenju stabla odlučivanja su prediktivni modeli koji na temelju podataka izvode njihove veze u cilju dobivanja izlaznih vrijednosti. Kao takvi modeli koriste se u rudarenju podataka (eng. Datamining) traženju skrivenih veza među podacima Listovi stabla (eng. Leaves) klasifikacije ili kategorije Takva se stabla temelje na podacima, a ne na odluci eksperta, a još se zovu i: klasifikacijska stabla i/ili regresijska stabla. Kod ove metode stablo je rezultat koji se dobiva metodom. Grane (eng. Branches) karakteristike koje dovode do razvrstavanja u kategorije ili klase Na ovom kolegiju bavit ćemo se ovom drugom vrstom stabala odlučivanja koja se temelje na podacima. M. ZEKIĆ- SUŠAC 4

5 Klasifikacijska i regresijska stabla odlučivanja Klasifikacijska i regresijska stabla (eng. Classification And Regression Trees CART) su metoda kojom se dobiva grafički prikaz modela utjecaja ulaznih varijabli na izlaznu. Pri tome izlazna varijabla mora biti izražena u obliku klasa ili kategorija. Način funkcioniranja stabla: Svaki čvor u grafičkom stablu predstavlja jednu ulaznu varijablu, na čijim rubovima su označena djeca-čvorovi za svaku moguću vrijednost neke ulazne varijable. Svaki list u stablu predstavlja vrijednost ciljne (izlazne) varijable ako su dane vrijednosti ulaznih varijabli predstavljene putom od korijena stabla do tog lista. Stablo se dobiva učenjem na podacima, na način da se vrši grananje (eng. splitting) izvornog skupa podataka u podskupove na temelju testiranja vrijednosti varijabli. Proces se ponavlja na svakom izvedenom podskupu na rekurzivni način (eng. recursive partitioning). Rekurzija je završena kada podskup određenog čvora ima sve iste vrijednosti izlazne varijable, ili kada daljnje grananje više ne doprinosi poboljšanju rezultata (Witten, Frank, 2000). M. ZEKIĆ- SUŠAC 5

6 Algoritam za izgradnju stabla Za izgradnju stabla koristi se najčešće CART algoritam prema Breiman et al. (u Witten i Frank, 2000), koji na temelju raspoloživih podataka o ulaznim i izlaznim varijablama kreira binarno stablo grananjem slogova u svakom čvoru prema funkciji određenoj za svaku ulaznu varijablu. Evaluacijska funkcija korištena za prijelom je Gini indeks (IG), definiran prema formuli (Apte, 1997): m I ( t) 1 2 G p i i 1 gdje je t trenutni čvor, pi je vjerojatnost klase i u čvoru t, a m je broj klasa u modelu (u našem slučaju m=2). Algoritam CART uzima u obzir sva moguća grananja kako bi pronašao najbolje grananje za točnost modela. Najbolje grananje određuje se za svaki atribut u svakom čvoru, a pobjednik se izabire s pomoću Gini indeksa. M. ZEKIĆ- SUŠAC 6

7 Algoritam za izgradnju stabla - nastavak Algoritam može uspješno raditi s kontinuiranim i kategorijalnim varijablama. Stablo raste sve dok se ne pronađe novo grananje koje poboljšava uspješnost stabla u razdvajanju slogova u klase. S obzirom da svako sljedeće grananje ima na raspolaganju manje reprezentativnu populaciju, potrebno je smanjivati stablo (eng. pruning), kako bi se dobila točnija klasifikacija. Cilj je identificirati one grane koje omogućuju najmanje prediktivne sposobnosti po listu u grani, kako bi ih se izbacilo iz stabla. U proceduri smanjivanja stabla (pruning) skupovi grana smanjivani su u odnosu na početno kompletno stablo odlučivanja, što je procedura slična eliminiranju prediktora u diskriminantnoj analizi. Na kraju je izabrano stablo odgovarajuće veličine s obzirom na točnost klasifikacije. Pri tome se uzima u obzir odnos složenosti stabla i veličine greške. Pobjedničko podstablo se odabire na temelju ukupne greške (stope pogrešne klasifikacije) dobivene kada se model primijeni na testnom uzorku (Berry i Linoff, 1997). M. ZEKIĆ- SUŠAC 7

8 Faze u kreiranju stabla odlučivanja 1. Priprema podataka pripremiti ulazne varijable, izlaznu varijablu (kategorijalnu), podjelu uzorka (varijablu koja će označiti koji dio uzorka se koristi za treniranje, a koji za testiranje stabla) 2. Izbor algoritma i parametara stabla 3. Generiranje grafičkog stabla odlučivanja (tree plot) i numeričke strukture stabla (tree structure) 4. Generiranje matrice konfuzije (na uzorku za treniranje i na uzorku za testiranje) 5. Tumačenje rezultata stabla odlučivanja (računanje greške) 6. Upotreba stabla odlučivanja u praksi M. ZEKIĆ- SUŠAC 8

9 Primjer 1 klasifikacija irisa s pomoću stabla odlučivanja Pretpostavimo da želimo s pomoću stabla odlučivanja razvrstati cvjetove irisa u tri kategorije: (1) Setosa, (2) Versicolor, (3) Virginica Koristit ćemo alat Statistica, u njemu učitati podatke iris.sta U podacima su cvjetovi slučajno razmješteni, postoji varijabla Sample koja će biti indikator koji slučajevi će biti korišteni za treniranje, a koji za test: 1 treniranje (80% uzorka ili 120 slučajeva) 2 test (20% uzorka, ili 30 slučajeva) M. ZEKIĆ- SUŠAC 9

10 Primjer 1 priprema datoteke s podacima Datoteka s podacima (iris.sta) izgleda ovako: M. ZEKIĆ- SUŠAC 10

11 Primjer 1 klasifikacija irisa s pomoću stabla odlučivanja Za kreiranje stabla potrebno je aktivirati naredbu Statistics / Multivariate Exploratory Techniques / Classification Trees Prvi korak je izbor varijabli, pa treba izabrati izlaznu, ulazne varijable, te sampling varijablu kao na slici: M. ZEKIĆ- SUŠAC 11

12 Primjer 1 provjera uzorkovanja Klikom na sivu karticu Advanced treba provjeriti da li će program koristiti slučajeve označene s 1 za treniranje (učenje), a s 2 za testiranje: Provjeriti kako je program učitao podatke za uzorkovanje M. ZEKIĆ- SUŠAC 12

13 Primjer 1 izbor algoritma i parametara stabla Klikom na sivu karticu Method izabire se algoritam stabla odlučivanja. Moguće je koristiti 3 algoritma: discriminant based univariate splits discriminant based linear combination splits C&RT (CART) style exhaustive search for univariate splits Ovi algoritmi predstavljaju različite načine pretraživanja stabla i prijeloma grana, kako bi se dobilo što manje stablo koje objašnjava veze između ulaznih i izlazne varijable. Za naše potrebe koristit ćemo treći algoritam (CART), iako u svrhu eksperimentiranja možete koristiti sva tri algoritma pojedinačno i usporediti rezultate. M. ZEKIĆ- SUŠAC 13

14 Primjer 1 izbor algoritma i parametara stabla U okviru Goodness of fit koristit ćemo Gini measure što je mjera za izbor uspješnosti stabla koja koristi formulu Gini indeksa (objašnjeno prije). Sve ostale parametre ostavit ćemo standarno postavljeno (default): Prior probabilities estimated znači da će program iz podataka odrediti koliki je udio pojedine klase u uzorku i odrediti prethodnu vjerojatnost pripadanja slučajeva u pojedinu klasu Misclassification costs equal znači da će se pogrešno svrstavanje slučajeva u klasu tretirati s podjednakim troškom (greškom) za svaku klasu Sve parametre u sivim karticama Stopping options i Sampling ostavljamo standardno postavljene. M. ZEKIĆ- SUŠAC 14

15 Primjer 1 Rezultati stabla odlučivanja Klikom na sivu karticu Quick, te na tipku Classification tree plot dobiva se grafički prikaz stabla kao na slici: Classification Tree for Vrsta Number of splits = 2; Number of terminal nodes = LaticaD<= LaticaS<= M. ZEKIĆ- SUŠAC 15

16 Tumačenje stabla Na grafičkom prikazu stabla vidljivo je da su se samo dvije varijable pokazale relevantnima za razvrstavanje cvjetova irisa: LaticaD (duljina latice) i LaticaS (širina latice). U prvom pravokutniku (na vrhu stabla) prikazane su tri kategorije cvijeta irisa (označene manjim pravokutnicima svaki drugačijom bojom). Stablo ima dvije glavne grane lijevu i desnu. Stablo ima 5 čvorova (eng. nodes) U lijevoj grani je samo jedno dijete (child node), a u desnoj troje djece ili čvorova. M. ZEKIĆ- SUŠAC 16

17 Tumačenje stabla - nastavak Stablo pokazuje da cvjetovi koji imaju duljinu latica <=2,45, svi pripadaju u prvu klasu (od 120 cvjetova prisutnih u uzorku za treniranje, njih 39 zadovoljava ovaj uvjet). Cvjetovi koji imaju duljinu latica >2,45, dalje se razvrstavaju ovisno o širini latice. Ako je širina latice <= 1,75, tada pripadaju u klasu 2, a ako je > 1,75, tada pripadaju u klasu 3. Također je na linijama (granama) vidljivo koliko je cvjetova koji zadovoljavaju gore navedene uvjete. M. ZEKIĆ- SUŠAC 17

18 Numerički prikaz stabla Klikom na tipku Summary Tree Structure dobiva se numerički (tablični) prikaz stabla, koji također prikazuje grane i čvorove unutar njih, te vrijednosti varijabli koje se koriste za prijelom (split) stabla: M. ZEKIĆ- SUŠAC 18

19 Matrica konfuzije klasifikacijskog stabla Klikom na sivu karticu Predicted Classes, tipku Predicted Class by Observed Class, dobije se matrica konfuzije na uzorku za treniranje: Tumačenje:Od 39 cvjetova koji su stvarno pripadali u prvu klasu, stablo je svih 39 ispravno svrstalo. Od 36 cvjetova koji su pripadali u drugu klasu, stablo je ispravno svrstalo njih 35, dok je jedan pogrešno svrstan u 3. klasu. Od 45 cvjetova koji su pripadali u treću klasu, stablo je njih 40 ispravno svrstalo, dok je 5 pogrešno svrstano u 2. klasu. M. ZEKIĆ- SUŠAC 19

20 Matrica pogrešne klasifikacije na uzorku za testiranje Klikom na karticu Cross Validation, tipku Misclassicification Matrix, na uzorku za testiranje dobiva se matrica: Matrica pokazuje da nema pogrešno svrstanih cvjetova na uzorku za testiranje, što znači da je stopa točnosti klasifikacije na tom uzorku 100%. M. ZEKIĆ- SUŠAC 20

21 Rezultati stabla odlučivanja Način na koji je stablo razvrstalo slučajeve na uzorku za testiranje moguće je dobiti klikom na tipku Test sample / Predicted CAses, iz čega se kasnije u Excelu mogu izračunati različita mjerila uspješnosti, npr. stopa točnosti klasifikacije za svaku klasu i prosječna stopa klasifikacije. Primjer pokazuje da je stablo odlučivanja kao metoda klasifikacije uspješna na uzorku cvjetova irisa. Stablo odlučivanje može se kao metoda strojnog učenja koristiti za klasifikaciju slučajeve iz različitih područja: npr. pacijenata, klijenata banke, tvrtke, proizvoda, artikala itd. M. ZEKIĆ- SUŠAC 21

22 Analiza značajnosti ulaznih varijabli - tablično Za analizu značajnosti ulaznih varijabli kod stabla odlučivanja potrebno je kliknuti na sivu karticu Tree structure a zatim na tipku Predictor Importance, nakog čega se dobiva tablica koja predstavlja rang značajnosti svake ulazne varijable (u stupcu Ranking). Tumačenje tablice: što je viša vrijednost ranga, veća je značajnost pojedine varijable u modelu (0=najniži značaj, 100=najviši značaj) M. ZEKIĆ- SUŠAC 22

23 Analiza značajnosti ulaznih varijabli - grafički Klikom na tipku Importance Plot na istoj kartici dobiva se grafički prikaz (u obliku histograma) značajnosti varijabli prema tabličnim vrijednostima rangova. Ranking Predictor Variable Importance Rankings Dependent variable: Vrsta Rankings on scale from 0=low importance to 100=high importance 20 0 ListD ListS LaticaD LaticaS Predictor variable Iz grafikona je vidljivo također da su duljina latica i širina latica najznačajnije varijable u modelu, zatim slijedi duljina lista i najmanje je značajna širina lista. M. ZEKIĆ- SUŠAC 23

24 Primjer 2 kreiranje stabla za klasifikaciju studenata prema uspjehu Stablo u ovom radu kreirano je na temelju 8 ulaznih kategorijalnih varijabli, pri čemu su korištene sljedeće vrijednosti parametara za izbor najpogodnijeg stabla: (1) minimalni broj slučajeva koji kontrolira u kojem trenutku će se zaustaviti izbor prijeloma i započeti procedura pruning-a postavljen je na 16, (2) jednake prethodne vjerojatnosti za obje klase studenata, (3) kao pravilo zaustavljanja korištena je stopa pogrešne klasifikacije. Nakon 3-fold unakrsne validacije, izabrano je najbolje klasifikacijsko stablo, koje je na kraju primijenjeno na testnom uzorku (istom uzorku na kojem su konačno testirane i neuronske mreže) radi dobivanja uvida u mogućnosti generalizacije modela na novim podacima, ali i usporedbe uspješnosti modela stabla odlučivanja i neuronskih mreža. Struktura konačnog stabla odlučivanja dobivenog za promatrane podatke prikazana je na Slici 2. M. ZEKIĆ- SUŠAC 24

25 0 1 ID=1 N=83 0 ID=2 N=60 0 SP = 2 = Other(s) ID=3 N=23 1 ID=4 N=31 1 VOCJ = 2, 3 = Other(s) ID=5 N=29 0 ID=6 N=26 1 VRI = 2, 3 = Other(s) ID=7 N=5 0 ID=8 N=22 0 VRI = 2, 3 = Other(s) ID=9 N=7 1 M. ZEKIĆ- SUŠAC 25

26 Prednosti stabala odlučivanja kao metode klasifikacije Mogu raditi i s kategorijalnim i kontinuiranim ulaznim vrijednostima Jednostavna su za razumijevanje i interpretaciju - grafička stabla dobivena ovom metodom su pregledna za opis modela Mogu se kombinirati s drugim metodama za potporu odlučivanju neuronskim mrežama, ekspertnim sustavima i dr. M. ZEKIĆ- SUŠAC 26

27 Literatura G. Klepac, L. Mršić, Poslovna inteligencija kroz poslovne slučajeve, Lider, Tim Press, Zagreb, Ž. Panian, G. Klepac, Poslovna inteligencija, Masmedia, Zagreb, V.Čerić, M., Varga, Informacijska tehnologija u poslovanju, Element, Zagreb, 2004., poglavlja T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning, Data Mining, Inference, and Prediction, Springer, Second Edition, F. Provost, T. Fawcett, Data Science for Business, What You Need to Know about Data Mining and Data-Analytic Thinking, O'Reilly Media, S. J. Russell, P.Norvig, Artificial Intelligence: A Modern Approach, Prentice Hall; 2nd edition, I.H. Witten, E. Frank, Data Mining: Practical Machine Learning Tools and Techniques with Java Implementation. Morgan Kaufman Publishers, San Francisco, CA, D. Graupe, Principles of Artificial Neural Networks (2nd edition), Advanced Series in Circuits and Systems - Vol. 6, World Scientific, Singapore Zekić-Sušac, M., Has, A., Predictive analytics in Big Data platforms comparison and strategies, MIPRO BIS 2016, Opatija, Hrvatska 27