P R E D A V A N J E 2 I V A N R I M A C D O K T O R S K I S T U D I J S O C I J A L N O G R A D A

Transcription

1 Mutilvarijatne analize 1 P R E D A V A N J E 2 I V A N R I M A C D O K T O R S K I S T U D I J S O C I J A L N O G R A D A

2 Analitički modeli multivarijatnih analiza Definicijom matematičkih kriterija formiranje varijata iz nekog skupa varijabli može se usmjeriti prema određenom cilju. Uglavnom se kriteriji postavljaju tako da maksimaliziraju određeni kriterij kojim bi se mogao opisati skup varijabli koje čine varijatu ili odnos tog skupa prema nekom izvanjskom kriteriju. Svaki od postavljenih kriterija ima svoje matematičko rješenje i ime, kao posebna tehnika multivarijatne analize. 2

3 Korelativni nacrti 3 Varijable u varijati (ulazne varijable prediktori) mjerene varijable Kriterijska varijabla (izlazna varijabla) jedna mjerena varijabla Maksimalizacija kriterija odrediti množitelje tako da korelacija vatijate i kriterijske varijable bude maksimalna mjerene varijable - odabirom množitelja maksimizirati varijancu varijate mjerene varijable mjerene varijable množitelji maksimaliziraju korelaciju između prediktivne i kriterijske varijate Ime tehnike Multipla regresijska analiza Faktorska analiza, Komponentna analiza Kanonička analiza

4 Eksperimentalni nacrti Nezavisne varijable Zavisne varijable Maksimalizacija kriterija 1 manipulirana (2 nivoa) 1 manipulirana (2 i više nivoa) 1 manipulirana (2 nivoa) jedna mjerena varijabla - t-test Ime tehnike jedna mjerena varijabla - Jednosmjerna analiza varijance više mjerenih varijabli 4 maksimalizacija t omjera kroz množitelje varijate zavisnih varijabli Hotellingov T 2 Diskriminativna analiza 1 manipulirana (2 i više nivoa) više mjerenih varijabli maksimalizacija jednosmjernog F omjera kroz množitelje varijate zavisnih varijabli Multivarijatna analiza varijance (MANOVA) Diskriminativna analiza 2 ili više manipuliranih (2 ili više nivoa) više mjerenih varijabli jednosmjernog F omjera za svaki efekt kroz množitelje varijate zavisnih varijabli MANOVA višeg reda

5 Multipla regresijska analiza (MRA) Matematički najjednostavniji postupak. Potrebno je za skup ulaznih, nezavisnih varijabli (prediktora) odrediti množitelje koji će formirati varijatu koja je u maksimalnoj mogućoj korelaciji s nekom ishodišnom, zavisnom (kriterijskom) varijablom. Prognozirana varijabla (varijata) 5 Maksimalna korelacija između Y (mjerena) i Y (konstruirana varijata).

6 Y = Y + e Drugačije postavljanje problema (gdje e predstavlja rezudual tj. pogrešku prognoze u odnosu na regresijski pravac) Cilj je MRA minimalizirati sumu e 2. Što je isto što i minimalizirati sumu (Y Y ) 2. Svi ovi reprezentanti modela odražavaju i neka posebna svojstva varijabli u modelu. 6 Y-Y =Y rez r y*yrez =0, r y *yrez =0, r y*y =max

7 Množitelji Množitelje određujemo kroz sustav k-jednadžbi s k- nepoznanica. Opći oblik postavljanja problema ima oblik: b1*c11 + b2*c12 + b3*c13 + b4*c14=c1k b1*c21 + b2*c22 + b3*c23 + b4*c24=c2k b1*c31 + b2*c32 + b3*c33 + b4*c34=c3k b1*c41 + b2*c42 + b3*c43 + b4*c44=c4k Ili matrično: C -1 * C pk = B 7

8 Zašto ovako složen sustav? 8 Bilo bi za očekivati da prediktor koji više korelira (ima veću kovarijancu) s kriterijem ima veći množitelj b, i da je potrebno samo skalirati ostale množitelje kao frakcije najvećeg. Problem nastaje jer su prediktori uglavnom u nekim korelacijama što postavlja dodatne zahtjeve u pogledu utvrđivanja međusobnog poklapanja prediktora u prognozi istog dijela kriterija. Stoga je u računskom postupku potrebno razriješiti i koliko kovarijance prediktora i kriterija je zajedničko za jedan ili više prediktora.

9 Grafička reprezentacija (1) Kada bi prediktori bili bez međusobnih korelacija prognozirani dio varijance kriterija bio bi zbroj kvadriranih kovarijanci, jer bi množitelji b odgovarali veličini kovarijance prediktora i kriterija. U sustavu jednadžbi u svakom redu bi bila samo jedna nepoznanica uz koeficijent c xx. 9

10 Grafička reprezentacija (2) Kad su prediktori u korelaciji oni pored specifičnog dijela imaju i dio koji zajednički pokrivaju. Taj dio se dijeli među prediktorima proporcionalno veličini samostalnog udjela. Što prediktor ima veći samostalni dio, dobit će i proporcionalno veći udio u zajedničkom pokrivanju s drugim prediktorom. Podjela zajedničkog dijela odrazit će se na množiteljima b koji će sada korigirati procjenu u odnosu na upotrebu koeficijenata c xy. 10

11 Grafička reprezentacija (3) Moguće je da su prediktori u korelaciji u dijelu koji se ne odnosi na kriterij. U takvom slučaju proračun množitelja za p1 usmjeren je na prognozu p2, i isključivanje tog dijela iz prognoze kriterija. Time prognoza kriterija postaje relativno bolja, jer se zajednički dio varijabiliteta uspoređuje s ukupnim dijelom p2+k iz kojeg je uklonjen dio koji se pokriva s p1. Ovaj model može se opisati kao dvostupanjska regresija. Prvo prognoziramo p2 na osnovi p1, a zatim kriterij prognoziramo na osnovi reziduala iz prethodne regresije p2 rezidualno. P1 u ovakvno odnosu nazivamo supresor jer supresira (potiskuje) nevaljani dio varijance u p2. 11

12 Regresijska jednadžba MRA 12 Prognozirane vrijednosti u Y obično označavamo s Y i računamo kao: Korelacija R između Y i Y može se izračunati kao Pearson produkt-moment koeficijent između Y i Y.

13 MRA sa standardiziranom mjerama (1) 13 Množitelji b predstavljaju pokazatelj za koliko će se promijeniti rezultat u Y ukoliko se rezultat u prediktoru na koji se odnosi množitelj promijeni za jedan bod. Ukoliko b podijelimo sa std.devijacijom prediktora i std.devijacijom kriterija dobit ćemo standardizirani množitelj β koji povezuje prediktore i kriterij pretvorene u z-vrijednosti. β pokazuje za koliko će se u z-vrijednostima promijeniti rezultat u kriteriju ukoliko se na pripadnom prediktoru rezultat promijeni za jednu std.devijaciju (1z).

14 MRA sa standardiziranom mjerama (2) Opća regresijska jednadžba gubi konstantu a (odsječak na ordinati intercept) koja predstavlja vrijednost od koje se vrši pribrajanje varijabilnih komponenti. 14 A povezanost varijate Y tj. z-vrijednosti i kriterija se može izračunati i preko koeficijenta determinacije R 2 koji je jednak zbroju umnožaka β*r za sve prediktore.

15 Interpretacija MRA Interpretacija analize počiva na ideji analize varijabilnosti u kriteriju. Ukupni objašnjeni varijabilitet u kriteriju na osnovi skupa prediktora koji su upotrijebljeni u analizi određen je s R 2. Prema Guttman-u procjena veličine objašnjene varijance u kriteriju asimptotski se vrlo brzo približava procjeni ukupne valjane varijance kriterija, te je R2 dobra procjena donje granice proporcije valjane varijance u kriteriju. Prema Draper & Smith (1996) rezidualna varijanca se ne sastoji samo od varijance pogreške mjerenja (error varijanca) već i od sustavnih odstupanja od linearnosti. Za razdvajaje ova dva dijela rezidualne varijance potrebno je izdvojiti setove entiteta s potpuno jednakim rezultatima u prediktorskim varijablama u posebne skupine i procijeniti u kojoj se mjeri variraju rezultati u kriterijskoj varijabli za identične skupine ispitanika. Draper & Smith su u neku ruku u opreci u odnosu na Guttmanove dokaze o donjoj granici valjane varijance. 15

16 Struktura objašnjene varijance u kriteriju 16 Struktura objašnjenog varijabiliteta određuje se na osnovi udjela pojedinih prediktora u objašnjenom varijabilitetu. Udio prediktora može se odrediti na osnovi usporedbe veličina β množitelja. Interpretacija β množitelja počiva na očekivanju da je stupanj preklapanja među prediktorima relativno malen i ujednačen, a da se supresivni efekt rijetko pojavljuje, te je stoga β dostatan pokazatelj odnosa udjela prediktora. Druga koncepcija interpretacije počiva na razdiobi R 2 na pribrojnike β*r. Ovaj model interpretacije egzaktno reproducira komponente u računu R 2, bolji je za interpretaciju nejednakih udjela prediktora, ali se upotrebom ovog modela teže uočavaju supresivni efekti koji imaju koeficijent 0 i nisu prepoznatljivi bez uvida u pojedine faktore umnoška.

17 Testovi statističke značajnosti Test značajnost multiple korelacije testira hipotezu da je u populaciji povezanost prediktora i kriterija jednaka 0. Test počiva na omjeru objašnjene (sustavna varijacija) i neobjašnjene varijance (error varijanca). 17 uz df1=m i df2=n-m-1 stupnjeva slobode. Za pojedinačne testove hipoteze o b=0 u populaciji koristi se ista logika samo što se zbog df1=m=1 F omjer može svesti na t-omjer s df=n-m-1 stupnjeva slobode. Time se test statističke značajnosti b koeficijenta svodi na logiku testiranja značajnosti koeficijenta korelacije r.

18 Praktični modeli MRA 18 Pored analitičke strategije, zbog praktičnih razvijeni su stupnjeviti modeli MRA koji se koriste uglavnom za određivanje najmanje, još uvijek informativne, skupine prediktora. Stupnjeviti modeli MRA posebno su pogodni za razvijanje ekonomičnih baterija prediktivnih insturumenata za selekcijske svrhe. Ovakvi modeli nisu pogodni za znanstvene analize jer se eliminacijom prediktora iz baterije, po kriterijima redundance, udaljava od Guttmanovog ideala asimptotske procjene valjane varijance kriterija. Metoda eliminacije prediktora počiva na statističkim proračunima značajnosti gubitka objašnjene varijance u slučaju eliminacije nekog od prediktora. I usmjerena je na izbacivanje iz prediktivnog skupa varijabli koje slabo koreliraju s kriterijem ili se u velikoj mjeri prekrivaju s drugim prediktorima u prognozi kriterija.

19 Stupnjevita MRA 19 Postupci stupnjevite MRA izvode se ponovnim proračunavanjem za svaku konfiguraciju prediktora, a organizirani su u dvije dominantne strategije: Unazad (backward) u kojoj se kreće sa svim prediktorima, pa se u susljednim stupnjevima odbacuju neinforativni preiktori sve dok ne narušavaju značajno početnu veličinu R 2. Unaprijed (forward) u kojoj se prediktori dodaju jedan po jedan u sve dok se ne uoči da dodavanjem novih prediktora ne raste značajno R 2.

20 Singularnost matrice korelacija Izračun sustava množitelja počiva na ideji da sustav jednadžbi ima onoliko informacija koliko je jednadžbi. Ukoliko je u sustavu korištena varijabla koja je izvedena nekom matematičkom operacijom iz druge varijable, sustav jednadžbi ima manje informacija nego je potrebno za rješenje svih nepoznanica i rješenje nije moguće. U takovom slučaju obično se korelacijska matrica proglašava singularnom, tj. matricom koja nema inverza. Računanje rješenja množitelja preko inverza matrice R uobičajen je i najefikasniji način rješavanja sustava jednadžbi s nepoznanicama. 20

21 Pristrane veličine R 21 Ukoliko je broj entiteta na kojima je izvršeno mjerenje relativno malen, a broj prediktora velik moglo bi doći do iskrivljenja R koeficijenta. Wishart (1931) je pokazao da će i u slučajevima kada uopće ne postoje korelacije između prediktora i kriterija R 2 biti jednak izrazu k/(n-1). Dakle, ako je broj prediktora za jedan manji od broja entiteta moguće je izračunati takav set množitelja koji će maksimizirati korelaciju na osnovi množenja entiteta, a ne varijabli. Kako je pristranost moguća i kod nešto povoljnijih omjera broja entiteta i broja varijabli, Olkin i Pratt (1958) predlažu korekciju koja bi trebala dati nepristranu procjenu populacijske veličine R 2. Kako predložena korekcija ne može pokazati koji dio varijance prognoze nije valjan, kao bolje rješenje pokazala se strategija eliminacije viška prediktora.

22 Asimetričnost distribucije varijacije R 22 Koeficijent multiple korelacije može poprimiti samo pozitivne vrijednosti (negativna korelacija se automatski neutralizira upotrebom negativnih množitelja). Stoga fluktuacija R oko populacijske vrijednosti nije simetrična, te postoji tendencija precjenjivanja malih ili nultih vrijednosti R. Problem je posebno istaknut kod manjih uzoraka zbog veće margine pogreške uzorka. Usklađivanje R2 je ponudio Wherry (1931): Usklađivanje može proizvesti negativne vrijednosti R2, stoga Cohen i Cohen (1983) sugeriraju da se u takovj situaciji vrijednost R2 postavi na 0,0. Cattin (1980) predlaže opsežniju prilagodbu u slučaju velikog broja prodiktora i N od 60 ili manje.

23 Homoscedascitet Homoscedascitet je svojstvo linearne regresijske distribucije da u svim dijelovima korelacijskog oblaka postoji jednaka disperzija rezultata. Stoga je moguća prognoza u bilo kojem dijelu distribucije s jednakom pogreškom procjene. Pojava nejednakog varijabiliteta u različitim dijelovima distribucije (heteroscedasciteta) može značiti da je korelacija koja opisuje odnos dvije varijable posljedica nekog drugog odnosa. 23

24 Preduvjeti za računanje MRA 24 Prediktorske varijable moraju biti kvantitativne po karakteru, normalno distribuirane u idealnom mjerenju. Prediktorske varijable mogu biti dihotomne, ako se može pretpostaviti da je dihotomnost nastala kao posljedica mjernog postupka na izvorno normalno distribuiranom svojstvu. Kriterijska varijabla mora biti normalno distribuirana, kvantitativna varijabla neograničena u rasponu. Dihotomne varijable, kao i varijable s ograničenim brojem ishoda ne mogu se koristiti kao kriterijske varijable se podudarnost prognozirane i stvarne kriterijske varijable može ne podudarati zbog nemogućnosti realne varijable da iskaže ekstremne vrijednosti ili male pomake u mjerenom svojstvu.

25 Rezime Multipla regresijska analiza postupak je linearnog razlaganja neke izmjerene kriterijske varijable na varijabilitet koji se može objasniti drugim varijablama i na varijabilitet koji nije moguće objasniti. Multipla regresijska analiza bila je prvi postupak empirijske analize valjanosti na osnovi poznatih prediktora. Postupak ima i praktičnu vrijednost u vidu prognoze uspjeha u nekoj aktivnosti za veće skupine kandidata. Postupak MRA ima svojih manjkavosti zato što u njega nije moguće inkorporirati model nesavršenog mjerenja, već se za sva mjerenja podrazumijeva da su izvršena bez pogreške mjerenja. 25

26 Sugestije za razmišljanje zadatak 1 26 Izaberite veći broj prediktora i jedan kriterij, te provedite standardnu multiplu regresijsku analizu. Izaberite poduzorak iz prije analiziranog skupa koji ima dvostruko više entiteta nego je broj prediktora. Ponovo izračunajte R i usporedite ga s R izračunatim na punom skupu. Je li korekcija adjusted R2 točno procijenila R2? Proračunajte kakav bi bio korigirani R2 prema Olkinu i Pratt-u. Proračunajte Wishartovo očekivanje za dani skup varijabli uz pretpostavku da je korelacija između prediktora i kriterija jednaka nuli.

27 Sugestije za razmišljanje zadatak 2 27 Formirajte skup prediktora i odaberite kriterijsku varijablu. Prije analize proračunajte izvedenu varijablu koja je zbroj dva već postojeća prediktora. Napravite MRA sa skupom prediktora kojima je dodana izvedena varijabla. Odstranite jednu od komponenti izvedene varijable iz skupa prediktora, kako izgleda MRA u ovom slučaju. Usporedite b-množitelje sa množiteljima u analizi u kojoj nije bila izvedena varijabla. Provjerite kako bi izgledali koeficijenti da izbacite izvedenu varijablu iz skupa. Koliko se promijenio b- množitelj za varijablu koja je bila sastavnica izvedene varijable.

28 Reference 28 R.J. Harris (1975) A Primer of Multivariate Statistics. New York: Academic Press. B.G. Tabachnik, L.S. Fidel (2001) Using Multivariate Statistics. Needham Hights: The Pearson Education Co.