Metode opisivanja skupa podataka

Transcription

1 Statistika, Prehrambeno-tehnološki fakultet 1 Metode opisivanja skupa podataka Metode opisivanja kvalitativnih podataka Kvalitativne varijable primaju vrijednosti koje su razvrstane u kategorije. Mjere kojima opisujemo zastupljenost jedne kategorije u uzorku su frekvencija kategorije i relativna frekvencija kategorije. Frekvencija kategorije je broj izmjerenih vrijednosti varijable koje pripadaju danoj kategoriji. Ako s i označimo kategoriju od interesa, njenu frekvenciju označavamo s f i. Relativna frekvencija kategorije je broj izmjerenih vrijednosti varijable koje pripadaju danoj kategoriji podijeljen s ukupnim brojem izmjerenih vrijednosti za ispitivanu varijablu. Ako s n označimo broj izmjerenih vrijednosti za ispitivanu varijablu, relativnu frekvenciju i-te kategorije računamo kao f i n. Primjer 1: hormon.sta U bazi podataka hormon.sta odredite frekvencije i relativne frekvencije svih kategorija za varijable koje smatrate kvalitativnima. Rješenje: Statistics Basic Statistics/Tables Frequency Tables Choose variables Summary Primjer 2: nalaz.sta U bazi podataka nalaz.sta odredite frekvencije i relativne frekvencije svih kategorija za varijable koje smatrate kvalitativnima. Grafički način prikazivanja frekvencija i relativnih frekvencija kategorija kvalitativnih varijabli može biti: histogram frekvencija histogram relativnih frekvencija kružni dijagram (pita, pie chart)

2 Statistika, Prehrambeno-tehnološki fakultet 2 Primjer 3: hormon.sta Za podatke iz baze hormon.sta nacrtajte histogram frekvencija i relativnih frekvencija te kružni dijagram svih kategorija za varijable koje smatrate kvalitativnima. Rješenje: Histogram frekvencija: Statistics Basic Statistics/Tables Frequency Tables Choose variables Histograms Histogram relativnih frekvencija: Graphs Histograms Choose variables Advanced Pod "Y axis" uključiti "%" OK Kružni dijagram (pita): Graphs 2D Graphs Pie Charts (opcija Pie Chart - Counts) Choose variables Advanced Pie Legend - Text and Percent OK Primjer 4: nalaz.sta Za podatke iz baze nalaz.sta nacrtajte histogram frekvencija i relativnih frekvencija svih kategorija za varijable koje smatrate kvalitativnima. Primjer 5: zdravlje.sta Za podatke kvalitativnog tipa sadržane u bazi podataka zdravlje.sta napravite sljedeće grafičke prikaze i analize: nacrtajte histogram frekvencija i relativnih frekvencija za podatke sadržane u varijablama spol i zdravlje, nacrtajte histogram frekvencija i relativnih frekvencija za podatke sadržane u varijabli zdravlje posebno za kategoriju ispitanika ženskog spola, a posebno za kategoriju ispitanika muškog spola, nacrtajte zajednički histogram frekvencija i relativnih frekvencija svih podataka sadržanih u varijabli zdravlje kategoriziran prema spolu ispitanika, nacrtajte kružni dijagram relativnih frekvencija za podatke sadržane u varijablama spol i zdravlje, nacrtajte kružni dijagram relativnih frekvencija za podatke sadržane u varijabli zdravlje posebno za kategoriju ispitanika ženskog spola, a posebno za kategoriju ispitanika muškog spola.

3 Statistika, Prehrambeno-tehnološki fakultet 3 Primjer 6: TV-program.sta Za podatke kvalitativnog tipa sadržane u bazi podataka TV-program.sta napravite sljedeće grafičke prikaze i analize: nacrtajte histogram frekvencija i relativnih frekvencija za podatke sadržane u varijablama spol i HRT1, nacrtajte histogram frekvencija i relativnih frekvencija za podatke sadržane u varijabli HRT1 posebno za kategoriju ispitanika ženskog spola, a posebno za kategoriju ispitanika muškog spola, nacrtajte zajednički histogram frekvencija i relativnih frekvencija svih podataka sadržanih u varijabli HRT1 kategoriziran prema spolu ispitanika, nacrtajte kružni dijagram relativnih frekvencija za podatke sadržane u varijablama spol i NovaTV, nacrtajte kružni dijagram relativnih frekvencija za podatke sadržane u varijabli NovaTV posebno za kategoriju ispitanika ženskog spola, a posebno za kategoriju ispitanika muškog spola.

4 Statistika, Prehrambeno-tehnološki fakultet 4 Metode opisivanja kvantitativnih podataka Kvantitativni podaci mogu ili biti razvrstani u kategorije ili ne. Primjer 7: hormon.sta anketa.sta Proučite kvantitativne podatke u bazama hormon.sta i anketa.sta. Koje varijable kvantitativnog karaktera su mjerene kao kategorijalne, a koje ne? Rješenje: hormon.sta - niti jedna kvantitativna varijabla nije kategorizirana anketa.sta - kategorijalne varijable su: Br-kol, Položeno, Prisutnost- P, Prisutnost-V, Redovitost-P, Redovitost-V. Ako su kvantitativne varijable dane kategorijalno, možemo u opisu mjerenih vrijednosti za te varijable ponovo primijeniti frekvencije (odnosno relativne frekvencije) pojedine kategorije i histograme. Primjer 8: hormon.sta Odredite tablicu frekvencija i histogram za jednu od varijabli iz baze anketa.sta po izboru. Rješenje: Tablica frekvencija: Statistics Basic Statistics/Tables Frequency Tables Choose variables Summary Histogram frekvencija: Statistics Basic Statistics/Tables Frequency Tables Choose variables Histograms Ako numeričke varijable nisu dane kategorijalno, za prikazivanje skupa izmjerenih vrijednosti neće nam puno pomoći frekvencije i histogrami rađeni na osnovu svake pojedine izmjerene vrijednosti. Primjer 9: hormon.sta Zašto? Otvorite bazu podataka hormon.sta i odredite tablicu frekvencija i histogram neke od kvantitativnih varijabli tako da za kategorije uzmete sve međusobno različite izmjerene vrijednosti. Rješenje: Zbog prevelikog broja različitih izmjerenih vrijednosti broj kategorija je prevelik i rezultat analize najčešće ne daje željene informacije. Zato pribjegavamo drugim metodama kategoriziranja kvantitativnih varijabli.

5 Statistika, Prehrambeno-tehnološki fakultet 5 Postupak razvrstavanja kvantitativnih podataka u kategorije Najčešće skup svih mjerenih vrijednosti (ili nešto veći skup koji sadrži skup svih mjerenih vrijednosti ali je jednostavniji za podijeliti na jednake dijelove) podijelimo na disjunktne intervale jednake duljine. Nije nužno da intervali budu jednake duljine. Nema striktnog pravila po kojemu bi trebalo definirati intervale niti njihov broj, ali je jasno da ih ne smije biti niti previše niti premalo da bi cijeli postupak imao smisla i služio svrsi (a to je u ovom času prikazivanje skupa mjerenih vrijednosti). Primjer 10: hormon.sta Iskoristite podatke iz baze hormon.sta. Mijenjajte broj intervala na koji dijelite skup vrijednosti. Proučavajte što se događa i pribilježite vaš zaključak. Numeričke karakteristike skupa kvantitativnih podataka Karakteristika kvantitativnih podataka je da među njima postoji uređaj. Na osnovu te činjenice možemo definirati numeričke karakteristike koje imaju logičnu interpretaciju i mogu se iskoristiti u cilju prikazivanja skupa mjerenih vrijednosti. Numeričke karakteristike za mjerenje centralne tendencije Aritmetička sredina Aritmetička sredina niza izmjerenih vrijednosti x 1, x 2,..., x n definirana je izrazom: x = 1 n x i n Aritmetička sredina je numerička karakteristika koja spada u mjere centralne tendencije, tj. mjeri "srednju vrijednost" podataka. medijan Da bismo razumjeli i odredili medijan potrebno je prvo poredati izmjerene vrijednosti po veličini (u rastućem ili padajućem poretku). medijan je također jedna mjera centralne tendencije kao i aritmetička sredina, a ima značenje vrijednosti koja se nalazi na sredinjoj poziciji niza podataka kada je on uređen po veličini, tj. baram pola podataka je manje ili jednako medijanu, a istovremeno je barem pola podataka veće ili jednako od medijana. i=1

6 Statistika, Prehrambeno-tehnološki fakultet 6 Način njegovog izračuna ovisi o tome da li imamo paran ili neparan broj izmjerenih vrijednosti za varijablu. Ukoliko imamo neparan broj izmjerenih vrijednosti, onda postoji vrijednost koja je na srednjoj poziciji u uređenom skupu, pa nju definiramo kao median. Primjer 11: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3. Prvo ove vrijednosti poredamo po veličini: 1,1,2,2,2,2,3,5,5,6,7. Obzirom da ih ima sve skupa 11, vrijednost medijana je vrijednost koja je na šestoj poziciji u tako dobivenom nizu, tj. broj 2. Ukoliko imamo paran broj izmjerenih vrijednosti onda ne postoji podatak koji je na srednjoj poziciji jer srednju poziciju "zauzimaju" dva podatka. Median se tada definira kao polovina između ta dva podatka. Primjer 12: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3,3. Mod Prvo ove vrijednosti poredamo po veličini: 1,1,2,2,2,2,3,3,5,5,6,7. Obzirom da ima 12 podataka, "sredinu" čine 6. i 7. podatak, tj. vrijednosti 2 i 3. Za medijan ovog skupa podataka uzimamo sredinu ta dva broja, tj. medijan je (2 + 3)/2 = 2.5. Mod je vrijednost iz niza izmjerenih vrijednosti kojoj pripada najveća frekvencija, tj. izmjerena je najviše puta. Mod ne mora biti jedinstven. Primjer 13: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3,3. Vidimo da je vrijednost 2 izmjerena najviše puta (4 puta) pa je 2 mod ovog skupa podataka. Numeričke karakteristike za mjerenje raspršenosti Raspon Raspon je mjera koja pokazuje koliko su podaci raspršeni, tj. to je jedna od mjera raspršenja podataka. Definiran je kao razlika između najveće i najmanje vrijednosti u skupu. Primjer 14: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3,3. Vidimo da je vrijednost 1 najmanja, a 7 najveća izmjerena vrijednost. Raspon je 7 1 = 6.

7 Statistika, Prehrambeno-tehnološki fakultet 7 Varijanca i standardna devijacija Varijanca i standardna devijacija također spadaju u grupu mjera raspršenja podataka. One karakteriziraju raspršenje podataka oko aritmetičke sredine. Varijanca niza izmjerenih vrijednosti x 1, x 2,..., x n definirana je izrazom: s 2 = 1 n (x i x) 2 n i=1 Standardna devijacija je kvadratni korijen varijance, tj. s = s 2 = 1 n (x i x) n 2. Kutijasti dijagram Kutijastim dijagramom (box plot) grafički prikazujemo numeričke karakteristike skupa izmjerenih vrijednosti kvantitativne varijable. Najčešći i najkorisniji su kutijasti dijagrami na osnovi medijana i kvartila (opisna definicija: kvartili su vrijednosti koje skup podataka dijele na četiri dijela: četvrtina podataka je manja ili jednaka donjem kvartilu, a tri četvrtine podataka veće ili jednako od donjeg kvartila, polovina podataka je manja ili jednaka medijanu, a polovina podataka veća ili jednaka od medijana, tri četvrtine podataka je manje ili jednako gornjem kvartilu, a četvrtina podataka veća ili jednaka gornjem kvartilu. Primjer 15: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3. Prvo ove vrijednosti poredamo po veličini: 1,1,2,2,2,2,3,5,5,6,7. i=1 Razlikujemo donji kvartil, medijan i gornji kvartil: Donji kvartil - 2; Medijan - 2; Gornji kvartil - 5. Primjer 16: Neka su izmjerene vrijednosti jedne varijable sljedeće: 1,2,5,6,5,1,2,7,2,2,3,3. Prvo ove vrijednosti poredamo po veličini: 1,1,2,2,2,2,3,3,5,5,6,7. Donji kvartil - 2;

8 Statistika, Prehrambeno-tehnološki fakultet 8 Medijan - 2.5; Gornji kvartil - 5. Primjer 17: anketa.sta Iskoristite bazu podataka anketa.sta i odredite numeričke karakteristike nekoliko varijabli po Vašem izboru. Također prikažite te vrijednosti kutijastim dijagramom te ga proanalizirajte. Rješenje: Deskriptivna statistika: Statistics Basic Statistics/Tables Descriptive Statistics Choose variables Advanced (uključiti željene numeričke karakteristike) Summary Kutijasti dijagram: Statistics Basic Statistics/Tables Descriptive Statistics Choose variables Box & whisker Plot for all variables Detekcija stršećih vrijednosti 1 Podatak koji je značajno veći ili manji u odnosu na druge podatke vezane uz isto slučajno obilježje (u kontekstu baze podataka govorimo o podatku koji je značajno veći ili manji od ostalih podataka u varijabli koja predstavlja slučajno obilježje) nazivamo stršeći podatak ili outlier. Pojavljivanje stršećih podataka najčešće je vezano uz jedan od sljedećih razloga: podatak je ili netočno izmjeren ili krivo unesen u bazu podataka, podatak dolazi iz druge populacije (ne iz populacije koju promatramo u kontekstu problema kojeg proučavamo), podatak je točno izmjeren i unesen u bazu, ali predstavlja rijetku pojavu u populaciji. Vrlo korisna grafička metoda za detekciju stršećih podataka je kutijasti dijagram na bazi medijana - u programskom paketu Statistica kutijasti dijagrami osjetljivi na stršeće vrijednosti crtaju se odabirom opcije Means with Error Plots iz izbornika Graphs.

9 Statistika, Prehrambeno-tehnološki fakultet 9 Primjer 18: zdravlje.sta zdravlje-sv.sta a) Nacrtajte i proanalizirajte kutijasti dijagram na bazi medijana za podatke sadržane u varijabli godine u bazi podataka zdravlje.sta. b) Među podacima u varijabli godine u bazi podataka zdravlje.sta nalazi se jedna stršeća vrijednost. Pokušajte ju identificirati crtanjem kutijastog dijagrama osjetljivog i neosjetljivog na stršeće vrijednosti. Što se događa s numeričkim karakteristikama podataka u varijabli godine nakon zanemarivanja identificirane stršeće vrijednosti. Primjer 19: glukoza-sv.sta Napravite deskriptivnu statistiku podataka sadržanih u varijabli koncentracija glukoze. Grafičkom metodom odredite stršeću vrijednost u ovom skupu podataka. Možete li se složiti s tvrdnjom da je identificirani podatak zaista stršeća vrijednost ili ipak sumnjate u dobiveni rezultat? Obrazložite svoj odgovor. Grafičkom metodom dentificirajte stršeće vrijednosti među podacima u varijabli dob osobe. Što se događa s numeričkim karakteristikama podataka nakon zanemarivanja identificirane stršeće vrijednosti.

10 Statistika, Prehrambeno-tehnološki fakultet 10 Empirijska distribucija slučajnog obilježja Proučavamo slučajno obilježje koje je u bazi podataka predstavljeno podacima organiziranima u jednu varijablu. Zanima nas raspodjela (distribucija) kategorija koje u toj varijabli mogu biti eksplicitne (u slučaju kvalitativne ili kategorijalne kvantitativne varijable) ili je nekategoriziranu kvantitativnu varijablu potrebno kategorizirati prema nekom prikladnom kriteriju. Empirijska distribucija slučajnog obilježja koje je u bazi podataka predstavljeno varijablom sa konačno mnogo kategorija {x 1, x 2,..., x k } zapisujemo u obliku tablice: ( ) x 1 x 2... x k X = n 1 n n 2 n k n ; n 1 + n n k = n. n... Pregledan grafički način za prikazivanje empirijske distribucije je histogram relativnih frekvencija. Primjer 20: U prodajnu ponudu jedne trgovine uveden je novi proizvod. Nakon nekog vremena vlasnika zanima sviđa li se kupcima taj proizvod ili ne, pa je provedeno ispitivanje slučajnog uzorka kupaca. Pri tome je provedeno sljedeće kodiranje odgovora: ne sviđa mi se: 1 ; niti mi se sviđa, niti mi se ne sviđa: 0 ; sviđa mi se: 1. Bilježeći odgovore na ovaj način, ispitivanjem 50 kupaca dobiven je niz nula, jedinica i minus jedinica koji preglednije bilježimo pomoću frekvencija: x i n i Sastavite empirijsku distribuciju i prikažite je histogramom. X = ( ) Primjer 21: carsold.sta Promatramo broj prodanih automobila dnevno jednog auto salona za proteklih 100 dana. Podaci su dani u bazi carsold.sta. Analizom tih podataka mogu se donijeti izvjesni zaključi o budućoj prodaji što će pomoći managerima u donošenju poslovnih odluka.

11 Statistika, Prehrambeno-tehnološki fakultet 11 Nacrtajte histogram frekvencija i relativnih frekvencija te kružni dijagram. Odredite empirijsku distribuciju. ( ) X = Uz pretpostavku da empirijska distribucija u potpunosti odgovara stvarnoj distribuciji prodaje odgovorite na sljedeća pitanja: Koliko iznosi prosječna dnevna prodaja, a koliko je maksimalno odsupanje od prosjeka? (Rješenje: 13.26, 4.26) Procijenite vjerojatnost da će ova auto kuća prodati više od 13 automobila dnevno? (Rješenje: 0.47) Procijenite vjerojatnost da bude prodano između 9 i 12 automobila dnevno? (Rješenje: 0.23) Primjer 22: training.sta Broj treninga koje treba provesti prije no što studenti savladaju jedan složeni kompjutorski program kreće se u rasponu od jednog do pet. Proizvođači programa odlučili su prikupiti podatke koji pokazuju koliko je treninga bilo potrebno svakom pojedinom ispitaniku da bi savladao program. Podaci su dani u bazi training.sta. Odredite empirijsku distribuciju broja provedenih treninga do savladavanja programa. ( ) X = Koliko je prosječan broj provedenih treninga? (Rješenje: 2.88) Nacrtajte histogram frekvencija i relativnih frekvencija te kružni dijagram. Ako proizvođači tog programa žele osigurati dabarem 76% studenata savlada program, koji je minimalan broj treninga koji trebaju provesti? (Rješenje: 3)

12 Statistika, Prehrambeno-tehnološki fakultet 12 Primjer 23: coffee.sta Broj gostiju koji dnevno dolaze na kavu u "Sunrise Coffee Shop" nalazi se u bazi podataka coffee.sta. Odredite empirijsku distribuciju i prikažite je histogramom. ( ) X = Ako vjerojatnost da će dnevno biti najmanje 56 gostiju iznosi više od 0.5 vlasnik kafića planira zaposliti još jednog konobara. Ako odluči vjerovati da je empirijska distribucija broja gostiju iz navedenog ispitivanja identična stvarnoj distribuciji broja gostiju, treba li mu još jedan konobar ili ne? (Rješenje: treba, vjerojatnost je 0.53) Kolika je u tom slučaju vjerojatnost da će kafić posjetiti izmedu 50 i 54 osoba dnevno? (Rješenje: ) Primjer 24: prihod.sta Raspolažemo podacima o prihodu od prodaje za 153 poduzeća u Hrvatskoj. Nacrtajte histogram i izračunajte očekivanje i standardnu devijaciju empirijske distribucije. (Rješenje: , ) Koji je najčešći prijavljeni prihod za ispitana poduzeća? ) (Rješenje: Kolika je procijenjena vjerojatnost da će prihod biti i veći, a kolika da će prihod biti izmedu i eura? (Rješenje: , ) Primjer 25: mba.sta Vijeće jednog MBA studija ima zadatak odrediti graničnu vrijednost za primanje studenata na MBA studij koristeći GMAT test (Graduate Management Admission Test). Vijeće predlaže da se odabere takva granična vrijednost koja će odobriti upis za 25% prijavljenih studenata sa najboljim rezultatima na GMAT testu. Koja bi to vrijednost bila? (Rješenje: 523) Jedan od profesora predaže da se primi 1/3 studenata. Koliko bi u tom slučaju trebala iznosti granična vrijednost? (Rješenje: 506) Nacrtajte histogram frekvencija i relativnih frekvencija te kružni dijagram.

13 Statistika, Prehrambeno-tehnološki fakultet 13 Primjer 26: dob-poduz.sta Raspolažemo podacima o dobi 200 poduzetnika u Hrvatskoj. Zanima nas prosječna starost poduzetnika kao i standardna devijacija. (Rješenje: , ). Također, raspolažemo informacijom da je u SAD-u 50% poduzetnika mlađe od 35 godina, pa nas zanima kakva je situacija u Hrvatskoj. (Rješenje: 0.19) Kolika je proporcija poduzetnika koji imaju između 46 i 60 godina? (Rješenje: 0.275) Nacrtajte histogram frekvencija i relativnih frekvencija te kružni dijagram. Primjer 27: Za podatke iz baza carsold.sta, training.sta, coffee.sta, prihod.sta, mba.sta, dob-poduz.sta odredite: broj podataka, aritmetičku sredinu, standardnu devijaciju, maksimum, minimum, mod, medijan, te donji i gornji kvartil. Valid N Mean medijan Mod Min Max LQ UQ StDev carsold.sta training.sta coffee.sta prihod.sta mba.sta multiple dob-poduz.sta multiple