EduCards - Proširena stvarnost u učenju Sažetak Pravo na obrazovanje jedno je od temeljnih ljudskih prava, no unatoč tome samo 10% slijepih i slabovidnih osoba u SAD-u je pismeno. Slijedom te činjenice stvoreno je rješenje koje navedenoj populaciji može olakšati proces učenja slova. Interaktivna računalna aplikacija koja kroz igre i vježbe, pomoću web kamere, provjerava slova koja korisnik pokazuje. Prednost takvog pristupa učenju je što je zanimljiv i privlačan djeci, a ujedno pristupačan slijepim, slabovidnim i gluhim osobama. Aplikacija je osmišljena da kroz univerzalan dizajn pomaže djeci u integraciji učiti slova, brojeve, brajevo pismo i znakovni jezik. Također važan aspekt aplikacije je pristupačna cijena izrade svih potrebnih dijelova za korištenje iste. Uvod Jedno od osnovnih ljudskih prava je pravo na obrazovanje. Kao takvo, uvršteno je i u Opću deklaraciju o ljudskim pravima koja je usvojena na sjednici Ujedinjenih naroda 1948. godine. Jedan od osnovnih preduvjeta za obrazovanje svakako je pismenost. U današnje vrijeme ne začuđuje podatak da 60% država svijeta ima stopu pismenosti veću od 95%. Unatoč tome postoje skupine kod kojih su stope pismenosti značajno niže. Jednu takvu skupinu u SAD-u u kojoj je stopa pismenosti 10% čine slijepi i slabovidni pojedinci, kojih u Sjedinjenim Američkim Državama ima oko 1,3 milijuna. Prije samo pola stoljeća stvari su bile drugačije. Tada je između 50% i 60% djece u SAD-u učilo brailleovo pismo. Naspram toga, danas samo 10% djece uči čitati brailleovo pismo. Jedan od razloga ovih negativnih trendova je generalan negativni stav koji vlada prema ovom pismu. Uvriježeno je mišljenje da je teško za savladati, a pored toga i neefikasno, unatoč činjenici da ukoliko se nauči u ranijoj životnoj dobi brzina čitanja može doseći i do 200 riječi po minuti, što je velika brojka i za standardni tiskani tekst. Problem također nastaje i kod osoba koje su u mogućnosti podučavati brailleovo pismo, kao i u samim metodama podučavanja. Slijedeći problem je tehnologija, jer su razvojem računala programi za čitanje teksta postali razvijeniji i dostupniji, pa se doživljavaju adekvatnom alternativom čitanju. Da to rješenje ne funkcionira najbolje govori činjenica da je oko 70% slijepih osoba u SADu nezaposleno. Nasuprot tome, stopa nezaposlenosti kod slijepih ljudi koji čitaju brailleovo pismo iznosi 44%, dok stopa nezaposlenosti kod slabovidnih ljudi koji koriste povećala i uvećane tekstove prilikom čitanja iznosi 77%. Osim toga, oko 90%
učitelja koji podučavaju slijepe i slabovidne osobe smatra da tehnologija treba pomoći prilikom korištenja braileovog pisma, a ne zamijeniti ga. [1] Proširena stvarnost jedan od načina na koji tehnologija može pomoći. U tom počuvanju. jer za razliku od virtualne stvarnosti koja u potpunosti zamjenjuje vanjski svijet, proširena stvarnost nam pomaže da taj svijet percipiramo iako to fizički nismo u mogućnosti učiniti. Ova brzo rastuća grana računarstva kroz različite izume koje osoba može nositi kao dio odjeće omogućava djelomičnu percepciju prostora, dopunjavajući tako percepciju te iste osobe. Takvi uređaji nam mogu dati povratnu informaciju o položaju u prostoru ili o predmetima koji se nalaze oko nas. Proširena stvarnost tako slijepim i slabovidnim osobama pruža mogućnosti koje bez inače ne bi imali. [4] Arhitektura aplikativnog rješenja Kao potencijalno rješenje opisanog problema nameće se računalo, no ne kao zamjena brailleovom pismu, već kao neizostavni dio novog pristupa učenja istoga. Takvo rješenje ima veliki potencijal ako se uzme u obzir da djeca počinju koristiti računalo u sve ranijoj dobi. Na ovaj bi način kroz igru i zabavu mogli i naučiti nešto novo. Zahvaljujući univerzalnom dizajnu aplikacije, ona bi bila jednako primjenjiva za svu djecu, pa tako i za onu slijepu, slabovidnu ili gluhu. Aplikacija uz pomoć unaprijed dizajniranih kartica komunicira s korisnikom te mu kroz razne igre i zadatke pomaže u učenju slova i brojki. Svaka kartica na sebi ima četiri važna elementa: tiskano latinično slovo, slovo na brailleovom pismu u tiskanom obliku, kao i otisnuto na brailleovom pisaču, prikaz znaka na znakovnom jeziku i glyph. Prva tri elementa koriste se isključivo za interakciju s korisnikom, dok se glyph koristi u svrhu prepoznavanja od strane računala. Glyphvi su simboli jedinstveni za svako slovo, odnosno karticu, te prepoznavanjem njih računalo zna o kojoj se kartici točno radi. U ovom slučaju riječ je o crno bijelim kvadratima koji mogu imati različite kombinacije boja polja. Prilikom podizanja kartice ispred računala, web kamera, koja dolazi kao standardna oprema prijenosnih računala, dobiva sliku određenoga glypha, što se kasnije u aplikaciji može koristiti za daljnje aktivnosti.
Dizajn kartica Slika 1 jedan od mogućih dizajnova kartice. Na njemu vidimo sve prethodno navedene dijelove. Osim ovog dizajna, u obzir je uzet i dizajn obostrano ispisanih kartica. U tom slučaju na jednoj strani može se nalaziti kompletan vizualan sadržaj, dok se na drugoj strani nalazi glyph. Sam izgled glyphova nije od velike važnosti pošto se oni koriste u proširenoj stvarnosti. Osim toga što će računalo prepoznavati glyphove te će na taj način znati koje je slovo pokazano, ono će također prikazivati neku drugu sliku umjesto slike glypha na zaslonu. Jedini limitirajući faktor ovog pristupa je veličina kartice koja je Slika 1. Primjer izgleda kartice ograničena minimalnom veličinom glypha, no dosadašnjim testiranjima utvrđeno je da kartice veličine A6 formata normalno rade prilikom prepoznavanja, te da nisu prevelike za korištenje. Navedena veličina mogla bi se dodatno smanjiti ispisivanjem glypha na pozadinu kartice ukoliko bi se ukazala potreba. Osim predloženog, kartice mogu imati i drugačije oblike, te se mogu koristiti u različite svrhe. Jedna od takvih mogućnosti je izrada računalne igrice u kojoj položaj kartice pred kamerom određuje kretanje glavnog lika. Za potrebe toga moguće je napraviti karticu u obliku glavnog lika, a radi praktičnijeg rukovanja istom moguće ju je pričvrstiti i na držač (štapić) za koji bi se držala. Još jedan način uporabe kartica s glyphovima je upravljanje kursorom miša pomoću kartica, odnosno njihovog položaja pred kamerom. Kretanje kursora realizira se pomoću trenutne lokacije kartice, a klik miša se ostvaruje zadržavanjem kartice na određenom mjestu u definiranom vremenskom intervalu. Ovakva kartica može se izraditi u obliku dlana te se njezinim učvršćivanjem na dlan (elastičnom gumicom) aplikacijom može jednostavno upravljati mahanjem ruke. Važan aspekt ovako definiranih kartica je jednostavnost i pristupačna cijena izrade istih, zahvaljujući čemu bi bile lako dostupne velikom broju ljudi.
Pronalaženje potencijalnih glyphova Pronalaženje potencijalnih glyphova, te daljnje prepoznavanje istih jedan je od složenijih procesa ove aplikacije. Prilikom obrade slike s kamere (Slika 2.), ona se prvo pretvara u 8 bitnu crno bijelu sliku (Slika 3.Error! Reference source not found.). Na taj se način štedi memorija i smanjuje daljnje vrijeme izvođenja, a zbog same prirode glyphova boje su irelevantne, a ovaj oblik slike ne ometa daljnju obradu. Sljedeći korak analize slike sastoji se od prepoznavanja rubova predmeta na slici. To se postiže uspoređivanjem boja u susjednim pikselima. Ukoliko se ustanovi da se neka dva susjedna piksela značajno razlikuju, vjerojatno se nalaze na rubu predmeta. Pritom nije bitno ukoliko se neki predmeti ne označe dobro, što se vidi i na Slici 4. gdje su označene i crte na rukavu. Bitno je jedino da se glyphovi dobro označe što se lako postiže zbog velikog kontrasta kod dizajniranja istih. Nakon što se dobiju rubovi predmeta slika se pretvbara u isključivo crno-bijelu bez međunijansi sive (Slika 5.) kako bi se dalje lakše obrađivala. To se postiže jednostavnom usporedbom sivih nijansi u svakom pikselu te se svi pikseli koji su svjetliji od određene konstante tretiraju kao bijeli, a one koji su tamniji tretiraju kao crne. Nakon toga, određuju se koordinate svakog od dobivenih likova. Budući da su glyphovi kvadratnog oblika traže se isključivo rubovi tih kvadrata. Zahvaljujući tome se može likove definirati kao jednu punu bijelu crtu na slici. Na Slici 6. vide se označeni svi pronađeni likovi, svaki u svojoj boji. Također se može vidjeti i kako su neki predmeti, poput rukava, označeni kao mnogo različitih oblika, no to nije bitno jer su rubovi glyphova uspješno prepoznati kao jedan lik. U posljednjem koraku pronalaženja glyphova potrebno je prethodno dobivene likove analizirati i odabrati samo one kvadratnog oblika. Rezultate toga vidimo na Slici 7. na kojoj su jasno označena sva tri glypha koja se na njoj nalaze. Da se slučajno dogodi da je nakon ovog koraka prepoznat neki predmet koji u stvarnosti nije glyph kojeg koristimo u aplikaciji ne bi došlo do poteškoća, jer takvi glyphovi jednostavno ne bi prošli kasnije prepoznavanje, odnosno ne bi bili pronađeni u bazi korištenih glyphova. [2]
Slika 2. Početna slika Slika 3. Crno bijela slika Slika 4. Rubovi predmeta Slika 5. Crno-bijeli rubovi Slika 6. Prepoznati likovi Slika 7. Pronađeni glyphovi Prepoznavanje glyphova Nakon što se na na slici pronađu svi potencijalni glyphovi i ekstrahira ih se u zasebne slike potrebno je još analizirati te slike kako bi se ustvrdilo koje je boje pojedino polje. U kodu je definiran unaprijed određen broj kvadrata od kojega se glyph sastoji, što je u primjeru na Slici 8. 5x5 kvadrata. Zahvaljujući tome slika se može podijeliti na 25 manjih kvadrata (tamnije sive crte na slici) kojima treba odrediti boju. Na slici se vidi
kako rubovi nisu savršeni i da u kvadratima koji bi trebali biti jedne boje postoje i dijelovi druge boje ukoliko se gleda u blizini rubova. Kako bi se to izbjeglo, prilikom određivanja boje kvadrata zanemaruje se određen dio uz rub te se određuje isključivo boja unutarnjeg dijela kvadrata (označeno svjetlo sivim crtama) kod kojega su ovakve greške manje vjerojatne. Nakon prebrojavanja bijelih i broja crnih piksela Slika 8. Podjela glypha na kvadrate može se utvrditi je li određeni kvadrat crni ili bijeli, ovisno o tome koje boje ima više.[2] Mogućnosti primjene Kao što je navedeno u uvodu, vrlo mali broj prosvjetnih djelatnika je kvalificiran za rad sa slijepom i slabovidnom djecom, a rad sa takvom djecom nakon usvajanja principa rada ne zahtjeva potpunu pozornost učitelja. Sustav koji bi koristio opisano rješenje omogućio bi učiteljima da kontinuirano prate rad takve djece, a ujedno bi mogli djeci zadavati zadatke za samostalno rješavanje. Takav način omoćuvava paralelan rad s više djece i pruža mogućnost da se svako posveti dovoljno pažnje, bez zaostataka s nastavnim programom. Ovakav koncept bi također omogućio slijepoj i slabovidnoj djeci da jednostavno prolaze nastavne vježbe kod kuće, jer bi roditelji bi mogli pratiti jednostavne upute postavljene od strane učitelja i na taj način svojoj djeci omogućiti dodatnu edukaciju. Zaključak i preporuke S obzirom na sve navedeno, jasno je vidljivo kako je edukacija slijepih osoba veliki problem. Ovakva aplikacija doprinijela bi educiranju slijepih i slabovidnih pojedinaca, a ujedno bi omogućila da se se brailleovo pismo približil i ostalim učenicima. Također, na taj bi način slijepi i slabovidni učenici bili bolje integrirani u svoju okolinu, pa samim time i bili motiviraniji u daljnjem radu. Zahvaljujući univerzalnom dizajnu aplikacije, njezina potencijalna primjena je mnogo veća nego li je opisano u ovom slučaju. Kao što se pomoću nje mogu učiti slova,
može se ju se prilagoditi da se pomoću nje uče osnovne računske operacije ili neko drugo gradivo. Mogućnosti i načini upotrebe glyphova također su neograničeni. Spomenuto je da se mogu koristiti za kretanje ekranom, upravljanje mišem i slično, no to nije nužno sve, jer zahvaljujući njima može se pratiti nečije pokrete te to iskoristiti na neki potpuno drugi način. Popis literature 1. The Braille Literacy Crisis in America [online], National Federation of the Blind [pregledano 4.6.2015.]. Dostupno na <https://nfb.org/images/nfb/documents/pdf/braille_literacy_report_web.pdf> 2. Glyphs' recognition [online], Andrew Kirillow [pregledano 4.6.2015.]. Dostupno na <http://www.aforgenet.com/articles/glyph_recognition/> 3. A New Model of Education for Blind and Low Vision Students [online], Dr. Denise M. Robinson, TVI, PhD [pregledano 5.6.2015.]. Dostupno na <https://nfb.org/images/nfb/publications/fr/fr28/fr2/fr280203.htm> 1. Augmented Reality Applications: Helping the Blind to See [online], Intel [pregledano 5.6.2015.], Dostupno na <http://iq.intel.com/augmented-realitycan-help-blind-see/>