ANALIZA METODA ZA PREPOZNAVANJE TEKSTA NA SLIKAMA IZ PRIRODNOG OKRUŽENJA UPOTREBOM PAKETA MATLAB

Transcription

1 ANALIZA METODA ZA PREPOZNAVANJE TEKSTA NA SLIKAMA IZ PRIRODNOG OKRUŽENJA UPOTREBOM PAKETA MATLAB ANALYSIS OF METHODS FOR TEXT RECOGNITION IN IMAGES OF THE NATURAL ENVIRONMENT USING MATLAB Nemanja Radosavljević, Računarski fakultet, Đorđe Babić, Računarski fakultet, Apstrakt: Predmet ovog rada je ispitivanje algoritama za detekciju teksta na slikama. Detekcija teksta na slikama povlači sa sobom određeni problem jer regioni u kojima se tekst nalazi na slici koju detektujemo nisu uvek na istoj poziciji i nisu predvidivi. U ovom radu koristiće se metod MSER (Maximally Stable Extremal Regions) za detekciju tekstualnih regiona i biće prikazani različiti modeli pretprocesuiranja slika da bi se tekst preciznije detektovao. Kao alat za testiranje koristiće se funkcije i algoritmi koji su nam dostupni kroz softverski paket MATLAB. Objekti i slike na kojima su obavljena testiranja uzeti su iz realnog okruženja, a fotografisani su mobilnim telefonom srednje klase. Ključne reči: OCR, detekcija teksta, slike prirodnog okruženja, detekcija teksta u slikama Abstract: In this paper, we study text recognition from images. Detection of text within images entails a problem because the regions bearing the text within the image we are detecting are not always in the same position and deviate from expectations. This paper describes the usage of MSER (Maximally Stable External Regions) for detecting textual regions and presents different models of image pre-processing in order to detect text as accurately as possible. As testing tool we use functions and algorithms available in MATLAB software. Objects and images that are being tested are from the real environment, photographed using a mobile phone of middle-class performance. Keywords: OCR, text detection, images of the natural environment, text recognition in images. 1.UVOD Automatsko prepoznavanje teksta na slici iz prirodnog okruženja jedan je od najtežih problema na koji se nailazi u ovoj oblasti. Algoritmi koji se koriste imaju težak zadatak da prepoznaju gde se tekst nalazi na slici. Uprkos tome što nam je dostupan veliki broj algoritama, postoje veliki problemi zato što je tekst na slikama različite veličine fonta, debljine, različitih boja i veličine tekstura. Pored ovih problema javljaju se i problemi različitih gemetrijskih izobličenja, različitih uslova osvetljenja i rezolucija slika [1]. I pored svih ovih problema razvijeni su sistemi za vizuelne pretrage kao što su sistemi za prepoznavanje proizvoda [2, 3] i prepoznavanje orijentira [4]. U ovim sistemima slike se uzorkuju upotrebom kamera mobilnih telefona [5, 6, 7] i usklađuju se s velikom bazom koristeći pritom vizuelne karakteristike reči kao tehnike za indeksiranje [8, 9]. Iako su trenutni mehanizmi vizuelne pretrage dostigli određeni nivo pouzdanosti, oni uglavnom ignorišu informacije koje se u obliku teksta nalaze na slikama. U ovim slučajevima tekst je posebno zanimljiv jer pruža dodatne informacije o kontekstu za objekte koji se detektuju unutar slika. Kako su mehanizmi tekstualne pretrage na zavidnom nivou, detekcija teksta na slikama pruža dodatnu vrednost za sam sistem vizuelne pretrage [10]. Za tekstualnu pretragu slika bitan je preduslov da tekst bude jednoznačno detektovan. Međutim, ovo je izazov zbog različitih uslova u kojima slike nastaju. Na detekciju teksta na slikama mogu uticati sledeći elementi: različite veličine fonta, različiti stilovi, razne geometrijske deformacije, što je predmet razmatranja u mnogim studijama koje su navedene u literaturi [9, 11, 12, 13, 14, 15, 16, 17, 18]. Tehnike pretraživanja slika svrstavaju se u dve kategorije: na pristupe zasnovane na teksturi (texturebased) i na pristupe koji se zasnivaju na povezanim komponentama (CC - connected component-based) [1]. Pristup baziran na teksturi prepoznaje tekst kao posebnu teksturu koja se razlikuje od pozadine. Specifičnosti na slikama izdvajaju se u određene regione i klasifikatore (na osnovu tehnika mašinskog učenja) koji služe za

2 prepoznavanje teksta [10]. CC pristup zasniva se na izdvajanju regiona sa slike, pri čemu koristi geometrijska ograničenja da bi isključio netekstualne kandidate [10]. U ovom radu obrađeni su algoritmi za prepoznavanje teksta ugrađeni u programski paket MATLAB. U radu je pokazano da ovi mehanizmi korišćeni za prepoznavanje teksta na slikama imaju visok stepen pouzdanosti, što se vidi na prikazanim test primerima. Glavne MATLAB funkcije korišćene u radu su: detectmserfeatures, regionprops, bboxoverlapratio, bwdist, bwmorph kao i ocr. Test primeri su slučajno odabrane slike iz svakodnevnog okruženja. Za svaki od test primera bilo je neophodno primeniti princip funkcionisanja ovih algoritama i prilagoditi osnovne parametre MSER (Maximally Stable Extremal Regions) [10] metoda, kao i dobro odabrati prag (threshold) u odnosu na font teksta na slikama. Hardversko okruženje na kojem se sporovodi testiranje je računar s proceserom Intel Core i3-2350m 2.3GHz, 6 gb ram memorije, SSD diskom i integrisanom grafičkom kartom Intel HD Graphics Softversko okruženje 64-oro bitni Windows 10 i MATLAB R2016a sa svim neophodnim dodacima za ovaj vid analize DETEKCIJA MSER REGIONA Mehanizam MSER (Maximally Stable Extremal Regions) funkcije dobro radi za pronalaženje tekstualnih regiona na slici [10]. Ovaj mehanizam pokazao se kao dobar za izolovanje teksta zbog doslednosti boja i visokog kontrasta teksta. MATLAB ima ugrađene funkcije za pronalaženje tekstualnih regiona unutar slike čiji se parametri moraju prilagoditi konkretnoj slici koju posmatramo. Pored detektovanih tekstualnih rezultata, mogu biti detektovani i netekstualni objekti. Za to je upotrebljena MATLAB funkcija: detectmserfeatures (I, 'RegionAreaRange', [ ], 'ThresholdDelta', 4). Prilikom upotrebe ovih funkcija neophodno je prilagoditi parameter funkcije slici koja se posmatra i materijalu koji se na njoj nalazi. Posebno treba obratiti pažnju na vrednosti koje definišu veličinu regiona u kojem se nalazi tekst i ThresholdDelta koji predstavlja veličinu koraka između dva regiona. Uobičajene vrednosti koje daju najbolje rezultate su u opsegu od 0,8 do 4. Smanjivanjem ovih vrednosti povećava se broj regiona koji će biti detektovan. Rezultat detekcije regiona prikazan je na slici MEHANIZAM ZA DETEKCIJU TEKSTA U SLIKAMA POMOĆU FUNKCIJA UGRAĐENIH U MATLAB Pregledaćemo mahanizam koji MATLAB funkcije koriste za detekciju teksta na slikama i prikazati na primerima slika iz realnog okruženja. Proces pripreme slike za detekciju teksta prikazan je na slici 1. Detekcija MSER regiona Uklanjanje netekstualnih objekata na osnovu geometrijskih svojstava Uklanjanje netekstualnih objekata na osnovu varijacije širine hoda Spajanje detektovanih tekstualnih regiona Prepoznavanje teksta Sl. 1. Grafički prikaz postupka prepoznavanja teksta iz slika Sl. 2. MSER regioni grafički prikaz postupka prepoznavanja teksta 2.2. UKLANJANJE NETEKSTUALNIH OBJEKATA NA OSNOVU GEOMETRIJSKIH SVOJSTAVA MSER pored teksta detektuje i neke netekstualne regione koje je neophodno odstraniti iz skupa detektovanih regiona. U tu svrhu primenjuje se mehanizam zasnovan na pravilu koji koristi geometrijske osobine teksta za filtriranje regiona, podešavanje jednostavnih pragova tolerancije ili na osnovu mehanizama mašinskog učenja

3 pomoću kojih se uvežbava prepoznavanje tekstualnih i netekstualnih regiona. upotrebom operacija binarnog proređivanja (binary thinning operation) [20]. U ovom primeru preuzet je mehanizam koji funkcioniše na osnovu geometrijskih svojstava teksta, iako u kombinaciji sa mehanizmima mašinskog učenja daje najbolje rezultate [19]. Postoji nekoliko geometrijskih mehanizama koji su dovoljno dobri da naprave razliku između tekstualnog i netekstualnog regiona na slici koji funkcionišu po principu [1,20]: razmere, ekscentričnosti (Ojlerov broj), obima i kompaktnosti. Za određivanje svojstva regiona na slici korišćen je regionprops funkcija MATLAB-a. U zavisnosti od toga koji se od argumenata prosledi ovoj funkciji, dobijaju se različiti rezultati. Za detekciju netekstualnih regiona u ovom radu korišćena je funkcija: regionprops ( mserconncomp, 'BoundingBox', 'Eccentricity', 'Solidity', 'Extent', 'Euler', 'Image'). Svaki od argumenata funkcije predstavlja određen segment koji utiče na rezultat funkcije. U ovom radu nećemo se baviti pojedinačnim objašnjavanjem ovih parametara. Rezultat primene mehanizama za uklanjanje netekstualnih regiona može se videti na slici 3. Sl. 4. Slika posle uklanjanja netekstualnih objekata zasnovanog na varijaciji širine hoda Na slici 4 primećujemo malo odstupanje u celom regionu, što je glavna karakteristika teksta koji je čitljiv čoveku, na osnovu čega možemo zaključiti da je ovo region u kome se nalazi tekst. Na osnovu ovog zaključka možemo podesiti prag (threshold) u odnosu na font koji se nalazi na slici 5 i prilagoditi ga objektu koji posmatramo. Ovo se primenjuje na svaki od MSER regiona ponaosob i tako se dobija slika u kojoj su uklonjeni netekstualni regioni [20]. U ovom delu posebnu pažnju treba obratiti na MATLAB funkciju bwdist koja računa euklidsku razdaljinu crnobele slike i transformiše udaljenost tako što za svaki piksel slike dodeljuje broj koji je rastojanje između tog piksela i najbližeg piksela koji ima vrednost nula. Pored ove funkcije posebno je bitna i bwmorph sa argumentima 'thin' i inf koja nam služi da objekat bez prekida smanji na minimalni broj povezanih piksela, što je i prikazano na slici 5. Sl. 3. Slika posle uklanjanja netekstualnih objekata pomoću geometrijskih svojstava teksta 2.3. UKLANJANJE NETEKSTUALNIH OBJEKATA NA OSNOVU VARIJACIJE ŠIRINE HODA Još jedan uobičajen način za razlikovanje teksta od neteksta je na osnovu širine hoda (stroke width). Širina hoda je mera širine krive i linije koje čine neki karakter. Regioni u kojima se nalazi tekst trebalo bi da imaju malu varijaciju širine hoda, dok netekstualni regioni teže da imaju velike varijacije. Ovaj model moguće je implementirati pomoću transformacije rastojanja (distance transform) i Sl. 5. Slika detektovanog regiona (levo) i slika širine hoda (desno)

4 2.4. SPAJANJE DETEKTOVANIH TEKSTUALNIH REGIONA Da bi do sada dobijeni rezultati bili upotrebljivi za OCR algoritme, neophodno je pojedinačne karaktere, koji su prikazani na slici 6, spojiti u celine, tako da dobijene celine nose mnogo više informacija od pojedinačnih karaktera. Jedan od mehanizama za detekciju celina je da se oko pojedinačnih karaktera formira kutija koja se širi levo i desno dokle god postoji preklapanje s drugim detektovanim regionom; na taj način dolazimo do detekcije celina, odnosno reči u tekstu čiji rezultat je prikazan na slici 7. Da bi se od pojedinačnih regiona dobile smislene celine teksta, potrebno je da se pomoću funkcije: bboxoverlapratio( ) preračuna koliko je preklapanje detektovanih tekstualnih regiona i na osnovu toga odredi koji regioni pripadaju jednoj celini PREPOZNAVANJE TEKSTA Ako imamo uspešno definisane regione u kojima se nalazi tekst, bez ikakvih viškova, onda je prilično jednostavno iščitati sam tekst iz tako prikazanih regiona. MATLAB ima ugrađene funkcije koje smo koristili za testiranje u ovom radu. Posle svih ovih primera za pretprocesiranje slike i odrađivanja regiona na kojima se nalazi tekst neophodno je i odraditi samo prepoznavanje teksta unatar izolovanih regiona upotrebom funkcije ocr čiju su argumenti slika i informacija o regionima gde se tekst nalazi na toj slici. 3. REZULTATI TESTIRANJA Tekst koji je trebalo da prepoznamo i tekst koji je ova metoda detekcije prepoznala poklapa se u dobroj meri. Radi lakšeg razumevanja rezultata testiranja na slici 8 prikazane su neke od slika na kojima je testiranje izvršeno. Tačnost ove metode na prikazanoj slici u tekstu koji je prepoznat je 98,21%; jedina greška bila je s karakterom Ć koji nije podržan kroz MATLAB kao srpsko latinično pismo, a iz priloženog se vidi da ukoliko na slici nije prisutan ovaj karakter, tačnost bi verovatno bila 100%. Deo slike koji nije bio dovoljno jasan metoda je odbacila i nije ni uzela u obzir, što je takođe doprinelo tačnosti prilikom OCR. Na tačnost ovih algoritama u velikoj meri utiču pozicija teksta unutar slike i geometrija samog teksta. Pored navedenih parametara veliki uticaj imaju osvetljenje, kontrast teksta i pozadine slike. Sl. 6. Svaki od detektovanih regiona u pojedinačnom prikazu Veliki napredak u prepoznavanju teksta može da se postigne ukoliko se podešavaju veličine regiona u pikselima. Moguće je prilagođavati vrednosti za minimalnu i maksimalnu veličinu piksela u regionu koji sadrži tekst. Najoptimalnije vrednosti za minimum su u opsegu od 100 do 150 piksela, dok se za maksimum kreću u opsegu od 600 do 1000 piksela. Na tačnost rezultata ima uticaja i nivo praga intenziteta (threshold), čijim se smanjivanjem povećava broj regiona, gde ne važi pravilo da što je ovaj broj manji, to je preciznost veća, i obrnuto. Uobičajene vrednosti za ovaj parametar su od 0,8 do 4. Sl. 7. Detektovani regioni posle prepoznavanja blokova

5 4. ZAKLJUČAK S obzirom na veliki broj problema koji prate prepoznavanje teksta u slikama, ali i na veliki broj već postojećih rešenja priloženih u literaturi, možemo zaključiti da je ovaj skup metoda dobro implementiran. Ukoliko je izabrani uzorak slike iz prirodnog okruženja kvalitetan i prilagođen ovim mehanizmima, on s velikom tačnošću može da primeni OCR algoritam. ZAHVALNICA Sl. 8. Slike prirodnog okruženja korišćene kao test primeri Pored gore navedenih problema s kojima se određeni algoritmi suočavaju, uočeno je i različito vreme izvršavanja programa za različite slike, što je i razumljivo jer su slike različite kompleksnosti. TABELA I UPOREDNI PRIKAZ ŽELJENOG I DOBIJENOG REZULTATA Test primeri Veličina regiona (min, max) Fotogrfij a slajda (obrađen e u radu) 100, 1000 Fotograf ija autobusk og stajališta Fotograf ija table opštine Stari grad 150, , 600 Fotograf ija oglasa za knjižaru 150, 1000 Threshold Rezolucija slike u px Vreme izvršavanja Procenat tačnosti 800 x x x x 970 3,51s 3,68 s 18,34 s 8,05 s 98,21 % 89,60 % 98,50 % 90,20 % Prosečna tačnost ovih test primera je 94,13%, što se može uzeti kao izuzetno visok nivo pouzdanosti za navedeni sistem. Ovaj rad je podržan od strane Ministarstva prosvete, nauke i tehnološkog razvoja Republike Srbije, u okviru projekta tehnološkog razvoja TR32023 Optimizacija performansi energetski efikasnih, računarskih i komunikacionih sistema. REFERENCE [1] Gonzalez, Alvaro, et al. Text location in complex images. Pattern Recognition (ICPR), st International Conference on. IEEE, [2] S. S. Tsai, D. Chen, V. Chandrasekhar, G. Takacs, N. M. Cheung, R. Vedantham, R. Grzeszczuk, and B. Girod, Mobile product recognition, in Proc. ACM Multimedia 2010, [3] D. Chen, S. S. Tsai, C. H. Hsu, K. Kim, J. P. Singh, and B. Girod, Building book inventories using smartphones, in Proc. ACM Multimedia, [4] G. Takacs, Y. Xiong, R. Grzeszczuk, V. Chandrasekhar, W. Chen, L. Pulli, N. Gelfand, T. Bismpigiannis, and B. Girod, Outdoors augmented reality on mobile phone using loxel-based visual feature organization, in Proc. ACM Multimedia Information Retrieval, 2008, pp [5] D. G. Lowe, Distinctive image features from scaleinvariant keypoints, International Journal of Computer Vision, vol. 60, pp , [6] V. Chandrasekhar, G. Takacs, D. Chen, S. Tsai, R. Grzeszczuk, and B. Girod, CHoG: Compressed histogram of gradients. a low bit-rate feature descriptor, in CVPR, 2009, pp [7] D. Nist er and H. Stew enius, Scalable recognition with a vocabulary tree, in CVPR, 2006, pp [8] D. M. Chen, S. S. Tsai, V. Chandrasekhar, G. Takacs, R. Vedantham, R. Grzeszczuk, and B. Girod, Inverted Index Compression for Scalable Image Matching, in Proc. of IEEE Data Compression Conference (DCC), Snowbird, Utah, March 2010.

6 [9] J. Liang, D. Doermann, and H. P. Li, Camera-based analysis of text and documents: a survey, IJDAR, vol. 7, no. 2-3, pp , [10] Chen, Huizhong, et al. Robust Text Detection in Natural Images with Edge-Enhanced Maximally Stable Extremal Regions. Image Processing (ICIP), th IEEE International Conference on. IEEE, [11] K. Jung, K. I. Kim, and A. K. Jain, Text information extraction in images and video: a survey, Pattern Recognition, vol. 37, no. 5, pp , [12] Y. Zhong, H. Zhang, and A. K. Jain, Automatic caption localization in compressed video, IEEE Trans. Pattern Anal. Mach. Intell., vol. 22, no. 4, pp , [13] Q. Ye, Q. Huang, W. Gao, and D. Zhao, Fast and robust text detection in images and video frames, Image Vision Comput., vol. 23, pp , [14] X. Chen and A. L. Yuille, Detecting and reading text in natural scenes, in CVPR, 2004, vol. 2, pp. II 366 II 373 Vol.2. [15] X. Chen and A. L. Yuille, A time-efficient cascade for real-time object detection: With applications for the visually impaired, in CVPR - Workshops, 2005, p. 28. [16] S. M. Lucas, ICDAR 2005 text locating competition results, in ICDAR, 2005, pp Vol. 1. [17] B. Epshtein, E. Ofek, and Y. Wexler, Detecting text in natural scenes with stroke width transform, in CVPR, 2010, pp [18] P. Shivakumara, T. Q. Phan, and C. L. Tan, A laplacian approach to multi-oriented text detection in video, IEEE Trans. Pattern Anal. Mach. Intell., vol. 33, no. 2, pp , feb [19] Neumann, Lukas, and Jiri Matas. Real-time scene text localization and recognition. Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, [20] Li, Yao, and Huchuan Lu. Scene text detection via stroke width. Pattern Recognition (ICPR), st International Conference on. IEEE, 2012.