Postavka zadatka završnog rada I ciklusa:

Transcription

1

2 Doc.dr Emir Sokić, dipl.el.ing Odsjek za automatiku i elektroniku Sarajevo, Postavka zadatka završnog rada I ciklusa: Klasifikacija objekata bazirana na barkodovima U industrijskom okruženju se često pojavljuje potreba da se objekti labeliraju specijalnim oznakama kako bi se mogli jednostavnije identificirati i klasificirati prilikom transporta ili dalje upotrebe. Najčešći način ovakvog označavanja su barkodovi. O okviru ovog rada je potrebno razviti aplikaciju koja osim mogućnosti generisanja barkodova ima mogućnost prepoznavanja, lokalizacije i interpretacije najpopularnijih vrsta barkodova (npr. EAN-13, QR Code, Data Matrix i sl.) sa digitalne slike u realnom vremenu. Koncept i metode rješavanja: Rad treba da se sastoji iz sljedećih cjelina: pregled literature, osnovnih pojmova vezanih za najvažnije barkod standarde, analize metoda koje omogućavaju lokalizaciju barkoda na digitalnoj slici, analize metoda koje omogućavaju interpretaciju barkoda na slici, implementacija odgovarajućih algoritama u C++/OpenCV okruženju uz korištenje ZXing biblioteke, integracija sistema u prototip ETFcam v.1.0. analize eksperimentalnih rezultata na sintetiziranom skupu uzoraka (uzorci sa različitim barkodovima). Polazna literatura: [1] Batchelor, Bruce G., and Paul F. Whelan. Intelligent vision systems for industry. Springer Science & Business Media, [2] Torras, Carme, ed. Computer vision: theory and industrial applications. Springer Science & Business Media, [3] Demant, Christian, C. Demant, and Bernd Streicher-Abel. Industrial image processing. Springer-Verlag, [4] Szeliski, Richard. Computer vision: algorithms and applications. Springer Science & Business Media, [5] Sonka, Milan, Vaclav Hlavac, and Roger Boyle. Image processing, analysis, and machine vision. Cengage Learning, [6] Russ, John C. The image processing handbook. CRC press, i

3 [7] Costa, Luciano da Fontoura Da, and Roberto Marcondes Cesar Jr. Shape analysis and classification: theory and practice. CRC Press, Inc., [8] Costa, Corrado, et al. "Shape analysis of agricultural products: a review of recent research advances and potential application to computer vision." Food and Bioprocess Technology 4.5 (2011): ii Doc.dr Emir Sokić, dipl.el.ing

4 Univerzitet u Sarajevu Elektrotehnički fakultet Odsjek za automatiku i elektroniku Izjava o autentičnosti radova Završni rad I ciklusa studija Ime i prezime: Adis Hodžić Naslov rada: Klasifikacija objekata bazirana na barkodovima Vrsta rada: Završni rad prvog ciklusa studija Broj stranica: 43 Potvr dujem: da sam pročitao dokumente koji se odnose na plagijarizam, kako je to definirano Statutom Univerziteta u Sarajevu, Etičkim kodeksom Univerziteta u Sarajevu i pravilima studiranja koja se odnose na I i II ciklus studija, integrirani studijski program I i II ciklusa i III ciklus studija na Univerzitetu u Sarajevu, kao i uputama o plagijarizmu navedenim na web stranici Univerziteta u Sarajevu; da sam svjestan univerzitetskih disciplinskih pravila koja se tiču plagijarizma; da je rad koji predajem potpuno moj, samostalni rad, osim u dijelovima gdje je to naznačeno; da rad nije predat, u cjelini ili djelimično, za stjecanje zvanja na Univerzitetu u Sarajevu ili nekoj drugoj visokoškolskoj ustanovi; da sam jasno naznačio prisustvo citiranog ili parafraziranog materijala i da sam se referirao na sve izvore; da sam dosljedno naveo korištene i citirane izvore ili bibliografiju po nekom od preporučenih stilova citiranja, sa navo denjem potpune reference koja obuhvata potpuni bibliografski opis korištenog i citiranog izvora; da sam odgovarajuće naznačio svaku pomoć koju sam dobio pored pomoći mentora i akademskih tutora/ica. Sarajevo, 27. septembar Potpis: Adis Hodžić iii

5 iv Sažetak U ovom radu je analiziran sistem kompjuterske vizije čiji je cilj lokalizacija i dekodiranje barkodova kojim su labelirani objekti na slici. U tu svrhu je korištena open-source biblioteka za dekodiranje barkodova na slici ZXing i testirane su njene performanse i ograničenja. Prvo su u radu obra dene najčešće korištene barkod simbologije, s posebnim osvrtom na EAN-13 kod koji je europski standard za označavanje proizvoda na tržištu i najčešće korišten. Tako der su obra deni i načini njihovog dekodiranja i generisanja. Potom su analizirane osnovne metode obrade slike s ciljem izdvajanja regije od interesa i/ili ekstrakcije informacije iz sadržaja slike. Opisan je algoritam za detekciju barkoda primjenom ovih metoda. S obzirom da je kod linearnih barkodova nosilac informacije linija, cilj je ekstraktovati linije barkoda iz koje je moguće dobiti informaciji o orijentaciji i slično. Aplikacija koja omogućava lokalizaciju i dekodiranje barkoda sa slike implementirana je u programskom jeziku C++ uz korištenje biblioteka OpenCV i već navedene ZXing. Algoritam se može posmatrati po koracima: gradijent direkciono filtriranje, segmentacija pragom, morfološke operacije, Houghova transformacija za linije, ekstrakcija linije od interesa i dekodiranje. Eksperimentalno su pokazana odre dena ograničenja primjene ovakvog tipa detekcije i dekodiranja barkodova, kao i sama ograničenja i performanse korištene biblioteke. Abstract This paper analyzes a computer vision system aimed at localization and decoding of barcodes which label objects in the picture. For this purpose, the open-source library for decoding barcodes ZXing is used and its performance and limitations are tested. First, the most commonly used barcode symbolologys are described, with special reference to EAN-13 code, which is the European standard for labeling products on the market. Methods of its decoding and generation are also described. Then basic image processing methods were analyzed with the aim of extracting the region of interest and/or extracting information from the image content. A barcode detection algorithm is formed using these methods. Since the information in linear barcodes is presented with the lines, the goal is to extract barcode lines from which it is possible to obtain orientation information and the like. The application that enables the localization and decoding of the barcodes on image is implemented in the C ++ programming language using the OpenCV library and the already mentioned ZXing library. The algorithm can be viewed by steps: gradient directional filtering, threshold segmentation, morphological operations, Hough line transformation, line extraction and decoding. Certain restrictions on the use of this type of barcode detection and decoding, as well as the limitations and the performance of the library used are experimentally demonstrated and tested.

6 Sadržaj Popis slika Popis tabela viii ix 1 Uvod Obrazloženje teme Barkodovi Barkod standardi Tipovi barkodova i područje primjene EAN/UPC CODE ITF QR CODE Tehnologija barkod čitača Čitači tipa olovke (tzv. pen-type čitači) Laserski čitači CCD čitači Omnidirekcioni barkod čitači Barkod čitači bazirani na kameri Generisanje barkodova Generisanje linearnih barkodova Analiza metoda za izdvajanje dijela slike sa barkodom Pretprocesiranje slike Gradijent Segmentacija Metoda segmentacije pragom Houghova transformacija za linije Morfološka obrada slike Erozija Dilatacija Otvaranje i zatvaranje binarne slike Opisivanje regiona na slici Lančani kod Lociranje i dekodiranje barkodova sa slike Opis algoritma za odre divanje orijentacije i rotaciju barkoda Procjena orijentacije barkoda

7 SADRŽAJ vi Računanja ugla Više barkodova na slici Analiza eksperimentalnih rezultata Fiksni frejmovi Odre divanje minimalno potrebnog broja piksela po liniji barkoda Analiza vremena izvršavanja algoritma dekodiranja Ispitivanje specifičnih uzoraka Pomični frejmovi Prilozi 35 A Implementirani algoritmi 36 A.1 Generisanje barkodova A.2 Detekcija barkoda A.3 Rotiranje linearnih barkodova A.4 Dekodiranje barkoda Literatura 43

8 Popis slika 2.1 Barkodovi u EAN/UPC familiji Skupovi za kodiranje digita [1] Kodiranje lijevog sektora EAN-13 koda u ovisnosti od vodeće cifre [1] Struktura EAN-13 barkoda [4] Primjer kodiranja parova cifara 03 i 67 [1] Struktura QR koda: a) primjer QR koda, b) strukturalne cjeline [5] Pen-type čitač Šema linija čitača Magellan 1000i. a) Prvi šablon b) Kombinovani šabloni [6] QR kod generisan pomoću Zxing biblioteke Kodiranje pomoću CODE 39 barkoda Primjer primjene gradijent operatora: a) originalna slika barkoda, b) gradijent reprezentacija slike Segmentacija pragom gradijenta slike kako bi se dobila aproksimacija regije barkoda Houghova transformacija. (a) Prostor slike. (b) k-q parametarski prostor. [6] Primjena morfološke operacije zatvaranja za uklanjanje šupljina izme du linija barkoda Uklanjanje malih, irelevantnih segmenata primjenom morfološke operacije otvaranja Primjer kodiranja u 8 smjerova (S je početna pozicija) Dijagram toka algoritma za dekodiranje barkoda Originalna slika Dobivene binarne slike: a) ugao 0, b) ugao 90, c) ugao 45, d) ugao Rezultat konstrukcije maske i detekcije linije Krajnji rezultat primjene algoritma Koraci za realizaciju algoritma Primjer Primjer Primjer za odre divanje minimalne širine linije barkoda Primjer 1, vidljiv dio koda Primjer 2, vidljiv dio koda Primjer 3, vidljiv dio koda Primjer 1, zaobljen barkod, uspješno Primjer 2, zaobljen barkod, neuspješno Primjer 3, zagužvan barkod, uspješno Primjer 4, zgužvan barkod, neuspješno

9 POPIS SLIKA viii 5.9 Testni primjer Testni primjer Testni primjer Frejm sa prepletanjem (interlacing) Preklapanje sukcesivnih uzoraka u jedan frejm Rezultantni frejm za obradu

10 Popis tabela 2.1 Linearni barkodovi Matrični barkodovi Vrijeme potrebno za dekodiranje barkodova Vrijeme potrebno za dekodiranje barkodova Brzina izvršavanja pojedinih dijelova algoritma

11 Poglavlje 1 Uvod Barkodovi (eng. barcode ili bar code) predstavljaju mašinski čitljivi kod koji nosi specifične informacije o objektu na kojem se nalazi. Tehnologija barkodova je prvi put upotrebljena šezdesetih godina dvadesetog stoljeća za označavanje proizvoda u maloprodaji, gdje je i danas najviše rasprostranjena. Trenutno su barkodovi najekonomičniji način labeliranja proizvoda u svim sektorima. Razvojem tehnologije povećavaju se i zahtjevi i potrebe društva. Samim tim su i procesi proizvodnje, transporta i trgovine unaprije deni i resursi ovih djelatnosti su u stalnom porastu. Tradicionalni načini skeniranja i dekodiranja barkodova zahtijevaju posredstvo čovjeka. Zbog toga su procesi klasifikacije objekata, pripreme robe za pakovanje i transport veoma spori ili skupi ukoliko se žele automatizirati. Stoga su razvijeni sistemi za dekodiranje barkodova obradom digitalne slike. Na ovaj način je taj proces postao mnogo fleksibilniji, brži i automatiziran. Barkodovi su tako danas lako dostupni skoro svakom ure daju koji posjeduje kameru i na kojem se može implementirati algoritam za dekodiranje. 1.1 Obrazloženje teme U okviru rada će biti obra deni neki od najčešće korištenih barkod standarda, njihova primjena i način kodiranja i dekodiranja. U tu svrhu će se teorijski istražiti osnovne faze u procesu digitalne obrade slike, sa akcentom na pretprocesiranje slike, segmentaciju i identifikaciju parametara od interesa. Rad uključuje i praktični dio koji predstavlja implementaciju algoritma za detekciju i dekodiranje najčešće korištenih barkodova na različitim proizvodima. Zbog značajne efikasnosti i prednosti procesa digitalne obrade slike, ovakav zadatak može biti važan segment u realizaciji nekih kupoprodajnih, marketinških i sličnih sistema u realnom i/ili digitalnom/internet svijetu. U svrhu ocjene uspješnosti istraživanja i razvijenog algoritma izvršit će se analiza rada nad konačnim skupom uzoraka. Klasifikacija objekata bazirana na barkodovima 1

12 Poglavlje 2 Barkodovi 2.1 Barkod standardi Barkod standardi su dizajnirani kako bi poboljšali efikasnost, sigurnost i transparentnost trgovinskih lanca u fizičkim i digitalnim kanalima. Oni formiraju poslovni jezik za identifikaciju, prikupljanje i razmjenu ključnih informacija o proizvodima, dijelovima, lokacijama, imovini i drugo. GS1 je me dunarodna organizacija koja razvija standarde za poslovnu komunikaciju me du kojima je najpoznatiji standard barkod. S obzirom na područje primjene, razvijeno je više različitih tipova barkodova kako bi zadovoljili različite zahtjeve iz pojedinih sektora. [1] Tipovi barkodova i područje primjene Tradicionalni barkodovi predstavljaju informacije variranjem širine i razmaka izme du paralelnih linija, po čemu su i dobili naziv. S obzirom da kodiraju informaciju samo duž jedne ose smatraju se linearnim ili 1D barkodovima. Zbog malog kapaciteta ovih barkodova, razvijeni su matrični ili 2D barkodovi, koji za kodiranje upotrebljavaju tačke, pravougaonike, heksagone i druge oblike. Ovi barkodovi zahtijevaju komplikovanije sisteme dekodiranja. Veza izme du kodirane informacije i barkod standarda naziva se barkod simbologija. [2] Linearne simbologije sadrže informaciju o načinu kodiranja znakova pomoću linija i razmaka, jedinstveno kodiranim markerima koji označavaju početak i kraj barkoda, veličini tihe zone i algoritmu izračunavanja kontrolne sume. Linearne simbologije se mogu podijeliti na osnovu dva svojstva: Kontinualni ili diskretni Svaki znak u diskretnoj simbologiji sastoji se od n linija i n-1 razmaka. Svaki znak u ovim simbologijama je kodiran zasebno, počinje i završava linijom, a me dusobno su odvojeni razmakom. Ovaj razmak ne nosi nikakvu informaciju i jedina mu je uloga da razdvaja pojedinačne znakove. Znakovi u kontinualnoj simbologiji se sastoje od n linija i n razmaka. Znakovi se nastavljaju, jedan na drugi, tako što jedan znak završava linijom, a drugi počinje razmakom ili obratno. Klasifikacija objekata bazirana na barkodovima 2

13 Barkodovi Prema širini linije i razmaka Barkodovi sa dvije širine linija i razmaka koji se još nazivaju i binarnim barkodovima. Barkodovi sa više širina, najčešće četiri, koje su multipl osnovne jedinice koja se naziva module. Primjeri i upotreba najkorištenijih linearnih barkodova navedeni su u tabeli 2.1. Klasifikacija objekata bazirana na barkodovima 3

14

15

16 Barkodovi EAN/UPC EAN/UPC familija linearnih barkodova sastoji se od prvih i najviše raširenih GS1 barkodova. Dizajnirani su prvenstveno za maloprodaju, odnosno identifikaciju proizvoda na mjestu kupovine. Karakteristike barkodova iz ove familije: Slika 2.1: Barkodovi u EAN/UPC familiji skup znakova koji se mogu kodirati: cifre (od 0 do 9), kontinualne simbologije, sedam modula (osnovna širina) po znaku, četiri elementa za svaki znak, dvije linije i dva razmaka, svaki po jedan, dva, ili tri modula u širini, fiksirana dužina kodirane riječi: 8, 12 ili 13 znakova, moguće omnidirekcionalno dekodiranje, jedna neophodna cifra za provjeru, rezervisani prostor za okvir: 11 modula za EAN-13, EAN-8 i UPC-A barkodove (bočni i centralni graničnici), 9 modula za UPC-E barkodove(bočni graničnici). Struktura EAN-13 koda sastoji se od grupe brojeva koji sadrže podatak o zemlji porijekla robe, proizvo daču i samom proizvodu. Prva tri broja su dodijeljena standardom i predstavljaju zemlju porijekla proizvoda. Narednih minimalno četiri, maksimalno sedam cifara predstavlja šifru proizvo dača, a preostale cifre se ostavljaju za šifriranje proizvoda tog proizvo dača. Zaključuje se da je ovim kodom moguće kodirati maksimalno sto hiljada različitih proizvoda. Posljednja cifra je kontrolna cifra za provjeru pariteta barkoda. Suma modula tamnih linija svakog karaktera odre duje njegov paritet. [3] Ako EAN-13 barkod podijelimo u 2 sektora, prvi izme du lijevog i centralnog graničnika, a drugi izme du centralnog i desnog graničnika, onda se prema standardu lijevi sektor kodira kombinacijom iz skupova A i B sa slike 2.2, a desni sektor uvijek iz skupa C. Skupovi A, B i C sadrže simbole za svaku od cifara predstavljenu sa dva razmaka i dvije linije ukupne širine od sedam modula. Razliku se po širinama pojedinih razmaka i/ili linija. Simboli u skupovima A i B počinju razmakom, dok u skupu C počinju sa linijom. Ovi različiti načini kodiranja istih cifara su dizajnirani kako bi se mogla odrediti orijentacija barkoda, a tako je omogućeno omnidirekciono skeniranje barkodova iz ove familije. Lijevi sektor se kodira kombinacijom dva skupa A i B iz razloga što se različitom kombinacijom ovih skupova kodira vodeća cifra u barkodu. [1] To je prikazano na slici 2.3. Razlika izme du skupova A i B je napravljena u svrhu obezbje denja maksimalne distinkcije. Svi barkodovi iz ove familije imaju sličnu strukturu i kodiraju se na isti način. Reprezentativno je odabran EAN-13 kod jer je on najzastupljeniji za označavanje proizvoda U Evropi. Klasifikacija objekata bazirana na barkodovima 6

17 Barkodovi Slika 2.2: Skupovi za kodiranje digita [1] Slika 2.3: Kodiranje lijevog sektora EAN-13 koda u ovisnosti od vodeće cifre [1] Slika 2.4: Struktura EAN-13 barkoda [4] Klasifikacija objekata bazirana na barkodovima 7

18 Barkodovi Slika 2.5: Primjer kodiranja parova cifara 03 i 67 [1] CODE 39 Code 39 je diskretna barkod simbologija proizvoljne dužine. Svaki znak je kodiran zasebno i odvojen razmakom. Moguće je kodirati 43 različita znaka, koji uključuju cifre od 0 do 9, velika slova engleske abecede i specijalne znakove (-,., $, /, +, %, i razmak). Za označavanje početka i kraja barkoda se koristi poseban znak, kojem je dodjeljen simbol "*". Ovaj kod ne sadrži znak za provjeru. Najveći nedostatak ove barkod simbologije je gustina podataka, odnosno zauzima puno više mjesta za kodiranje informacija u odnosu na ostale. Samim tim se ne može koristiti za označavanje malih predmeta. Jedina prednost ovog barkoda je ta što ne posjeduje znak za provjeru. To znači da za njegovo generisanje nije potreban poseban algoritam jer je svaki znak kodiran zasebno i jednistveno, pa se printanje može izvršiti direktno, znak po znak ITF ITF (eng. Interleaved Two of Five) je kontinuana simbologija sa 14 cifara. Cifre se kodiraju u paru sa pet linija ili pet praznina (jedna cifra se kodira samo linijama, a druga samo prazninama). Linije i praznine mogu biti u samo dvije različite širine. Primjer kodiranja parova je prikazan na slici 2.5. Ovaj robusan način kodiranja omogućio je printanje ovih kodova na hrapavim, čvrstim, savitljivim površinama. [1] Zbog toga se najviše koristi za labeliranje više proizvoda kao cjeline u fazi transporta QR CODE QR kod (skraćeno od Quick Response) je trenutno najčešće korišteni matrični barkod. Koristi se u raznim aplikacijama zbog većeg kapaciteta u odnosu na tradicionalne barkodove i brzine dekodiranja. Skup znakova koji se mogu kodirati ovim barkodom podrazumijeva cifre od 0 do 9, slova, specijalne znakove i Kanji, kineske znakove. Kao osnovni segment za kodiranje, modulo, koristi se kvadrat. Crni kvadrat predstavlja binarno 1, a bijeli binarno 0. Struktura jednog QR koda je prikazana na slici 2.6. QR kod ima tri šablona za lokaliziranje, čime se odre duje orijentacija, pa je omogućeno omnidirekciono skeniranje. Strukturno je podijeljen u tri sektora: sektor za podatke, sektor za korekciju podataka i rezervisani sektor. [5] QR kod koristi Reed-Solomonov algoritam ispravljanja grešaka, pa je tako moguće ispravno interpretirati i do 30% oštećen kod. Klasifikacija objekata bazirana na barkodovima 8

19 Barkodovi Slika 2.6: Struktura QR koda: a) primjer QR koda, b) strukturalne cjeline [5] Slika 2.7: Pen-type čitač 2.2 Tehnologija barkod čitača Čitači tipa olovke (tzv. pen-type čitači) Najprimitivnija vrsta optičkih brakod čitača su Pen-type čitači. Realizirani su u obliku olovke u čijem vrhu se nalazi optički sistem za detekciju barkoda. Sastoji se od jednog izvora svjetlosti, koji je obično LED, i fotodiode. LED osvjetljava mali dio površine kroz transparentnu kuglicu koja fokusira svjetlost, a fotodioda mjeri intenzitet reflektovane svjetlosti [1]. Da bi se skenirao barkod, osoba koja rukuje ovim čitačem treba ravnomjernom brzinom prelaziti preko barkoda i čitač mora biti u neposrednom kontaktu sa površinom. Tamne linije bolje apsorbuju svjetlost od praznina, tako da se na fotodiodi dobije naponski signal koji direktno odgovara skeniranom barkodu. Ovaj naponski signal se potom elektronki digitalizira i nad njim se izvršava algoritam prepoznavanja. Nedostatak ovih čitača je u tome što je proces dekodiranja veoma spor, u zavisnosti od veličine barkoda, i zahtijeva posebno rukovanje. Pored toga može čitati samo linearne barkodove. Važno je da širina projektovane zrake svjetlosti ne smije biti veća od najmanje širine u datom barkodu, pa se ovi čitači proizvode s obzirom na ovu specifikaciju Laserski čitači Laserski čitači rade na istom principu kao i Pen-type čitači. Umjesto LED za izvor svjetlosti koriste laser podešen da emituje svjetlost specifične frekvencije, na kojoj je projektovana i fotodioda za prijem reflektovane svjetlosti. Za razliku od Pen-type čitača laserski čitači sadrže optički sistem koji lasersku svjetlost pomjera duž cijelog barkoda. Za pomjeranje laserskog zraka koristi se pomjerajuće ogledalo ili rotirajuća prizma koji se elektronski upravljaju. Na ovaj način je uprošteno rukovanje ovim čitačem i ubrzan sam proces dekodiranja. Klasifikacija objekata bazirana na barkodovima 9

20 Barkodovi Slika 2.8: Šema linija čitača Magellan 1000i. a) Prvi šablon b) Kombinovani šabloni [6] Dvodimenzionalni laserski čitači pomjeraju svjetlost horizontalno i vertikalno u isto vrijeme i tak kreiraju strukturalni šablon za dekodiranje nekih matričnih barkodova. Najčešće je to kod PDF417. Najveća prednost laserskog čitača je dubina fokusa. Pošto laserska svjetlost manje divergira povećanjem udaljenosti, barkod ne mora biti u neposrednom kontaktu sa čitačem. Radno područje ovih čitača je od 2,5cm do 30cm CCD čitači Charge-Coupled Device (CCD) čitači za detekciju reflektovane svjetlosti koriste pravougaonu šemu više stotina fotodioda na jednoj pločici poluprovodnika. Mogu biti u jednom ili više redova, što omogućava da skeniraju i matrične barkodove. Obično se za izvor svjetlosti koriste LED, a neki čitači su dizajnirani da rade na ambijentalnoj svjetlosti, zavisno od uslova rada. Za razliku od laserskih čitača nemaju pomjerajućih optičkih dijelova, pa su otporniji na mehaničke udare i koriste se u oštrijim uslovima. Njihovo radno područje je u rasponu od 6mm do 25mm Omnidirekcioni barkod čitači Omnidirekcioni barkod čitači proiciraju set laserskih zraka po predefinisanom šablonu sa različitim orijentacijama. Ti šabloni su najčešće zvjezdastog oblika ili u obliku Lissajusova krive. Na ovaj način omogućavaju skeniranje barkodova pod različitim uglovima. Principijelno rade na isti način kao i laserski čitači. Optički sistem za formiranje šablona sastoji se od niza fiksiranih i pomjerajućih ogledala. Konvencionalno se za skeniranje koriste četiri različita šablona koji se ciklički smjenjuju svakih sto milisekundi. Dekodiranje može biti izvršeno u bilo kojoj od četiri faze Barkod čitači bazirani na kameri Dekodiranje barkodova pomoću kamera i digitalne obrade slike se može koristiti za automatizaciju procesa, a samim tim i za realizaciju kompleksnih sistema sortiranja i klasifikacije. Ovaj pristup nije ograničen skupom barkodova na koji se može primijeniti, što je velika prednost. Danas se skeniranje 2D barkodova uglavnom vrši u ure dajima sa kamerom, pa su razvojem mobilnih telefona 2D barkodovi postali rašireni za razne svrhe reklamiranja, linkovanja i slično. Klasifikacija objekata bazirana na barkodovima 10

21 Barkodovi Uglavnom u industriji i trgovini se ne koriste ovi sistemi dekodiranja jer će tradicionalni barkod čitači obaviti isti posao dosta efikasnije i brže, ali postoje situacije u kojima ovakvi sistemi nalaze svoju primjenu [6]: dekodiranje barkodova je samo jedan od podzadataka, loš kontrast, upotreba nestandardnih barkodova, cirkularna forma printanja barkodova, potrebno je dekodirati zakrivljen, rotiran ili oštećen kod. Klasifikacija objekata bazirana na barkodovima 11

22

23 Poglavlje 3 Analiza metoda za izdvajanje dijela slike sa barkodom Digitalna akvizicija slike je prvi korak u svakom sistemu digitalne obrade slike i postizanje zadovoljavajuće akvizicije je ključni segment za daljnje procesiranje. Matematička reprezentacija slike, odnosno model slike se može predstaviti pomoću tzv. funkcije slike ( f(x,y)), kao funkcije dvije prostorne varijable, koja je po prirodi kontinualna funkcija. Vrijednosti funkcije slike odgovaraju intenzitetu/osvijetljenosti u pojedinim tačkama slike. Da bi slika predstavila u računaru potrebno je izvršiti njenu digitalizaciju. Digitalizacija podrazumijeva da se slika f(x,y) uzorkuje u matricu sa M kolona i N redova. Svakom uzorku se dodjeljuje cjelobrojna vrijednost iz skupa K koja nosi informaciju o svjetlini pojedinog uzorka. Ovaj proces se naziva kvantizacija slike. Izborom M, N i K se vrši aproksimacija funkcije slike, čime u odre denoj mjeri dolazi do gubitka informacije. Prilikom realizacije bilo kakvog algoritma digitalne obrade slike, potrebno je predvidjeti moguće fluktuacije nastale prilikom akvizicije slike, jer u nekim aplikacijama se ne mogu zahtijevati potpuno kontrolisani uslovi akvizicije. U ovom poglavlju su predstavljeni osnovni algoritmi obrade slike koji su primjenjivani prije samog algoritma dekodiranja u svrhu normalizacije i lokalizacije podataka od interesa. 3.1 Pretprocesiranje slike Nakon akvizicije slike, prije obavljanja glavnog zadatka, potrebno je primijeniti odre dene metode obrade slike kako bi se istakle informacije koje mogu biti od interesa ili ispravile odre dene distorzije. Pretprocesiranje označava metode u obradi slike kojima se originalna slika transformiše u novu sliku, koja u osnovi nosi istu informaciju, ali se razlikuje u odre denim aspektima, npr. ima poboljšan kontrast. Metode pretprocesiranje ne povećavaju sadržaj informacija na slici, već se potiskuju one koje su irelevantne za dalju obradu i/ili analizu. Klasifikacija objekata bazirana na barkodovima 13

24 Analiza metoda za izdvajanje dijela slike sa barkodom Slika 3.1: Primjer primjene gradijent operatora: a) originalna slika barkoda, b) gradijent reprezentacija slike Metode pretprocesiranje rezultiraju u promjeni intenziteta individualnog piksela. Funkcije pretprocesiranja se mogu podijeliti u dvije osnovne grupe, na osnovu toga kako je odabrana rezultujuc a svjetlina pojedinog piksela: intenzitet piksela se izrac unava iskljuc ivo na osnovu odgovarajuc eg piksela iz originalne slike. U ovu grupu spadaju funkcije koje koriste više slika za izrac unavanje svjetline. Neke od funkcija iz ove grupe su transformacije mape boja, usrednjavanje, odred ivanje minimuma i maksimuma i slic no, operacije koje uzimaju u obzir neposrednu okolinu svakog piksela prilikom izrac unavanja njegovog intenziteta. U ovu grupu spadaju sve operacije filtriranja, segmentacije i slic no. Operacije lokalnog predproceiranja se mogu podijeliti u dvije grupe. Operacije izglad ivanja se koriste za uklanjanje šuma i drugih fluktuacija na slici. Ovim metodama se uklanjaju pikseli sa velikom promjenom intenziteta, odnosno uklanjaju se ivice, što može biti veoma bitna informacija o samoj slici. Operacije koje imaju suprotan efekat su gradijent operacije. Njihov cilj je da istaknu lokacije na slici sa velikom promjenom osvjetljenosti, što reprezentira ivice objekata. U metode pretprocesiranja spadaju i geometrijske transformacije nad slikom (rotacija, translacija i drugo) Gradijent Promjene u funkciji slike mogu se opisati gradijentom. Gradijent slike predstavlja lokalnu derivaciju funkcije slike i odred uje najvec i rast u funkciji slike. Ova metoda je fundamentalna u algoritmima za odred ivanje ivica, ali se može koristiti i zasebno u nekim aplikacijama. Magnituda gradijenta grad g(x, y) i smjer ψ se odred uju kao: g 2 g 2 grad g(x, y) = +, (3.1) x y g g, ψ = arg. x y (3.2) Klasifikacija objekata bazirana na barkodovima 14 Na slici 3.1 se vidi kako je barkod regija istaknuta primjenom gradijent operatora.

25 Analiza metoda za izdvajanje dijela slike sa barkodom 3.2 Segmentacija Segmentacija slike je jedan od najvažnijih koraka u procesiranju digitalne slike. Njen rezultat je izdvajanje dijelova slike koji su reprezentacija stvarnih objekata sadržanih u slici. Metode segmentacije se mogu podijeliti u tri osnovne grupe, preka algorimu izvo denja: segmentacija pragom (eng. Thresholding), segmentacija na osnovu diskontinuiteta (eng. Edge-based segmentation), regijski bazirana segmentacija (eng. Region-based segmentation). Segmentacija pragom predstavlja izdvajanje objakta od pozadine na osnovu zadanog jednog ili više pragova. Algoritam se zasniva na tome što se intenzitet piksela poredi sa odabranim pragom, a zatim se u zavisnosti da li je intenzitet piksela veći ili manji od odabranog praga isti svrstava u objekat ili pozadinu. Ovo je najjednostavnija metoda segmentacije sa jednim pragom. Ukoliko se vrši binarizacija slike sa prisustvom dosta šuma, postoje adaptivni algoritmi odabira praga analizom neposredne okoline svakog piksela. Segmentacija na osnovu diskontinuiteta je segmentacija na osnovu ivica na slici. Ovi algoritmi koriste operatore za detekciju diskontinuiteta u nijansama sive, teksture i/ili boje. Ivica se može definirati kao velika promjena intenziteta izme du pojedinih piksela, što navodi da se u ovim metodama koristi već navedeni operator gradijenta. Regijski bazirana segmentacija za razliku od prethodno opisanih metoda konstruišu regiju direktno. Osnovni princip za detekciju regije je homogenost. Segmentacija se vrši po kriteriju najveće homogenosti. Homogenost može biti odre dena bojom, nijansama sive, teksturom i slično. Ove metode daju najbolje rezultate kada se vrši segmentacija slike na kojoj je prisutno dosta šuma, gdje je otežana detekcija ivica. [8] Metoda segmentacije pragom Najjednostavnija segmentacija sa jednim pragom je transformacija slike f u segmentiranu, binarnu sliku g prema relaciji: g(i, j)= { 1 za f(i, j) T 0 za f(i, j) T (3.3) gdje je T intenzitet praga, g(i,j) = 1 za elemente slike koji pripadaju objektu i g(i,j) = 0 za elemente pozadine, a može da vrijedi i obratno. Ako imamo definisanu neku od osobina na slici i ona se vizuelno razlikuje od ostatka slike, a važno nam je da je izdvojimo, onda se globalni prag bira tako da ostane sačuvana željena osobina. U većini slučajeva ova metoda nije prihvatljiva, jer nemamo striktno definirane strukture koje se dosta razlikuju od pozadine i/ili je neujednačeno osvjetljenje objekta od interesa. Tada se pristupa segmentaciji na osnovu više pragova koji se uglavnom odre duju nekim adaptivnim algoritmom. Prilikom odre divanja lokalnog praga gleda se šira okolina i primjenjuje odre dena funkcija za odabir praga, npr. na osnovu srednjeg i standardnog odstupanja svih susjeda unutar odabrane okoline (Niblakov algoritam). [9] Klasifikacija objekata bazirana na barkodovima 15

26 Analiza metoda za izdvajanje dijela slike sa barkodom Slika 3.2: Segmentacija pragom gradijenta slike kako bi se dobila aproksimacija regije barkoda Ova segmentacija se naziva adaptivna segmentacija pragom i može se izraziti relacijom: { 1 za f(i, j) T(x,y) g(i, j)= 0 za f(i, j) T(x,y), (3.4) gdje je prag funkcija lokacije piksela. [6] U ovoj aplikaciji je za izdvajanje dijela slike sa barkodom od pozadine zadovoljavajuće rezultate dala segmentacija na osnovu jednog globalnog praga, uz prethodnu primjenu gradijent operatora. Primjenom segmentacije pragom su dobijeni rezultati na slici 3.2. Kao rezultat je izdvojena regija barkoda od pozadine. Kako bi se uspješno identifikovala kontura barkod regije, potrebno je zatvoriti praznine izme du detektovanih linija sa slike 3.2, kao i ukloniti segmente koji su izdvojeni od pozadine, a nisu dio barkoda. Ovo se postiže primjenom morfoloških operacija nad slikom Houghova transformacija za linije Houghova transformacija je metoda segmentacije objekata poznatog oblika na slici. Prvenstveno je dizajnirana za detekciju i izdvajanje linija i krivih poznatog analitičkog opisa. U nastavku će biti opisan princip izdvajanja linija sa slike primjenom ove transformacije. Svaka prava se može odrediti sa dvije tačke A(x 1,y 1 ) i B(x 2,y 2 ). Prave koje prolaze kroz tačku A se mogu opisati jednačinom y 1 = kx 1 + q za različite vrijednosti parametara k,q IR. Iste prave se mogu zapisati u parametarskom prostoru kao q = x 1 k+y 1. Na ovaj način se svaka prava iz x-y ravni, odnosno svaka tačka jedne prave preslikava u jednu tačku u parametarskom prostoru k-q. Isto tako se mogu zapisati i sve prave koje prolaze kroz tačku B. Presječna tačka u parametarskom prostoru predstavlja pravu koja prolazi kroz tačke A i B što se može vidjeti na slici 3.3 (b). Osnovna ideja ovog algoritma pronalaska linija je da se za svaki piksel slike odrede linije koje mogu prolaziti kroz taj piksel i da se iste preslikaju u parametarski prostor. Tačke iz parametarskog prostora koje se najčešće pojavljuju prilikom ove transformacija predstavljaju linije na slici. [6] Klasifikacija objekata bazirana na barkodovima 16

27 Analiza metoda za izdvajanje dijela slike sa barkodom Slika 3.3: Houghova transformacija. (a) Prostor slike. (b) k-q parametarski prostor. [6] Teoretski je broj linija kroz jednu tačku beskonačan, ali je zbog praktične realizacije ovog algoritma parametarski prostor ograničen i diskretiziran i predstavlja se matricom akumulatora A, čiji su elementi akumulatorske ćelije A(k,q). Za svaki piksel P linija može imati bilo koju orijentaciju iz ograničenog skupa vrijednosti k, dok je parametar q odre den pozicijom piksela i vrijednosti parametra k. Vrijednost unutar odre dene akumulatorske ćelije se povećava svaki put kada je linija sa datim parametrima odre dena kao moguća linija koja prolazi kroz piksel P. Tako će stvarne linije na slici rezultirati velikim vrijednostima odgovarajućih akumulatorskih ćelija, što znači da se detekcija linija svodi na traženje lokalnih maksimuma u parametarskom prostoru, odnosno u akumulatorskoj matrici. Prilikom parametarskog opisa prave kao y = kx + q javljaju se odre dene poteškoće za detekciju vertikalnih linija (k ) i prilikom nelinearne diskretizacije parametra k. Stoga ova parametrizacija ima samo teorijski značaj, a koristi se reprezentacija prave kao: s=xcosθ + ysinθ. (3.5) Ovakvom parametrizacijom su izbjegnuti prethodno navedeni problemi. Algoritam Houghove transformacije je veoma robusan. Nije osjetljiv na nedostatke piksela koji formiraju liniju na slici (isprekidana linija). Nedostatak tih piksela će samo rezultirati manjom vrijednošću lokalnog maksimuma akumulatorske ćelije koja odgovara toj liniji. Metoda cv::houghlinesp iz OpenCV biblioteke koja implementira algoritam Houghove transformacije za linije će biti iskorištena za ekstrakciju linija linearnih barkodova. Klasifikacija objekata bazirana na barkodovima 17

28 Analiza metoda za izdvajanje dijela slike sa barkodom 3.3 Morfološka obrada slike Morfološka obrada slike podrazumijeva primjenu matematske morfologije, zasnovane na teoriji skupova, nad binarnim slikama. Bazirana je na algebri nelinearnih operatora. Koristi se u svrhu detekcije i lociranja oblika. Primarne morfološke operacije su: erozija, dilatacija. Na osnovu njih se mogu formirati kompleksnije operacije kao što su otvaranje binarne slike, zatvaranje i dekompozicija. [8] Erozija Erozija (eng. erosion) skupa B nad skupom X se definiše kao: X B={p ε 2 : p=x+b Xzasvakob B}. (3.6) Operacijom erozije dolazi do uklanjanja elemenata slike (iz skupa X) koji su sadržani u skupu B, koji predstavlja strukturnu cjelinu za upore divanje. Primjenom operacije erozije dolazi do istanjivanja objekta i uklanjanja "uskih" dijelova objekta. Ova operacija je dobra za uklanjanje šumova Dilatacija Dilatacija (eng. dilation) skupa B nad skupom X se definiše kao: X B={p ε 2 : p=x+b,x Xib B}. (3.7) Primjenom operacije dilatacije dolazi do ispunjavanja sitnih rupa u objektu koji su klasificirani kao pozadina, i popunjavanja malih i uskih zakrivljenja na krajevima objekta. Dilatacijom se povećavaju dimenzije objekta od interesa, pa ako je bitno da one ostanu očuvane onda se operacija dilatacije koristi u kombinaciji sa erozijom. [8] Otvaranje i zatvaranje binarne slike Otvaranje binarne slike se definiše kao: A B=(A B) B (3.8) Otvaranje slike predstavlja eroziju slike (skup A) skupom B, a zatim slijedi dilatacija rezultujuće slike skupom B. Zatvaranje binarne slike se definiše kao: A B=(A B) B (3.9) Kod zatvaranja binarne slike je redosljed obavljanja operacija obrnut. Pošto je dobijena binarna slika 3.2, a potrebno je zatvoriti praznine izme du paralelnih linija barkoda, nad ovom slikom je potrebno primijeniti operaciju zatvaranja. Da bi se uklonili eventualni sitni dijelovi koji ne pripadaju barkodu potrebno je primijeniti morfološku operaciju erozije, a zatim operaciju dilatacije, odnosno morfološko otvaranje. Erozija će ukloniti nepotrebne dijelove koji bi mogli doći u konflikt sa korisnim podatkom prilikom odabiranja konture, a dilatacija će povećati regiju barkoda. Rezultati primjene operacija morfološkog otvaranja i zatvaranja su prikazani na slikama 3.4 i 3.5. Klasifikacija objekata bazirana na barkodovima 18

29 Analiza metoda za izdvajanje dijela slike sa barkodom Slika 3.4: Primjena morfološke operacije zatvaranja za uklanjanje šupljina izme du linija barkoda Slika 3.5: Uklanjanje malih, irelevantnih segmenata primjenom morfološke operacije otvaranja Klasifikacija objekata bazirana na barkodovima 19

30 Analiza metoda za izdvajanje dijela slike sa barkodom 3.4 Opisivanje regiona na slici Nakon segmentacije objekata od interesa na slici, često je potrebno iste i opisati i/ili označiti. Čest način opisivanja kontura na slici je pomoću tzv. lančanog koda (eng. Chain Code). U nastavku će biti opisan način predstavljanja konture pomoću lančanog koda Lančani kod Lančani kod (Freeman-ov kod) se koristi za opisivanje kontura, odnosno granica identificiranog objekta na slici. Kontura se definiše sa referentnom ili početnom tačkom i sekvencom simbola kojima se kodira povezanost susjednih piksela, odnosno smjer povezanosti. Korsiti kodiranje u osam ili četiri smjera počevši od orijentacije desno obrnuto kazaljci na satu. Algoritam je implementiran tako da se prvo prona de referentni piksel koji predstavlja granicu nove regije koja je detektovana na slici. Zatim se pronalaze susjedni pikseli koji tako der predstavljaju granicu regije, kodira se njihova povezanost i prelazi se na sljedeći piksel. Ovaj korak se ponavlja sve dok se ponovno ne detektuje referentni piksel. [6] Slika 3.6: Primjer kodiranja u 8 smjerova (S je početna pozicija) U OpenCV bibliotci je implementirana funkcija cv::findcontours koja vraća niz tačaka koje opisuju prona dene konture na slici. Klasifikacija objekata bazirana na barkodovima 20

31 Poglavlje 4 Lociranje i dekodiranje barkodova sa slike ZXing ("zebra crossing") je open-source biblioteka za dekodiranje različitih 1-D i 2-D barkodova na slici. Tako der omogućava i generisanje istih. Prije samog algoritma dekodiranja interno je implementiran algoritam obrade slike u svrhu detekcije barkoda i pretvaranjem u pogodan oblik za dekodiranje. Koraci obrade su predstavljeni dijagramom na slici 4.1. Slika 4.1: Dijagram toka algoritma za dekodiranje barkoda Nakon korištenja biblioteke nad nizom eksperimentalno dobivenih slika utvr deno je da primjenom osnovnog algoritma implementiranog u biblioteci nije moguće detektovati barkodove pod uglom, odnosno takve orijentacije kod kojih je linija kodiranja horizontalna. Stoga je implementiran algoritam koji odre duje orijentaciju barkoda kako bi se izvršila rotacija i omogućilo ispravno dekodiranje primjenom navdene biblioteke. 4.1 Opis algoritma za odre divanje orijentacije i rotaciju barkoda Da bi se odredila orijentacija linearnih barkodova korištene su metode obrade slike koje su opisane u poglavlju 3. U osnovi se algoritam oslanja na karakteristiku barkoda da je informacija koju nosi sadržana u linijama, tj. linija je element koji odre duje orijentaciju. Pored toga barkod je okarakterisan velikom gustinom linija. Algoritam opisan u nastavku oslanja se na ove osobine kako bi se odredila i ispravila orijentacija barkoda na slici. U osnovi se algoritam može podijeliti na dva koraka i to: procjena orijentacije barkoda, analiza regije barkoda i odre divanje ugla orijentacije. Originalna slika koju je potrebno rotirati prikazana je na slici 4.2. Klasifikacija objekata bazirana na barkodovima 21

32 Lociranje i dekodiranje barkodova sa slike Slika 4.2: Originalna slika Procjena orijentacije barkoda Pošto su linearni barkodovi okarakterisani velikom promjenom intenziteta piksela duž linije kodiranja, njihovu detekciju je lahko izvršiti primjenom metode gradijenta. Da bi se dobila informacija o gradijentu primijenjena su četiri direkciona filtera pod uglovima 0, 45, 90 i 135 stepeni. U tu svrhu je korištena metoda iz OpenCV biblioteke cv::filter2d kojoj se proslje duje strukturni element za filtriranje. Strukturni element je odabran kao tzv. Kirsch operator za filtriranje u svih osam smjerova kompasa, zbog čega se još naziva i kompas operator. Nakon toga je izvršena segmentacija pragom kako bi se dobile četiri binarne slike koje nose informaciju o gradijentu. Prag je postavljen blizu maksimalne vrijednosti jer je gradijent operator na prelazu crno-bijelo kreirao maksimalnu vrijednost piksela. S obzirom da se radi o kompleksnoj pozadini koja može sadržavati ivice u istoj orijentaciji kao i barkod, na binarnim slikama će se pojaviti odre dene smetnje. Kako je barkod okarakterisan velikom gustinom ivica može se primijeniti morfološka operacija otvaranja kako bi se uklonili šumovi iz pozadine i više istaknuo sami barkod. Dobiveni rezultati su prikazani na slici 4.3. Pore denjem nastalih binarnih slika moguće je procijeniti glavnu orijentaciju barkoda i odabrati binarnu sliku za sljedeći korak obrade. Direkcionim filtriranjem se izdvojio barkod i ivice u pozadini paralelne barkodu. Orijentacija se odre duje brojanjem ivica za sve četiri binarne slike i odabira se ona sa najviše izbrojanih piksela koji reprezentiraju ivice. U testnom slučaju je to slika 4.3 d) Računanja ugla Nakon odre divanja orijentacije, potrebno je precizno odrediti regiju barkoda kako bi se izvršila ekstrakcija ugla orijentacije. Kako je na binarnoj slici najveća gustina piksela koji reprezentiraju ivice unutar regije barkoda, potrebno je kreirati sliku gustine piksela (eng. density image). Ova slika nastaje iz binarne slike tako što se ona podijeli u N segmenata veličine mxn, gdje m i n predstavljaju broj piksela u jednom redu i koloni. Zatim se u svakom segmentu odredi broj piksela od interesa (u ovom slučaju su to pikseli sa vrijednosti 1, odnosno bijelo) i taj segment se kodira brojem piksela od interesa 0 m n 1. Ovo kodiranje regija se može vizuelno predstaviti na novoj slici koja predstavlja sliku gustine piksela. Barkod regija je u segmentu sa najvećom gustinom piksela. Oko tog segmenta se kreira kružna maska prečnika 50 piksela kako bi se izvršila ekstrakcija linije. Potom je primjenjena Houghova transformacija za linije. Klasifikacija objekata bazirana na barkodovima 22

33 Lociranje i dekodiranje barkodova sa slike Slika 4.3: Dobivene binarne slike: a) ugao 0, b) ugao 90, c) ugao 45, d) ugao 135 Ugao rotacije se računa za prvu liniju čija je dužina veća od postavljenog praga minimalne dužine (u ovom slučaju 25 piksela). Na slici 4.4 je prikazana odabrana regija barkoda i linija čiji se ugao nagiba računa. [10] Rezultat primjene opisanog algoritma nad testnom slikom je prikazan na slici 4.5. Slika 4.4: Rezultat konstrukcije maske i detekcije linije Slika 4.5: Krajnji rezultat primjene algoritma Klasifikacija objekata bazirana na barkodovima 23

34 Lociranje i dekodiranje barkodova sa slike 4.2 Više barkodova na slici Primjenom algoritma iz poglavlja tri i prethodno opisanog algoritma za odre divanje orijentacije, moguće je izvršiti detekciju i dekodiranje više linearnih barkodova na jednoj slici/frejmu. Koraci obrade će biti prikazani na reprezentativnom primjeru ispod. Algoritam je razvijen u programskom jezicku C++ korištenjem biblioteka OpenCV i ZXing. Slika 4.6: Koraci za realizaciju algoritma Klasifikacija objekata bazirana na barkodovima 24

35 Lociranje i dekodiranje barkodova sa slike Slika 4.7: Primjer 1 Slika 4.8: Primjer 2 Prvo je primijenjen algoritam predstavljen u trec em poglavlju nad originalnom slikom, kako bi se izdvojile regije sa barkodom na slici. Zatim su lanc anim kodom opisane detektovane regije i izdvojeni na zasebne slike (slika 4.6 pod 3). Kako je navedeno u ovom poglavlju, potrebno je odrediti orijentaciju izdvojenih barkodova i izvršiti njihovu rotaciju kako bi se izvršilo ispravno dekodiranje (koraci 4, 5 i 6). Nakon uspješnog dekodiranja na originalnoj slici se nacrta pravougaonik oko detektovane regije iz koraka dva i ispisuje sadržaj barkoda. U nastavku c e biti prikazani rezultati primjene ovog algoritma na dva razlic ita primjera. Klasifikacija objekata bazirana na barkodovima 25

36 Poglavlje 5 Analiza eksperimentalnih rezultata U ovom poglavlju će biti prikazani rezultati eksperimenata nastalih primjenom prethodno opisanih algoritama, uz korištenje ZXing biblioteke nad različitim uzorcima. Algoritmi obrade slike su implementirani u programskom jeziku C++ korištenjem biblioteke OpenCV. Eksperimenti su vršeni nad videozapisima snimljenim kamerom Sony XC-55 koja se nalazi na modelu ETFCam v1.0. Pored toga su snimljeni uzorci za testiranje biblioteke čija je rezolucija 1028 x Fiksni frejmovi U ovom dijelu će biti ispitane performanse i tačnost ZXing biblioteke, kao i njena ograničenja. Tipovi barkodova koji su podržani ovom bibliotekom su: UPC-A, UPC-E, EAN-8, EAN-13 linearni barkod standardi koji se nalaze na proizvodima, Code39, Code93, Code128, Codebar, ITF, koji su najčešće korišteni industrijski linearni barkod standardi, QR Code, DataMatrix, PDF417, najčešće korišteni dvodimenzionalni kodovi. S obzirom da je u ovom dijelu cilj ispitati rad biblioteke neovisno, uzorci su uzimani bez pozadine i sa normalnom orijentacijom barkodova Odre divanje minimalno potrebnog broja piksela po liniji barkoda Pri ovom eksperimentu je korišteno 5 različitih uzoraka sa različitim linearnim barkod standardima. Potrebno je odrediti minimalan broj piksela po liniji da bi se uspješno izvršilo dekodiranje. Pošto je svaka linija barkoda odre dena kao cjelobrojni umnožak osnovne vrijednosti, koja se zove modulo. Ako se izgubi ova osobina prilikom smanjenja barkoda, odnosno udaljavanja kamere, dekodiranje se neće uspješno izvršiti. Utvr deno je da je minimalan broj piskela, za svaki od uzoraka, po modulu 3. Eksperiment je izvršen potpuno softverski kroz niz iteracija. Originalna slika se umanjuje iterativno, čime se efektivno smanjuje rezolucija, a tim i broj piksela po liniji. Zatim se nastala slika u svakoj iteraciji proslje duje u biblioteku za dekodiranje. Ukoliko se dekodiranje uspješno realizuje, odabere se red slike u kojem je sadržana informacija barkoda i kodira se binarno (svaki piksel postaje 0 ili 1 zavisno od trenutne vrijednosti piksela, 0-255), odakle se ekstraktuje širina pojedinih linija. Klasifikacija objekata bazirana na barkodovima 26

37 Analiza eksperimentalnih rezultata Postupak se ponavlja sve dok dekodiranje ne uspije. Iz posljednje uspješne iteracije se odre duje broj piksela koji čine modulo. Slika 5.1: Primjer za odre divanje minimalne širine linije barkoda Analiza vremena izvršavanja algoritma dekodiranja Brzina izvršavanja algoritma je jedan od njegovih najznačajnih karakteristika jer je zahtjev prilikom realizacije u industriji da se algoritam izvršava u realnom vremenu. U ovom segmentu se ispituje brzina rada biblioteke kako bi se moglo procijeniti koliko se vremena može rezervisati za metode pretprocesiranja slike u svrhu normalizacije podataka, a da ukupni algoritam ostane upotrebljiv. Eksperiment je izvršen nad 5 uzoraka različitih barkodova i uz različite rezolucije slike. Tako der, s obzirom da korištena biblioteka posjeduje dekoder za svaki tip barkoda zasebno, kao i dekoder koji prepoznaje tip barkoda, upore deno je i vrijeme izvršavanje svakog od njih. Specifikacije računara i aplikacija na kojima su vršeni eksperimenti su: Procesor: Intel(R) Core(TM) i3-400m 2.40GHz RAM memorija: 3825 MiB Operativni sistem: Ubuntu Qt: OpenCV: Rezultati eksperimenta su prikazani u tabelama 5.1 i 5.2. Vremena u tabelama predstavljaju srednje vrijeme od 100 mjerenja za svaki uzorak. Može se vidjeti iz tabele 5.1 da se primjenom vlastitog dekodera znatno ubrzava algoritam što je i za očekivati, tako da ga je neophodno koristiti u aplikacijama gdje se unaprijed poznaje koji se barkod standard koristi kao nositelj informacije, posebno ako se upotrebljavaju 2-D standardi. Tako der se primjećuje velika razlika u brzini izvo denja algoritma za 2-D standarde, ali se upotrebom linearnih barkodova smanjuje kapacitet informacije i različitost sadržaja kao što je to kod 2-D kodova. U eksperimentu dva, tabela 5.2, prikazano je kako vrijeme izvršavanja algoritma zavisi od rezolucije slike. Rezultati su tako der očekivani, algoritam je brži pri manjim rezolucijama slike, jer je informacija kodirana manjim brojem piksela (linija kod linearnih barkodova) što značajno uproštava algoritam. Ponovo je ta razlika izrazita kod 2-D kodova. Me dutim treba voditi računa o ograničenjima što se tiče rezolucije koji su opisani u prethodnom dijelu. Klasifikacija objekata bazirana na barkodovima 27

38 Analiza eksperimentalnih rezultata Tip barkoda Zajednički dekoder Vlastiti dekoder ITF 0,72693 ms 0,22918 ms EAN13 0,10334 ms 0,07922 ms CODEBAR ms 0,25993 ms QR CODE 27,29090 ms 20,29450 ms PDF ,23500 ms 113,96900 ms Tabela 5.1: Vrijeme potrebno za dekodiranje barkodova Tip barkoda Rezolucija1/vrijeme Rezolucija2/vrijeme Rezolucija3/vrijeme 4537x x x85 ITF 1,36112 ms 0,50285 ms 0,22461 ms 1024x x x192 EAN13 0,13784 ms 0,11190 ms 0,06961 ms 1070x x x147 CODEBAR ms 0,33100 ms 0,27799 ms 750x x x187 QR CODE 42,61540 ms 14,0377 ms 5,96133 ms 1050x x x137 PDF ,93200 ms 250,27300 ms 122,11337 ms Tabela 5.2: Vrijeme potrebno za dekodiranje barkodova Može se zaključiti da postoje kompromisi izme du sadržaja koji nosi barkod i brzine dekodiranja istog. Zbog toga se u industriji uglavnom koriste linearni barkodovi koji su robusni po pitanju kodiranja informacije (ITF i/ili CODEBAR), a tako der se lahko dekodiraju, odnosno brzo. Navedeni kodovi su pokazali dobre karakteristike po tom pitanju u realiziranim eksperimentima. Klasifikacija objekata bazirana na barkodovima 28

39 Analiza eksperimentalnih rezultata Ispitivanje specific nih uzoraka U ovom dijelu c e se ispitati neki od uslova primjene biblioteke, s obzirom na pozicioniranje barkoda i/ili lokalne deformacije. To podrazumijeva rotiran barkod, vidljiv dio koda, barkod na zgužvanim površinama i na oblim predmetima. Jedno od ogranic enja vec navedeno u poglavlju 4 je da orijentacija linearnih barkodova mora biti normalna, tj. da je linija kodiranja informacije horizontalna. Devijacije u uglu rotacije onemoguc uju ispravno dekodiranje. Prosjec an ugao do kojeg je moguc e ispravno dekodiranje iznosi ±16. Ovaj problem je riješen u poglavlju 4. U nastavku su prikazani sluc ajevi gdje je izvršeno uspješno dekodiranje iako barkod regija nije u potpunosti vidljiva. Slika 5.2: Primjer 1, vidljiv dio koda Slika 5.3: Primjer 2, vidljiv dio koda Slika 5.4: Primjer 3, vidljiv dio koda Može se primijetiti da je barkod QR kod veoma otporan na gubitak informacije. Moguc e je dekodiranje sve dok je manje od 30% sadržaja izgubljeno, što mu omoguc ava algoritam ispravljanja grešaka i c ini ga veoma otpornim na deformacije. Na sljedec im slikama c e biti prikazani rezultati primjene algoritma nad zgužvanim barkodovima (slike 5.5 i 5.6) i barkodovima na oblim predmetima (slike 5.7 i 5.8). Slika 5.5: Primjer 1, zaobljen barkod, uspješno Klasifikacija objekata bazirana na barkodovima Slika 5.6: Primjer 2, zaobljen barkod, neuspješno 29

40 Analiza eksperimentalnih rezultata Ovaj eksperiment je proveden samo iz demonstrativnog razloga i nije posebno analiziran. Prilikom njegove realizacije utvrd eno je da dekodiranje radi na ogranic enom skupu uzoraka. Može se zakljuc iti da nije pouzdano i preporuc ljivo postavljati linearne barkodove na savitljive i oble površine, ukoliko se radi o ovom nac inu dekodiranja, pomoc u kamere, jer lako dolazi do izoblic enja sadržaja. Slika 5.7: Primjer 3, zagužvan barkod, uspješno Slika 5.8: Primjer 4, zgužvan barkod, neuspješno Slika 5.9: Testni primjer 1 Slika 5.10: Testni primjer 2 Slika 5.11: Testni primjer 3 Klasifikacija objekata bazirana na barkodovima 30

41 Analiza eksperimentalnih rezultata 5.2 Pomični frejmovi Nakon analize ponašanja i ograničenja primjene ZXing biblioteke implementiran je algoritam za dekodiranje barkodova na objektima koji se kreću na pokretnoj traci koja je integrisana u modelu ETFCam v1.0. Testni uzorci su snimljeni pri normalizovanoj brzini trake od 40%. Frejmovi ekstraktovani iz videozapisa su rezolucije 640 x 480. Prilikom snimanja objekata koji se kreću dolazi do mućenja slike (eng. blurring) što se pojavljuje zbog procesa tzv. prepletanja (eng. interlacing koji se često koristi u video tehnici da bi se povećao broj frejmova po sekundi. Najčešći i najjednostavniji oblik ovog procesiranja je taj što se svaki realni uzorak/frejm snimljen kamerom podijeli po parnim i neparnim redovima i tako se kreiraju dva frejma iz svakog od skupova čime se udvostručio broj prikazanih frejmova u sekundi. [11] Ovaj proces onemogućava dekodiranje barkodova sa izmijenjenom orijentacijom. Za barkodove čija je linija kodiranja okomita na smjer prepletanja ovaj proces ne predstavlja problem, ali je to značajno ograničenje na razvijeni sistem. Na slici 5.12 se jasno vidi pojava mućenja nastala ovim procesom. Slika 5.12: Frejm sa prepletanjem (interlacing) Korištena kamera ima opciju rada bez prepletanja videozapisa, pri čemu joj je smanjena brzina generisanja frejmova na 1/30[s]. U ovom modu rada jedan frejm se generiše od dva sukcesivna uzorka (parni redovi iz jednog, a neparni iz drugog uzorka). Iz tog razloga je implementiran kratki algoritam pretprocesiranja koji kreira frejm samo iz parnih ili neparnih redova. Rezultujući frejm 5.14 je pogodan za dalju obradu slike, a izbjegnuta je pojava mućenja. Ovaj algoritam je implementiran u C++ programskom jeziku i dio koda koji ga realizira se nalazi u prilogu. Potreno je napomenuti da ovaj dio algoritma nije nužno neophodan i može se izostaviti ukoliko se radi snimanje kamerom drugačijih performansi. Klasifikacija objekata bazirana na barkodovima 31

42 Analiza eksperimentalnih rezultata Slika 5.14: Rezultantni frejm za obradu Slika 5.13: Preklapanje sukcesivnih uzoraka u jedan frejm Rad implementiranog algoritma, njegova brzina i tečnost testirana je korz 3 scenarija: Test 1 (slika 5.9) - ITF barkod, normalne orijentacije, normalizirana brzina trake 40%, Test 2 (slika 5.10) - ITF barkod, ugao orijentacije 30, normalizirana brzina trake 40%, Test 3 (slika 5.11) - EAN13 barkod, normalne orijentacije, normalizirana brzina trake 40%. Brzine izvršavanja pojedinih dijelova implementiranog algoritma može se vidjeti u tabeli 5.3. Može se vidjeti da proces primjene gradijentnog filtera u četiri orijentacije, što je opisano u poglavlju 4, zahtijeva veliki vremenski interval za obradu. Ovaj dio algoritma je neizbježan kako bi se precizno odredila orijentacija barkoda. Pored toga i morfološke operacije nad slikom zahtijevaju dosta vremena. Treba imati u vidu da se sve ove operacije primjenjuju na četiri različite binarne slike, do koraka kada se procijeni glavna orijentacija. Nakon toga se analizira samo jedna binarna slika. Kreiranje slike gustine bijelih piksela (density image) traje dosta dugo u prvom testnom primjeru, a može se smanjiti podešavanjem parametara, tako što će se slika podijeliti u veće segmente, a tim se gubi na preciznosti algoritma. U testnom primjeru 1 se slika dijeli na segmente veličine 1x32, a u testnim primjerima 2 i 3 na segmente veličine 8x8. Vrijeme izvršavanja ovog dijela koda se smanjilo. Houghova transformacija za linije je još jedan proces koji zahtijeva znatno više vremena u pore denju sa ostalim. Neizbježna je za ekstrakciju linija barkoda, kako bi se odredila precizno orijentacija i ugao rotacije. Za razliku od algoritma implementiranog u poglavlju 4, gdje se ugao računa na osnovu najduže linije u regiji od interesa, u ovom eksperimentu je algoritam implementiran tako da odredi ugao na osnovu prvih n detektovanih linija sa približno istim uglom. To odstupanje i parametar n se zadaje prije izvršenja eksperimenta. Klasifikacija objekata bazirana na barkodovima 32