MODEL NORMALIZACIJE UGLA KRETANJA U SISTEMIMA ZA PREPOZNAVANJE OSOBA NA OSNOVU HODA

Size: px

Start display at page:

Download "MODEL NORMALIZACIJE UGLA KRETANJA U SISTEMIMA ZA PREPOZNAVANJE OSOBA NA OSNOVU HODA"

Cornelia Stone
5 years ago
Views:

1 MODEL NORMALIZACIJE UGLA KRETANJA U SISTEMIMA ZA PREPOZNAVANJE OSOBA NA OSNOVU HODA MODEL OF TRAJECTORY NORMALISATION IN HUMAN GAIT RECOGNITION SYSTEMS Petar Protić, Fakultet Organizacionih Nauka, Univerzitet u Beogradu, pprotic@gmx.com Uroš Šošević, Fakultet Organizacionih Nauka, Univerzitet u Beogradu, uros.sosevic@fon.bg.ac.rs Miloš Milovanović, Fakultet Organizacionih Nauka, Univerzitet u Beogradu, milos.milovanovic@fon.bg.ac.rs Apstrakt: Biometrijski sistemi za prepoznavanje osoba na osnovu hoda pokazuju najveću uspešnost korišćenjem fronto-paralelnog ili fronto-normalnog ugla snimanja. Problem upotrebljivosti kod oba pristupa javlja se u realnim okruženjima gde subjekat menja ugao i pravac kretanja. Jedan od načina prevazilaženja datog problema je primena matematičkih transformacija za usklađivanje trajektorije subjekta. U prvom delu rada biće dat pregled postojećih modela za transformaciju. Nakon analize biće dat predlog novog modela i opisan njegov razvoj, implementacija i testiranje. Kreirano prototipsko softversko rešenje oslanjaće se na postojeću biometrijsku bazu podataka razvijenu u okviru Laboratorije za multimedijalne komunikacije. Jedan od ciljeva rada je da se uradi istraživački pregled oblasti normalizacije ugla kretanja u sistemima za biometrijsku identifikaciju na osnovu hoda. Krajnji rezultat koji treba da se postigne jeste jedinstveni model za postizanje invarijantnosti na ugao kretanja u sistemima za prepoznavanje na osnovu hoda. Ključne reči: prepoznavanje na osnovu hoda, ugao kretanja, normalizacija Abstract: Biometric gait recognition systems give best results using fronto-parallel or fronto-normal shooting angle. The usability problem of both methods occurs in real-world environment where the subject changes the angle and direction of movement. One of the approaches to overcome this problem is the application of mathematical transformations in order to align the trajectory of the subject. The first part of this paper provides an overview of existing transformation models. After analysis a new model will be proposed and described its development, implementation and testing. Created prototype software solution will rely on existing biometric database developed in the Multimedia Communication Laboratory. One of the goals of this work is to perform a research survey of normalization angle of movement in gait biometric identification systems. The end result to be achieved is a unique model for ensuring invariance of the angle of movement in gait recognition systems. Keywords: gait recognition, angle of movement, normalization. 1.UVOD Ljudski hod (engl. gait) predstavlja niz koordinisanih i cikličnih pokreta koji kao rezultat daju ljudsko kretanje (engl. locomotion) [1]. Hod predstavlja manifestaciju celokupne geometrije ljudskog tela, npr. proporcije udova i fiziologije tela koja uključuje skeletni sistem i muskulaturu. Upravo osobine cikličnosti i koordinisanosti čine ljudski hod jedinstvenim fenomenom. Pokreti kao što su npr. bacanje kamena jesu koordinisani, ali nisu ciklični. Takođe, skokovi u mestu predstavljaju istovremeno koordinisanu i cikličnu pojavu, ali ne dovode do kretanja. U pogledu biometrije ljudski hod ima karakteristična svojstva koja mu daju prednost u odnosu na druge metode. Pre svega, zbog svoje neinvazivne prirode prikupljanje slika ili snimaka hoda pojedinca može se prilično jednostavno vršiti na javnim mestima koristeći standardne uređaje, bez potrebe za interakcijom od strane korisnika. Osoba čak ne mora biti ni svesna da je posmatrana i identifikovana, s obzirom da se kamera ili uređaj za akviziciju može postaviti na većoj razdaljini. Još jedna od prednosti korišćenja hoda odnosi se na bitan faktor pogodnosti modaliteta za upotrebu - obmanjivost ili izigravanje (engl. circumvention). Za razliku od drugih karakteristika koje se određenim, često jednostavnim metodama mogu prikriti ili imitirati, ljudski hod zbog velikog broja specifičnih činilaca i fizičke konstitucije pojedinca zahteva dodatne psiho-fizičke napore. Izvesno je da bi u nekom trenutku došlo do smanjenja koncentracije i otkrivanja originalnog hoda.

Veliki broj istraživanja iz oblasti prepoznavanja osoba na osnovu hoda se oslanja na fronto-paralelni ugao snimanja, tj. ugao od 180 u odnosu na uređaj za akviziciju.

2 U okviru analize ljudskog hoda i različitih vidova primene "usko grlo" predstavlja ugao posmatranja osobe. Ovo poglavlje daje detaljnije razmatranje problema kao i različite pristupe kojima se uticaj datog faktora može minimalizovati ili eliminisati. Veliki broj istraživanja iz oblasti prepoznavanja osoba na osnovu hoda se oslanja na fronto-paralelni ugao snimanja, tj. ugao od 180 u odnosu na uređaj za akviziciju. Razlog za to je činjenica da su određene vizuelne karakteristike uočljivije u poređenju sa drugim uglovima posmatranja ili se mogu na jednostavniji način izračunati, poput dužine kretanja. Međutim, u većini realnih situacija se ne može očekivati niti nametnuti kretanje osobe pod određenim uglom. Primer proizvoljnog ugla dat je na slici 1. biometrijskog sistema. Postojeći metodi mogu se klasifikovati u tri kategorije: 1) Korišćenje karakteristika hoda na koje ugao snimanja nema uticaj 2) Rekonstrukcija hoda pod bilo kojim uglom koristeći informacije o trodimenzionalnoj strstrukturi koje se dobijaju kalibracijom 3) Projekcija karakteristika hoda uz jednog ugla u drugi koristeći transformacije pogleda Kao predstavnici prvog pristupa, u svom radu Jean et al. [2] predstavili su metod za izračunavanje i procenu trajektorija delova tela koje su invarijantne u odnosu na ugao posmatranja. Korišćene su video sekvence snimljene jednom kamerom. Prikaz metoda dat je na slici 2. Slika 2. Pregled metoda Jean et al. [2] Slika 1. Scena video nadzora (izvor: Usled efekta perspektivne projekcije na slici dolazi do deformacije pokreta. Da bi se izvršilo relevantno poređenje i prepoznavanje osobe ukoliko su karakteristike hoda vezane za ugao snimanja, neophodno je obezbediti da se ugao odgovarajućeg uzorka u bazi podataka poklapa sa uglom snimka koji se dobija akvizicijom. 2. LITERATURA S obzirom da je prepoznavanje na osnovu hoda kao i biometrija uopšte predmet povećanog interesovanja naučne zajednice, konstantno se razvijaju i unapređuju pristupi kojima se u određenoj meri rešava problem ugla posmatranja i njegovog uticaja na performanse Trajektorija delova tela (stopalo, glava, šaka) je definisana kao niz sukcesivnih 2D pozicija na kojima se nalaze u okviru video snimka. Na nivou frejma svaki deo je predstavljen jednom tačkom. Normalizacija pogleda se sastoji u tome da se pojedinačne trajektorije predstave kao da se posmatraju iz fronto-paralelnog ugla. Ovaj pristup normalizacije pogleda koristi automatsku inicijalizaciju i ne zahteva kalibraciju kamere i kompleksna izračunavanja. S obzirom da se ne vrši kalibracija, slike sa kamere imaju određeni nivo distorzije, što nema preveliki uticaj u poređenju sa perspektivnom projekcijom. Normalizacija pogleda kao ulazne informacije dobija trajektorije koje su zavisne od ugla posmatranja. Proces normalizacije je nepromenjiv u odnosu na to koje pojedinačne tačke će biti izabrane ili na broj tačaka. Polazeći od pretpostavke da su putanje glave i stopala najpogodnije za definisanje kretanja čoveka, primenjuje se algoritam za njihovo generisanje. Trajektorija tačke glave definisana je centrom mase koji se izračunava za svaki frejm.

3 Drugi pristup rešavanja problema ugla posmatranja jeste da se na osnovu više kamera iskoriste informacije o 3D strukturi. Bodor et al. [3] koriste tehnike renderovanja na osnovu slike kako bi rekonstruisali hod za bilo koji željeni ugao posmatranja. Pogled pod pravim uglom (frontonormalni) može biti automatski generisan korišćenjem kombinacije ne-ortogonalnih pogleda dobijenih na osnovu snimaka. Rendering na osnovu slike u slučaju prepoznavanja hoda može se primeniti na dva načina: u cilju generisanja dodatnih skupova primera (engl. training sets) koji sadrže veliki broj ne-ortogonalnih pogleda u cilju generisanja ortogonalnih pogleda kombinacijom ne-ortogonalnih pogleda generisanih od strane više različitih kamera Slika 3 Pozicije kamera u odnosu na putanju kretanja [3] Prednost prvog metoda je u tome što se za prepoznavanje može koristiti jedna kamera. Međutim, za određene uglove može biti neodgovarajući, npr. u slučaju kretanja duž optičke ose. Drugi pristup generiše fronto-normalni pogled ili bilo koji drugi koji je neophodan za prepoznavanje određenih akcija. Model transformacije pogleda ili VTM (engl. View Transformation model) se koristi za projekciju određene karakteristike hoda iz jednog ugla u drugi. Za razliku od prve i druge kategorije pristupa, ovde nije neophodno definisati invarijatne osobine hoda, niti koristiti skuplje i komplikovanije sisteme sa više kamera. Treća grupa metoda primenjuje proces faktorizacije. Makihara et al. koriste karakteristike iz frekventnog domena dobijene Furijeovom analizom [4]. VTM se dobija na osnovu skupa primera (engl. training set), koji sadrži slike više subjekata iz više uglova. Njegovom primenom na osnovu jednog pogleda na subjekat kreiraju se slike iz više različitih smerova kretanja. Karakteristike iz frekventnog domena se dobijaju na osnovu prostorno-vremenskog GSV-a (engl. Gait Silhouette Volume). Ovakav pristup isključuje potrebu za sinhronizacijom frejmova. 3. PREDLOG I IMPLEMENTACIJA NOVOG REŠENJA Metodi opisani u prethodnom poglavlju imaju određena ograničenja koja se tiču raspona uglova u kojima su primenjivi, zahteva za komplikovanim sistemima sa više kamera, ili kompleksnih kompjuterskih izračunavanja. Pristup korišćen u ovom radu jeste da se za određenu tehnologiju koja pokazuje uspešne rezultate prepoznavanja kreira novi model transformacije i izvrši analiza odstupanje od uzoraka dobijenih putem senzora. Za potrebe ovog rada korišćena je biometrijska baza podataka koja je realizovana u okviru Laboratorije za multimedijalne komunikacije (u daljem tekstu Laboratorija). Akvizicija podataka oslanja se na naprednu tehnologiju Microsoft Kinect. U okviru uređaja uključeno je nekoliko senzorskih tehnologija: VGA kamera, infra-crveni emiter, infra-crveni senzor dubine, nekoliko mikrofonskih uređaja i jedan elektro motor koji upravlja uglom i nagibom snimanja. Uz pomoć tehnologije strukturnog osvetljenja Kinect predviđa pozu subjekta i na osnovu toga generiše štapnu figuru koju čine 20 ključnih tačaka. Ove tačke su predstavljene preko koordinata trodimenzionalnog prostora. Na slici 4 prikazane su ključne tačke zajedno sa koordinatnim sistemom koji se u određenoj meri razlikuje od standardnog XYZ sistema. Rezultati se beleže u proseku 30 puta u sekundi. Oslanjajući se na Microsoft Kinect API prilagođena aplikacija prihvata podatke sa senzora i beleži ih u tekstualnoj formi. Slika 4. Microsoft Kinect: ključne tačke štapne figure i koordinatni sistem Kao rezultat akvizicije dobijaju se CSV (Comma Separated Value) datoteke, u kojima su sadržane

coordinate tačaka po pojedinačnih frejmovima, i odgovarajuće video datoteke. Akvizicija je vršena iz četiri ugla u oba pravca: 1) Fronto Normalno FN (engl.

Fronto Parallel) S desna na levo FPL (engl. Fronto-Parallel Left) S leva na desno FPR (engl. Fronto-Parallel Right) 3) Dijagonalni s leva (engl.

4 coordinate tačaka po pojedinačnih frejmovima, i odgovarajuće video datoteke. Akvizicija je vršena iz četiri ugla u oba pravca: 1) Fronto Normalno FN (engl. Fronto Normal) Pravolinijski ka kameri FNT (engl. Fronto- Normal Towards) Pravolinijski od kamere FNO (engl. Fronto- Normal Outwards) 2) Fronto-Paralelni (engl. Fronto Parallel) S desna na levo FPL (engl. Fronto-Parallel Left) S leva na desno FPR (engl. Fronto-Parallel Right) 3) Dijagonalni s leva (engl. Diagonal Left) Ka kameri iz gornjeg levog ka donjem desnom uglu DLT (engl. Digaonal-Left Towards) Od kamere iz donjeg levog ka gornjem desnom uglu DLO (engl. Diagonal-Left Outwards) 4) Dijagonalni s desna (engl. Diagonal Right) Ka kameri iz gornjeg desnog ka donjem levom uglu DRT (engl. Diagonal-Right Towards) Od kamere iz donjeg desnog ka gornjem levom uglu DRO (engl. Diagonal-Right Outwards) Kinect tehnologija poseduje i određena ograničenja: Vertikalni ugao koji uspeva da dosegne Kinect je 43,5 sa potencijalnih minus ili plus 27 s obzirom da se ugao snimanja može podešavati Horizontalni ugao koji Kinect dostiže je 57,5 Udaljenost koja se pokriva iznosi od 0,8m do 4m. utvrđuje se da li određeni skup tačaka predstavlja pozitivan, negativan ili neutralan trend; previđanje budućeg trenda. Data prava ima oblik: y = ax + b gde a predstavlja nagib (engl. slope) prave, a b pomeraj (offset), tj. tačku preseka sa y-osom. Za računanje nagiba koristi se sledeći izraz: n (xy) x y a = n x 2 ( x) 2 Broj tačaka koje je koriste je n, dok su x i y odgovarajuće koordinate. Pomeraj se izračunava na sledeći način: y α x b = n S obzirom da nagib prave po definiciji predstavlja i odnos vertikalnog i horizontalnog pomeraja: a = y = tg θ x ugao sa x-osom θ se može dobiti kao njegov inverzni tangens (slika 6). Slika 5.1 Snimak uzorka kretanja u pravcu leve dijagonale (DLT) 4. MATEMATIČKI MODEL TRANSFORMACIJE Za izračunavanje pravca kretanja koriste se linije trenda koristeći metod najmanjih kvadrata. Linije trenda se primenjuju za predstavljanje ponašanja skupa podataka kako bi se utvrdilo postojanje određenih obrazaca. Najčešće se koristi uz scatter plot (dvodimenzionalni matematički dijagram uređenih parova) za analizu povezanosti između dve varijable. Generalna svrha trend linija je dvojaka: Slika 2. Geometrijski prikaz prave i ugla preseka sa x- osom Ugao za koji se vrši rotacija tačke je komplementaran uglu θ. Nakon što su poznate neophodne varijable tačka se rotira oko tačke preseka sa y-osom. Dvodimenzionalna rotacija tačke oko koordinatnog početka data je na slici 7. Proizvoljna tačka P rotira se za ugao β.

5 Slika 3. Rotacija tačke u 2D prostoru Sa dijagrama se može videti sledeće: x = r cos α y = r sin α Takođe: x = r cos(α + β) y = r sin(α + β) Koristeći trigonometrijske identitete dobija se: x = r cos(α + β) = r(cos α cos β sin α sin β) = r cos α cos β r sin α sin β = x cos β y sin β Na sličan način se izračunava se y' koordinata: y = r sin(α + β) = r(sin α cos β + cos α sin β) = r sin α cos β + r cos α sin β = y cos β + x sin β U matričnoj notaciji rotacija se daje na sledeći način: [x y cos β sin β ] = [x y] [ sin β cos β ] Ukoliko se rotacija izvršava oko proizvoljne tačke O', neophodno je: 1) translirati tačku O' do koordinatnog početka zajedno sa svim drugim tačkama, 2) izvršiti rotaciju, 3) inverzno translirati tačku O' i ostale tačke kako bi se vratile u početnu poziciju. U trodimenzionalnom prostoru rotacija nije definisana uglom i centralnom tačkom, već uglom i osom rotacije. Ukoliko je osa rotacija neka od tri koordinatne ose, jedna komponenta ostaje nepromenjena, čime se transformacija svodi na 2D rotaciju. Slika 4. Rotacija tačke u 3D prostoru Rotacija oko z-ose predstavlja rotaciju u xy ravni pri čemu z = z', što je u matričnom zapisu dato sledećim izrazom: cos β sin β 0 [x y z ] = [x y z] [ sin β cos β 0] Slika 9 daje prikaz prvih 10 frejmova uzorka nakon izvršene rotacije. Slika 5. Prikaz rotiranih 10 tačaka uzorka 5. ZAKLJUČAK Oblast istraživanja normalizacije ugla kretanja od velikog je značaja u sistemima za prepoznavanje na osnovu hoda. Osnovni cilj rada je bio je predstavljanje novog rešenja za postizanje invarijatnosti ugla kretanja. Predstavljajući problem koji se tiče ugla kretanja kao faktora u okviru analize hoda, opisane su postojeće kategorije pristupa kojima se efekat ugla snimanja može neutralisati. Predloženo je novo rešenje i odgovarajući matematički model, kao i softverski prototip koji se koristi u procesu normalizacije. Poslednji deo rada daje analizu i poređenje uzoraka dobijenih akvizicijom i nakon primene predloženog metoda. Plan daljeg istraživanja uključuje primenu rešenja za transformacije snimljenih uzoraka iz drugih uglova kretanja, prilagođavanje matematičnog modela, kao i

6 primenu CBIR metoda za poređenje 2D slika hoda, tj. upotrebljivosti u okviru odgovarajućeg biometrijskog sistema. REFERENCE [1] J. E. Boyd and J. J. Little, Biometric gait recognition, Advanced Studies in Biometrics: Summer School on Biometrics, [2] Jean, Frédéric, Robert Bergevin, and Alexandra Branzan Albu. "Computing and evaluating viewnormalized body part trajectories." Image and Vision Computing 27.9 (2009): [3] Bodor, Robert, et al. "View-independent human motion classification using image-based reconstruction." Image and Vision Computing 27.8 (2009): [4] Makihara, Yasushi, et al. "Gait recognition using a view transformation model in the frequency domain." European Conference on Computer Vision. Springer Berlin Heidelberg, 2006.

Biznis scenario: sekcije pk * id_sekcije * naziv. projekti pk * id_projekta * naziv ꓳ profesor fk * id_sekcije

Biznis scenario: sekcije pk * id_sekcije * naziv. projekti pk * id_projekta * naziv ꓳ profesor fk * id_sekcije Biznis scenario: U školi postoje četiri sekcije sportska, dramska, likovna i novinarska. Svaka sekcija ima nekoliko aktuelnih projekata. Likovna ima četiri projekta. Za projekte Pikaso, Rubens i Rembrant