EVOLUCIJA NEURONSKIH MREŽA ZA DETEKCIJU LICA

Transcription

1 SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA DIPLOMSKI RAD br. 346 EVOLUCIJA NEURONSKIH MREŽA ZA DETEKCIJU LICA Hrvoje Ban Zagreb, lipanj 2012.

2 SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA ODBOR ZA DIPLOMSKI RAD PROFILA Zagreb, 5. ož ujka DIPLOMSKI ZADATAK br. 346 Pristupnik: Studij: Profil: Zadatak: Hrvoje Ban Informacijska i komunikacijska tehnologija Telekomunikacije i informatika Evolucija neuronskih mreža za detekciju lica Opis žadatka: Opisati metode oblikovanja neuronskih mrež a už pomoc evolucijskih algoritama. Ostvariti programski sustav ža oblikovanje neuronske mrež e temeljen na algoritmu NEAT. Usporediti osnovnu inac icu algoritma s moguc im pros irenjima s obžirom na konvergenciju i uspjes nost neuronske mrež e. Ispitati ostvarene algoritme na nekoliko jednostavnijih problema te ža problem detekcije lica. Statistic ki analižirati uspjes nost ostvarenih postupaka u usporedbi s postojec im režultatima u literaturi. Radu prilož iti algoritme, ižvorne tekstove programa i režultate už potrebna objas njenja i dokumentaciju. Citirati koris tenu literaturu i navesti dobivenu pomoc. ii

3 Hvala profesoru Domagoju Jakoboviću za svu pomoć i savjete tijekom prethodne tri godine i za iznimnu količinu strpljenja kad su rokovi bili u pitanju iii

4 Sadržaj Uvod 1 1 Detekcija lica na slikama 2 2 Umjetne neuronske mreže Uc enje neuronskih mrež a Evolucija neuronskih mreža Neuroevolucija rastuc ih topologija Algoritam RBF-NEAT Neižravno kodiranje temeljeno na strukturi hiperkocke Implementacija Priprema slika Uc enje neuronskih mrež a Rezultati 22 Zaključak 36 Literatura 37 Sažetak 40 Summary 41 iv

5 Uvod Detekcija ljudskog lica na slikama žanimljiv je problem koji ima brojne primjene i poc etna je toc ka u rjes avanju mnogih drugih problema. Određivanje lokacija na kojima se na slici pojavljuju ljudska lica omoguc uje određivanje broja i rasporeda skupine ljudi. Nakon određivanja lokacije lica moguc e je nastaviti s određivanjem emocija, prepožnavanjem identiteta osoba, lociranjem žnac ajki lica kao s to su usta ili oc i. Problem detekcije lica mož e se dalje pros iriti na problem prac enja lica c ija se lokacija mijenja krož slijed slika video žapisa. Detekcija lica ižnimno je žahtjevan problem žbog velikih ražlic itosti koje opc enito postoje u ljudskim licima, kao s to su velic ina oc iju, nosa i usana te ižraži lica koji nastaju prilikom ižraž avanja emocija. Dodatni problemi nastaju žbog ražnih artefakata medija koji se koristi: crno-bijele slike ili slike u boji ražlic itih režolucija, osvjetljenja, kontrasta i opc enito kvalitete. Ovaj rad podijeljen je u pet dijelova. U prvom poglavlju opisan je problem detekcije lica, ražlic iti nac ini detekcije te je dan pregled nekoliko postojec ih metoda ža detekciju lica. U drugom poglavlju opisane su neuronske mrež e koje se koriste kao klasifikator ža detekciju lica. U trec em poglavlju opisani su evolucijski algoritmi te algoritmi koji se koriste ža uc enje neuronskih mrež a: algoritam NEAT i modifikacije tog algoritma RBF-NEAT i HyperNEAT. U c etvrtom poglavlju opisano je kako su prikupljene i obrađene slike koje su koris tene ža uc enje te kako su algoritam NEAT i njegove modifikacije koris tene ža uc enje neuronskih mrež a. U petom poglavlju prikažani su i objas njeni režultati nauc enih mrež a. 1

6 1 Detekcija lica na slikama Detekcija lica (engl. face detection) aktivno je podruc je istraž ivanja i brojne metode ražvijene su tijekom prethodnih 20 godina (Hjelma s, 2001; Yang, 2002). Cilj je detekcije lica odrediti sadrž i li određena slika ljudska lica te odrediti lokacije tih lica. Detekcija lica mora raditi s velikim rasponom varijacija na slikama: ražlic iti pogledi na lice (frontalno, polu-profil, profil), ižraži lica i emocija, ražlic ite orijentacije i rotacije slike, ražlic ita osvjetljenja pod kojim je slika napravljena, osobe s bradom, brkovima ili naoc alama, slike u boji i crno-bijele slike, slike los e kvalitete itd. Lokaližacija lica (engl. face localization) pojednostavljeni je sluc aj detekcije kada je požnato da slika sadrž i toc no jedno lice i cilj je odrediti lokaciju tog lica. Detekcija lica preduvjet je ža mnoge druge probleme analiže slika ljudskog lica. Prepožnavanje ižraža lica (engl. facial expression recognition) nastoji prepožnati ižraže srec e, tuge, straha i drugih emocija. Detekcija karakteristika lica (engl. facial feature detection) koristi se ža otkrivanje lokacija žnac ajki kao s to su oc i, obrve, nos ili usta. Metode ža prepožnavanje lica (engl. face recognition) nastoje povežati sliku osobe s nježinim stvarnim identitetom. Prac enje lica (engl. face tracking) koristi se ža neprekinuto prac enje lokacije i orijentacije ljudskog lica krož slijed slika video žapisa. Metode detekcije lica mogu se podijeliti u c etiri skupine (Yang, 2002): Metode temeljene na žnanju (engl. knowledge-based): ljudsko žnanje o tome s to c ini tipic no lice predstavlja se skupom programskih pravila. Pravila obic no opisuju odnose polož aja i velic ina ražlic itih karakteristika lica. Obic no se koriste samo pri lokaližaciji lica; Metode temeljene na nepromjenjivim žnac ajkama (engl. feature invariant): prepožnavanje žnac ajki u strukturi lica koje su prisutne bež obžira na 2

7 orijentaciju lica, kut gledanja i uvjete osvjetljenja. Koriste se samo pri lokaližaciji lica; Koris tenje predlož aka lica (engl. template matching): slika se uspoređuje s jednim ili vis e standardnih predlož aka koji opisuju cijelo lice ili samo određene ižraže. Konac na odluka donosi se na temelju korelacije ižmeđu slike i predlož aka. Koristi se pri lokaližaciji i detekciji lica; Metode temeljene na ižgledu (engl. appearance-based): konstruira se model ža detekciju lica ili ižraža lica uc enjem na temelju reprežentativnih skupova slika koje sadrž e lica i slika koje ne sadrž e lica. Slika koja se ispituje mož e se predstaviti vektorom, a svaki piksel slike onda se tumac i kao jedna dimenžija vektora (Sung, 1996). Slike (vektori) lica, koje se koriste ža uc enje, grupiraju se u groždove. Režultat je skup vis edimenžionalnih Gaussovih groždova s lokacijom centroide i kovarijacijskom matricom. Za detekciju lica na novim slikama rac una se udaljenost vektora nove slike od prije ižrac unatih groždova. Dobivene udaljenosti se prosljeđuju vis eslojnom perceptronu koji donosi konac nu odluku. Jedan od prvih pokus aja koris tenja neuronske mrež e ža detekciju lica (Rowley, 1999) primjer je uspjes ne implementacije metode temeljene na ižgledu. Slike koje se ispituju raždvajaju se na segmente pravokutnih oblika c ime je problem pojednostavljen. Za uc enje mrež e koris ten je algoritam backpropagation, a ža naknadno povec avanje uspjes nosti detekcije koris teno je vis e mrež a te se ražlic itim kombiniranjem njihovih ižlaža donosi konac na odluka o detekciji. Umjesto obic ne neuronske mrež e mož e se koristiti konvulucijska neuronska mrež a koja se sastoji od ulažnog i nekoliko konvolucijskih slojeva (Garcia, 2002). Konvolucijski sloj sadrž i vis e ravnina: skupina neurona kojih ima devet puta manje nego ulažnih neurona. Ulažna se slika dijeli na regije velic ina 3x3 piksela i svi neuroni takve regije spajaju se na jedan konvolucijski neuron. Drugi konvulucijski sloj rac una konvoluciju prvog sloja itd. Na taj se nac in uc enjem automatski dobiva rac unanje određenih obiljež ja na slici. Zadnja dva sloja predstavljaju vis eslojni perceptron koji donosi konac nu odluku na temelju ižrac unatih obiljež ja. 3

8 Wiegand (2004) je istraž io moguc nost koris tenja jednostavne evolucijske strategije ža paralelni ražvoj strukture mrež e i tež ina ižmeđu neurona. Nova generacija dobiva se kopiranjem trenutne generacije. Kopije se mutiraju mijenjanjem tež ina, dodavanjem novih ili brisanjem postojec ih neurona te dodavanjem ili brisanjem veža. Dubey (2011) je koristio standardni genetski algoritam ža uc enje mrež e s fiksnom strukturom. Skup slika nad kojima se mrež a uc i u poc etku sadrž i samo slike s licima. Svakih 100 generacija dobivena mrež a ispituje se na skupu svih slika koje ne sadrž e lice. Do 250 takvih slika koje je mrež a krivo klasificirala dodaju se u skup ža uc enje kao negativni primjerci. Ižnimno brža detekcija mož e se postic i koris tenjem Harrovih obiljež ja (Viola, 2003). Zbog velikog broja moguc ih obiljež ja koristi se skup slabih klasifikatora koji prepožnaju po jedno obiljež je. Slabi klasifikatori koriste se ža ižradu mnogo jac eg klasifikatora pomoc u algoritma AdaBoost. Za brž u detekciju koristi se kaskada jakih klasifikatora: prvo se primjenjuju klasifikatori koji se bržo ižvode i odbacuju veliki postotak slika bež lica, a na kraju klasifikator koji ima visoku precižnost i koji donosi konac nu odluku. Umjesto Harrovih obiljež ja mogu se koristiti anižotropni Gaussovi filtri (Meynet, 2007). Ovi se filtri također koriste ža pronalaž enje i rac unanje obiljež ja slike. Prvo se ražvija skup slabih klasifikatora koji prepožnaju samo prag i parnost filtra. Jac i klasifikator dobiva se kombinacijom slabih klasifikatora pomoc u algoritma AdaBoost. Strojevi s potpornim vektorima (engl. support vector machine, SVM) jos su jedna vrsta klasifikatora koji se mogu koristiti ža detekciju lica (Heisele, 2003). Stroj prima tri vrste ulaža: sliku s normaližiranim histogramom, sliku na koju je primijenjen Sobel filtar ža detekciju rubova i sliku konvoluiranu s tri ražlic ite maske ža rac unanje Harr valic a (engl. wavelet). Detekcija lica obavlja se u dva koraka: prvo se otkrivaju karakteristic na obiljež ja kao s to su oc i, nos i usta te se lokacije obiljež ja analižiraju kako bi se odredilo odgovara li geometrijska konfiguracija tih obiljež ja ljudskom licu. 4

9 2 Umjetne neuronske mreže Umjetne neuronske mrež e (engl. artificial neural networks) su model rac unanja c iji se rad žasniva na oponas anju prirodnih neuronskih mrež a. Neuronska mrež a sastoji se od skupa neurona i jednosmjernih tež inskih veža koje ih povežuju. Neuroni se mogu podijeliti na tri vrste: ulažni, ižlažni i skriveni. Svaki neuron ima svoju aktivacijsku vrijednost: ža ulažne neurone te su vrijednosti predodređene, dok se ža ostale neurone aktivacijska vrijednost rac una kao: f (x) = K ( w g (x)) (2.1) gdje je x skup aktivacijskih vrijednosti ulažnih neurona, w tež ina veže ižmeđu i-tog i j-tog neurona, g aktivacijska vrijednosti i-tog neurona, a K aktivacijska funkcija. Aktivacijske vrijednosti ulažnih neurona predstavljaju parametre rac unanja, dok ižlažne vrijednosti predstavljaju režultat. Neuronska mrež a mož e se promatrati kao funkcija s vis edimenžionalnom domenom (ulažnim neuronima) i slikom (ižlažnim neuronima). Aktivacijske vrijednosti skrivenih neurona su međurežultati koji nisu sami po sebi važ ni pa se ignoriraju tj. ostaju skriveni. Za aktivaciju se mogu koristiti praktic ki sve funkcije, s ižnimkom algoritama uc enja koji namec u određene uvjete (npr. postojanje prve derivacije). Ipak, obic no se koriste funkcije koje su monotono rastuc e i približ no linearne u podruc ju domene oko nule. Za aktivacijske funkcije pož eljno je da imaju svojstvo saž imanja, tj. mapiranja sa skupa svih realnih brojeva R na ogranic eni podskup, najc es c e (0, 1) ili ( 1, 1), jer se time ogranic ava raspon vrijednosti s kojima neuroni rac unaju. C esto koris tene aktivacijske funkcije koje žadovoljavaju te uvjete (i ža koje dodatno postoji prva derivacija) su sigmoidne funkcije kao s to su logistic ka funkcija (2.2) i tangens hiperbolni (2.3). 5

10 1 1 0,75 0,5 0,5 0 0,25-0, f(x) = e (2.2) f(x) = th (x) (2.3) Dok je broj ulažnih i ižlažnih problema određen problemom koji se rjes ava, broj skrivenih neurona, njihovu međusobnu povežanost te broj i tež inu veža potrebno je žasebno odabrati. Ovisno o algoritmu koji se koristi ža ražvoj mrež e, struktura mož e biti potpuno slobodna ili na određeni nac in ogranic ena. 2.1 Učenje neuronskih mreža Algoritam backpropagation (Rumelhart, 1986), jedan od prvih uspjes nih algoritama ža ražvoj neuronskih mrež a, traž i da se mrež a podijeli na najmanje tri sloja: sloj ulažnih neurona, sloj ižlažnih neurona te jedan ili vis e slojeva skrivenih neurona. Slika 2.1 prikažuje primjer jedne takve mrež e. Neuroni jednog sloja potpuno su povežani samo s neuronima sljedec eg sloja. Uc enje mrež e, tj. traž enje odgovarajuc ih tež ina veža provodi se iterativnim rac unanjem gres ke ižlaža mrež e ža ulažne vrijednosti iž skupa ža uc enje (engl. training set) te propagiranjem gres ke unatrag krož veže ižmeđu neurona, po c emu je algoritam dobio ime. Osim skupa ža uc enje, koristi se jos i skup ža validaciju (engl. validation set) kojim se provjerava sposobnost generaližacije mrež e tj. sprjec ava se da mrež a jednostavno memorira skup ža uc enje. Skup ža ispitivanje (engl. testing set) koristi se kada je uc enje žavrs eno kako bi se ižmjerile performanse neuronske mrež e. Iako noviji algoritmi ža uc enje neuronskih mrež a nemaju ogranic enja na strukturu mrež a, vis eslojna struktura žadrž ala se žbog jednostavnosti modeliranja: jedini parametri su broj slojeva skrivenih neurona te broj neurona u pojedinim slojevima. 6

11 Ulazni Skriveni Izlazni Slika 2.1: Neuronska mreža s višeslojnom strukturom Ako se unaprijed odredi struktura neuronske mrež e tj. broj i povežanost neurona, problem uc enja mrež e svodi se samo na ižbor tež ina veža. Ako se tež ine predstave vektorom ili matricom brojeva, tada se mogu koristiti optimižacijski algoritmi koji traž e optimalne vrijednosti brojeva, kao s to npr. evolucijski algoritmi. 7

12 3 Evolucija neuronskih mreža Evolucijski algoritmi (engl. evolutionary algorithms) su skup metaheuristika koje se koriste ža rjes avanje optimižacijskih problema. Metaheuristike su algoritmi koji iterativno traž e bolje rjes enje ža žadani problem poboljs avajuc i postojec e rjes enje ili vis e njih. S obžirom na to da ne užimaju u obžir specific nosti problema primjenjivi su ža s iroki skup optimižacijskih problema. Rad evolucijskih algoritama temelji se na principima prirodne evolucije: nad skupom potencijalnih rjes enja (populacijom) primjenjuje se selekcija (engl. selection) kojom se biraju dobre jedinke (prež ivljavanje najjac ih), te se nova rjes enja dobivaju križ anjem (engl. crossover) i mutacijom (engl. mutation) odabranih rjes enja. Slic no kao i kod prirodne evolucije, kombiniranjem i mijenjanjem postojec ih rjes enja moguc e je dobiti nova, bolja rjes enja. Primjeri evolucijskih algoritama su: Genetski algoritmi (engl. genetic algorithms) rjes enja modeliraju kao genome koji mogu biti nižovi bitova, vektori i matrice brojeva, permutacije skupova i dr. Jedino je potrebno da se nad rjes enjima mogu primijeniti operacije mutacije (ižmjene rjes enja) i križ anja (generiranja novog rjes enja iž dva postojec a); Genetsko programiranje (engl. genetic programming) koristi se ža ražvijanje funkcija i rac unalnih programa (Koža, 1992) koji se najc es c e predstavljaju kao stablaste strukture žbog jednostavnosti implementacije operatora mutacije i križ anja ili kao linearni programi koji su slic niji stvarnom strojnom kodu; Diferencijalna evolucija (engl. differential evolution) rjes enja modelira kao vektore realnih brojeva (Storn, 1997). Nova rjes enja dobivaju se iž postojec ih dodavanjem ražlike dvaju (sluc ajno ili ciljano) odabranih vektora; Optimižacija rojem c estica (engl. particle swarm optimization) predstavlja rjes enja toc kama u vis edimenžionalnom prostoru (Kennedy, 1995). Gibanje 8

13 toc aka krož prostor simulira ponas anje ptica u prirodi koje svoje gibanje određuju prema gibanju ostalih ptica u jatu; Umjetni imunolos ki sustav (engl. artificial immune system) ražvija rjes enje kao s to prirodni imunolos ki sustav ražvija antitijela (Cutello, 2002). Rjes enja se kopiraju te se stvara vis e kopija s to je rjes enje bolje, s tim da kopije nisu identic ne originalu vec se malo ražlikuju. Kopije koje su žbog promjena bolje od originala se žadrž avaju u populaciji i dalje kopiraju. Svi evolucijski algoritmi imaju slic an nac in rada. Sve se jedinke populacije ocjenjuju kako bi se odredila njihova dobrota (engl. fitness) tj. koliko dobro rjes avaju problem. Na temelju dobrote biraju se jedinke te se ovisno o algoritmu užima dio ili cijela populacija, a određena jedinka mož e biti ižabrana jedan ili vis e puta. Ižabrane jedinke se mutiraju ili se križ aju kako bi se dobila nova rjes enja koja se također mogu podvrgnuti operaciji mutacije. Populacija novih rjes enja ili potpuno mijenja staru populaciju ili se na neki nac in spaja s njome, na primjer žadrž avanjem samo određenog broja najboljih jedinki. 3.1 Neuroevolucija rastućih topologija Za ražliku od svih dosad spomenutih algoritama, neuroevolucija rastuc ih topologija (engl. neuroevolution of augmenting topologies, NEAT) istovremeno ražvija i strukturu mrež e i tež ine veža ižmeđu neurona (Stanley, 2004). NEAT spada u neuroevolucijske genetske algoritme: svaki genom sadrž i direktno kodirani opis strukture neuronske mrež e. Direktno kodiranje žnac i da genom sadrž i eksplicitne informacije o neuronima i vežama ižmeđu njih, ža ražliku od indirektnog kodiranja koje sadrž i pravila na temelju kojih je moguc e konstruirati neuronsku mrež u. S obžirom na to da je cilj algoritma NEAT otkrivanje optimalne strukture mrež e, sve mrež e poc inju s minimalnom strukturom mrež e ne sadrž e skrivene neurone, vec samo potpuno povežane ulažne i ižlažne neurone. U sluc aju mrež a s velikim brojem ulažnih ili ižlažnih neurona, umjesto potpune mož e se poc eti samo s djelomic nom povežanosti neurona pri c emu algoritam onda mož e odrediti postoje li ulažni neuroni koji nisu potrebni ili relevantni ža rjes avanje problema jer NEAT nec e dodavati veže koje bi ih povežale sa skrivenim i ižlažnim neuronima. 9

14 Slika 3.1 prikažuje shemu genoma koji sadrž i dva skupa gena: ža neurone i ža veže. Geni neurona definiraju koji sve ulažni, ižlažni i skriveni neuroni postoje u strukturi mrež e. Svakom neuronu dodijeljen je jedinstveni broj inovacije (mutacije kojom je dodan u strukturu mrež e). Geni veža definiraju povežanost neurona mrež e: gen veže sadrž i jedinstveni broj inovacije veže, jedinstvene brojeve neurona koji su povežani, tež inu veže i žastavicu koja ožnac ava je li gen aktivan (jedino c e veže aktivnih gena postojati u konac noj strukturi mrež e). Algoritam NEAT koristi dvije mutacije ža pros irivanje strukture mrež e: dodavanje nove veže i dodavanje novog neurona. Nova veža dodaje se ižmeđu dva neurona koji jos nisu povežani i dodjeljuje joj se sluc ajno odabrana tež ina. Novi neuron dodaje se na mjesto postojec e veže. Postojec a se veža deaktivira i dodaju se dvije nove veže: prvoj veži koja spaja poc etni neuron stare veže i novi neuron dodjeljuje se tež ina 1, dok se drugoj veži koja spaja novi neuron i krajnji neuron stare veže dodjeljuje tež ina stare veže. Ovakav nac in dodavanja novog neurona i dodjeljivanja tež ina minimižira utjecaj mutacije na ponas anje neuronske mrež e. Zbog koris tenja grupiranja, mrež a c e imati vremena optimižirati i iskoristiti novo pros irenje strukture. Geni čvorova: Čvor 1 Ulazni Čvor 2 Ulazni Čvor 3 Ulazni Čvor 4 Izlazni Čvor 5 Skriveni Geni veza: Ulaz: 1 Izlaz: 4 Težina: 0,4 Aktivan: Da Inovacija: 1 Ulaz: 2 Izlaz: 4 Težina: 0,5 Aktivan: Ne Inovacija: 2 Ulaz: 3 Izlaz: 4 Težina: 0,5 Aktivan: Da Inovacija: 3 Ulaz: 2 Izlaz: 5 Težina: 0,2 Aktivan: Da Inovacija: 4 Ulaz: 5 Izlaz: 4 Težina: 0,4 Aktivan: Da Inovacija: 5 Ulaz: 1 Izlaz: 5 Težina: 0,6 Aktivan: Da Inovacija: 6 Ulaz: 4 Izlaz: 5 Težina: 0,6 Aktivan: Da Inovacija: 7 Struktura mreže: Slika 3.1: Primjer NEAT genoma i mreže koju upisuje Svaki gen neurona i veže ima jedinstveni broj inovacije koji se koristi ža određivanje žajednic kih dijelova dviju ražlic itih mrež a. Tijekom rada algoritma pamti se skup svih 10

15 inovacija (mutacije koje mijenjaju strukturu mrež e) i svakoj se dodjeljuje jedinstveni broj. Kada se prvi put dodaje nova veža ižmeđu dva određena neurona, u skup inovacija dodaje se mapiranje s para brojeva inovacije neurona na broj inovacije nove veže (novi brojevi inovacije mogu se generirati npr. uvec avanjem globalnog brojac a). Pri dodavanju veže ižmeđu dva neurona istih brojeva inovacije kod druge mrež e, ža tu vežu koristiti c e se isti broj inovacije. Isti postupak koristi se pri dodavanju novog neurona, pri c emu se dodaje mapiranje s broja inovacije veže koja se žamjenjuje na broj inovacije novog neurona. Poc etnim neuronima i vežama ižmeđu njih mogu se dodijeliti proižvoljni brojevi. Nove inovacije obic no prvo smanje sposobnost mrež e ža rjes avanje problema dok se odgovarajuc e ne optimižiraju podes avanjem tež ina veža i povežanosti s ostatkom strukture mrež e. Kako NEAT, kao i svi evolucijski algoritmi, koristi dobrotu kao pokažatelj koja rjes enja treba nastaviti ražvijati, mrež e s novim inovacijama bile bi bržo eliminirane žbog smanjene dobrote. Zbog toga algoritam NEAT koristi grupiranje mrež a po slic nosti strukture. Mrež e koje dijele veliki broj žajednic kih elemenata pripadati c e istoj grupi i natjecati c e se samo s drugim mrež ama unutar te grupe. Ako se užme u obžir da je vjerojatnost mutacija koje mijenjaju strukturu obic no vrlo mala, skoro svaka nova inovacije užrokovati c e stvaranje nove grupe unutar koje se mož e slobodno ražvijati. Za svaku grupu prati se i vrijeme stagnacije broj iteracija tijekom kojih se jedinkama grupe ili samo najboljoj jedinki nije poboljs ala dobrota. Nakon s to vrijeme stagnacije pređe unaprijed određenu granicu, nova se inovacija smatra neuspjes nom i sve jedinke grupe bris u se iž populacije. Na kraju svake iteracije jedinke nove populacije (djeca) generiraju se iž postojec ih jedinki (roditelja). Djeca se generiraju iž grupa, pri c emu je broj jedinki koje se generiraju iž određene grupe proporcionalan prosjec noj dobroti c lanova te grupe. Generiranje nove jedinke žapoc inje nasumic nim ižborom jednog roditelja. Unaprijed određenom vjerojatnos c u bira se ižmeđu križ anja i mutacije. U sluc aju mutacije ižabrani roditelj se kopira i kopija se mutira. U sluc aju križ anja iž grupe se nasumic no bira drugi roditelj (ražlic it od prvog) už malu vjerojatnost biranja roditelja iž druge grupe. Kod križ anja dvaju roditelja gledaju se samo geni veža (skup gena neurona mož e se jednostavno rekonstruirati iž gena veža) te se geni grupiraju u one koji su žajednic ki ža oba roditelja i one koji pripadaju samo jednom. Za svaki žajednic ki gen, 11

16 dijete dobiva gen jednog od roditelja ili kombinaciju: ža tež inu se užima aritmetic ka sredina tež ina roditeljskih gena, a ža žastavicu aktivnosti preužima se vrijednost iž jednog roditeljskog gena. Za gene koji nisu žajednic ki ža oba roditelja preužimaju se samo geni koji pripadaju boljem roditelju. Nakon s to su generirani, geni djeteta podvrgavaju se mutaciji. Tri moguc e mutacije su dodavanje nove veže, dodavanje novog neurona i mijenjanje tež ina postojec ih veža. Postoje ražlic iti nac ini mijenjanja tež ina, ovisno o nac inu na koji se biraju veže koje c e se mijenjati i nac inu mijenjanja njihovih tež ina: mijenjanje svih veža už određenu vjerojatnost, mijenjanja određenog broja veža, mijenjanje samo novijih veža (pretpostavlja se da su ža starije gene veža vec pronađene optimalne vrijednosti tež ina), dodavanjem vrijednosti iž ravnomjerne raspodjele, dodavanjem vrijednosti iž normalne raspodjele i kombinacije prethodnih vrijednosti: ža svaku mutaciju nasumic no se odabire nac in biranja veža i mijenjanja njihovih tež ina. 3.2 Algoritam RBF-NEAT Algoritam RBF-NEAT modifikacija je osnovne inac ice algoritma NEAT koji ža skrivene neurone, osim sigmoidne aktivacijske funkcije, koristi i radijalne bažne (engl. radial basis) funkcije (Kohl, 2009). Radijalne bažne funkcije su funkcije c ije vrijednosti ovise jedino o udaljenosti od ižvoris ta ili neke druge toc ke koja se naživa centar funkcije. Primjeri takvih funkcija su Gaussova, vis ekvadratic na, inveržna kvadratic na i druge. Prilikom dodavanja novog skrivenog neurona u strukturu mrež e, algoritam RBF-NEAT s određenom vjerojatnos c u bira ižmeđu sigmoidne i Gaussove funkcije. U sluc aju Gaussove funkcije na sluc ajno odabrane vrijednosti postavlja se oc ekivana vrijednost i disperžija funkcije. Algoritam se dodatno pros iruje novom mutacijom koja mijenja vrijednost ta dva parametra na slic an nac in kao s to se mijenjaju tež ine veža. 12

17 3.3 Neizravno kodiranje temeljeno na strukturi hiperkocke Neuroevolucija rastuc ih topologija koris tenjem neižravnog kodiranja temeljenog na strukturi hiperkocke (engl. hypercube-based neuroevolution of augmenting topologies, HyperNEAT) je metoda ražvoja neuronskih mrež a s vrlo velikim brojem veža (Stanley, 2009). HyperNEAT koristi neižravno kodiranje strukture neuronskih mrež a pomoc u kompožicijskih mrež a ža generiranje užoraka povežanosti (engl. connective compositional pattern producing networks, connective CPPN) koje strukturu mrež e predstavljaju kao funkciju Kartežijevog koordinatnog sustava. Rad algoritma HyperNEAT inspiriran je c injenicom da je mapiranje ižmeđu biolos kog genotipa i konac nog režultata (fenotipa) također neižravno: na primjer ljudski genom od gena kodira vis e od 100 bilijuna veža ljudskog možga. Kako struktura fenotipa c esto sadrž i ponavljajuc e užorke, ža svako ponavljanje specifikacija užorka mož e se dekodirati iž iste skupine gena. Brojne simetrije u anatomiji kraljež njaka, receptori vidne kore možga te prsti ruku i nogu samo su neki su od brojnih primjera ponavljanja užoraka u prirodi. CPPN mrež e generiraju prostorne užorke koristec i kompožiciju osnovnih funkcija. Za ražliku od umjetnih neuronskih mrež a koje najc es c e koriste samo jednu, obic no sigmoidnu, aktivacijsku funkciju, CPPN mrež e koriste s iri skup funkcija kao s to su linearne, pilaste (engl. sawtooth), sinusoidne i Gaussove funkcije. Takve funkcije omoguc avaju generiranje ražlic itih korisnih užoraka koji sadrž e simetrije, nesavrs ene simetrije i ponavljanja. Slika 3.2 prikažuje primjer nekoliko dvodimenžionalnih slika generiranih CPPN mrež ama koje demonstriraju redom: savrs enu simetriju oko horižontalne osi, nesavrs enu simetriju oko vertikalne osi i ponavljanje užoraka. Slika 3.2: Primjeri pravilnosti koje mogu generirati CPPN mreže (Stanley, 2009) 13

18 Algoritam HyperNEAT paralelno ražvija dvije neuronske mrež e ža svaku jedinku. Prva mrež a je obic na neuronska mrež a c ija je struktura unaprijed određena i ne mož e se mijenjati. Svakom neuronu mrež e dodijeljene su koordinate u vis edimenžionalnom prostoru. Koordinate neurona obic no se biraju tako da se nalaže unutar jedinic ne hiperkocke. Zbog jednostavnosti se c esto koristi trodimenžionalni prostor jer je lako vižualižirati smjes taj neurona u prostoru. Za takvu neuronsku mrež u mož e se koristiti klasic na vis eslojna struktura. U sluc aju trodimenžionalne kocke, iždvoji se onoliko dvodimenžionalnih presjeka koliko ima slojeva mrež a. Presjeci su paralelni s jednom ravninom koordinatnog sustava tako da svi neuroni istog sloja imaju jednu žajednic ku koordinatu. Na primjer, ako su presjeci paralelni s ravninom xy, tada c e se neuroni dva sloja ražlikovati po z koordinati. Druga mrež a je CPPN mrež a koja se ražvija algoritmom NEAT s pros irenim skupom aktivacijskih funkcija. CPPN mrež a ima po dva ulažna neurona ža svaku dimenžiju prostora u kojem se nalaže neuroni prve mrež e i jedan ižlažni neuron. Ova se mrež a koristi ža rac unanje tež ina veža ižmeđu neurona prve mrež e tako da se ža svaki par neurona njihove koordinate postave ža vrijednosti ulažnih neurona CPPN mrež e, a ižlaž mrež e predstavlja vrijednost tež ine veže. Za ražliku od ostalih algoritama ža uc enje neuronskih mrež a, algoritam HyperNEAT ima pristup podacima o prostornom rasporedu ulaža s to mu omoguc uje bolje određivanje prikladnih tež ina veža. Na primjer, ako su ulaži mrež e vrijednosti piksela dvodimenžionalne slike, algoritmu c e biti požnato koliko su pikseli međusobno udaljeni i kako su raspoređeni u odnosu na druge piksele slike. Oslanjanje na podatke o koordinatama neurona je istovremeno prednost i nedostatak algoritma. Raspored koji los e opisuje stvarne odnose ižmeđu ulažnih vrijednosti imati c e negativan utjecaj na performanse ražvijenih mrež a (Clune, 2009). Ražlic iti užorci koje mogu generirati CPPN mrež e omoguc avaju algoritmu HyperNEAT prilagođavanje uc ene neuronske mrež e karakteristikama ulaža. Ražne simetrije i ponavljanja koja postoje među ulažnim vrijednostima mogu se ižravno preslikati u vrijednosti tež ina veža. 14

19 4 Implementacija Prvi korak u procesu uc enja neuronske mrež e ža detekciju lica je prikupljanje i obrada slika koje c e biti u skupovima ža uc enje i ispitivanje. Potrebne su dvije vrste slika: one koje sadrž e ljudsko lice (ža koje mrež a treba dati požitivan odgovor) i one koje ne sadrž e ljudsko lice (ža koje mrež a treba dati negativan odgovor). Za slike ljudskih lica koris tena je baža FERET (Face Recognition Technology) koja sadrž i vis e tisuc a slika ljudi slikanih iž nekoliko kutova u ražlic itim uvjetima osvjetljenja (Phillips, 1998; Phillips, 2000). Slike prikažuju ljude s neutralnim i nasmijes enim ižražima lica, ljude ražlic itih dobnih skupina, s naoc alama, bradom ili brkovima, ljude oba spola i ražlic itih rasa. Za vec inu slika dostupni su podaci o lokaciji određenih žnac ajki lica: oc iju, usta i nosa. Za proces uc enja koris tene su sve slike iž baže FERET osim slika ljudi s naoc alama, bradom i brkovima te slika koje nemaju podatke o lokaciji žnac ajki lica. Ukupno su ža postupak uc enja koris tene slike. 4.1 Priprema slika S obžirom na to da baža FERET sadrž i slike u boji kao i crno-bijele slike, sve slike pretvorene su u crno-bijeli format. Svjetlina (L) slike rac una se iž komponenti ža crvenu (R), želenu (G) i plavu (B) bolju po YUV modelu (4.1) jer takav model daje vjerniji prikaž svjetline od aritmetic ke sredine sve tri komponente boje. L = 0,299 R + 0,587 G + 0,114 B (4.1) Prikupljene slike žatim su odrežane tako da sadrž e samo podruc je lica koje omeđuje oc i i usta. Ogranic enje o postajanju podataka o koordinatama tih žnac ajki uvedeno je kako bi se taj korak mogao automatižirati. Slike su odrežane tako da ražmak ižmeđu oc iju ižnosi 50% ukupne s irine slike te da oc i žaužimaju gornjih 20% slike Ti postoci 15

20 su ižabrani jer tako odrežane slike sadrž e sve bitne žnac ajke ljudskog lica (oc i, nos i usta). Odrežane slike potom se smanjuju na velic inu 20x20 piksela koris tenjem bikubic ne interpolacije. Slika 4.1 prikažuje nekoliko primjera slika iž baže FERET nakon s to su odrežane i pretvorene u crno-bijeli format i njihove umanjene inac ice. Slika 4.1: Primjeri korištenih slika lica iž baže FERET Nakon odreživanja i smanjivanja slika potrebno je rijes iti problem nejednolikog osvjetljenja. Iako je moguc e ostaviti neuronskoj mrež i da nauc i prepožnavati lica snimljena pod ražlic itim uvjetima osvjetljenja, bolje je obradom slika eliminirati varijacije u osvjetljenju jer se time smanjuje potrebna kompleksnost mrež e (broj skrivenih neurona i dodatnih veža) te postupak uc enja postaje brž i. Slika lica prije obrade mož e se shvatiti kao dvodimenžionalni signal koji je jednak žbroju ižvorne slike (s jednolikim osvjetljenjem) i s uma (varijacija osvjetljenja). Da bi se dobila ižvorna slika potrebno je ižrac unati vrijednosti signala s uma i odužeti ih od pos umljene slike. Varijacije osvjetljenja moguc e je predstaviti linearnim modelom koji pretpostavlja da se osvjetljenje po slici mijenja konstantom bržinom pod određenim kutom (Sung, 1996). Iako ovaj model ne predstavlja uvijek najbolje rjes enje (pogotovo ako osvjetljenje ima vis e ižvora ili se varijacije ne mijenjaju konstantom bržinom), njegova je prednost s to se mož e vrlo bržo ižrac unati žbog malog broja parametara i jer je gres ka modela c esto prihvatljivo mala. Linearni model I(x, y) daje vrijednost osvjetljenja u toc ki slike s koordinatama (x, y), a potpuno je određen je s tri parametra (4.2): bržinom promjene u smjeru osi x (a), bržinom promjene u smjeru osi y (b) i konstantom (c). Ovakav model odgovara plohi u trodimenžionalnom prostoru: parametri a i b određuju nagib plohe u odnosu na plohu xy, a parametar c određuje visinu plohe ižnad sredis ta koordinatnog sustava. 16

21 Kako su požnate vrijednosti svjetline pos umljene slike koja se sastoji od 400 piksela, ža tri parametra modela s uma dobiva se ukupno 400 linearno nežavisnih jednadž bi. Kako je broj jednadž bi vec i od broja nepožnanica (parametara) takav sustav nema jedinstveno rjes enje, ali je moguc e koristiti metodu najmanjih kvadrata ža rac unanje vrijednosti parametara koji minimižiraju sumu kvadrata pogres aka. Za ovaj konkretni problem metoda najmanjih kvadrata svodi se na rjes enja matric ne jednadž be (4.3), gdje je z vrijednost svjetline i-tog piksela slike, a x i y koordinate tog piksela. a I(x, y) = [x y 1] [ b] (4.2) c x x y x a x z [ x y y y ] [ b] = [ y z ] (4.3) x y 1 c z Prije rac unanja linearnog modela na pos umljenu sliku stavlja se maska koja prekriva rubove slike (1 piksel debljine) i kutove (3 piksela debljine). Ti dijelovi slike c esto sadrž e artefakte poput židova i tamnih sjena koji bi los e utjecale na rac unanje modela osvjetljenja. Svi pikseli koji se nalaže ispod maske se žanemaruju. Nakon rac unanja modela, vrijednosti s uma se odužimaju od slike, pri c emu se ne koristi parametar konstante modela c jer je cilj ukloniti samo varijacije u osvjetljenju, a ne potpuno eliminirati osvjetljenje slike. Slika 4.2 prikažuje tri slike u punoj i umanjenoj veržiji: pos umljenu sliku žajedno s maskom, ižrac unate vrijednosti modela varijacija osvjetljenja i konac nu sliku dobivenu uklanjanjem varijacija. Slika 4.2: Postupak uklanjanja varijacija osvjetljenja Zadnji korak obrade slike je normaližacija histograma. Histogram pokažuje koliko su pojedine vrijednosti svjetline žastupljene na slici. Slike iž baže FERET, pogotovo nakon 17

22 uklanjanja varijacija osvjetljenja imaju histogram malog raspona: slika sadrž i svjetline iž ogranic enog spektra. Normaližacija je postupak obrade slike kojim se dobiva histogram koji se rasprostire krož cijeli raspolož ivi spektar c ime se istic u detalji i dobiva slika vec eg kontrasta. Slika 4.3 prikažuje sliku i nježin histogram prije i poslije postupka normaližacije histograma. Slika 4.3: Slike i pripadajući histogrami prije i poslije normalizacije Za skup slika koje ne sadrž e ljudska lica koris tene su slike koje dolaže s operacijskim sustavom Windows 7. Slike prikažuje prirodu, žgrade, a također postoji i nekoliko apstraktnih slika. Svaka slika ižrežana je na dijelove velic ine 20x20 piksela, tako da se ti dijelovi ne preklapaju i pokrivaju cijelu sliku. Slika je potom umanjena ža faktor 2 i ponovno ižrežana na dijelove. Postupak se ponavlja sve dok je velic ina slike vec a od 20x20 piksela. Dodatno, skup je pros iren slikama koje sadrž e lica koje su također iterativno umanjene i isjec ene, tako da neuronska mrež a nauc i ignorirati dijelove lica te da prepožnaje samo prožore koji sadrž e cijelo ljudsko lice. Nad svim prikupljenim prožorima slika koje ne sadrž e lica također su primijenjeni isti postupci uklanjanja varijacija osvjetljenja i normaližacije histograma. Skup svih slika sastoji se od 1994 slike koje sadrž e lice i slika koje ne sadrž e lice. Skup svih slika dijeli se na dva disjunktivna podskupa: skup ža uc enje i skup ža ispitivanje. 18

23 4.2 Učenje neuronskih mreža Cilj je ovog rada ražvoj neuronske mrež e koja c e kao ulaž primiti vrijednosti svjetline prožora od 20x20 piksela, a kao ižlaž treba dati odluku sadrž i li taj prožor ljudsko lice. Kako su ižlaži koris tenih aktivacijskih funkcija u intervalu od 0 do 1, ižabrano je da c e ižlaž 1 predstavljati odluku da prožor sadrž i lice, a ižlaž 0 da ne sadrž i lice. Naravno, mrež a nikada nec e dati ižlaž koji je toc no 0 ili 1, vec neki broj ižmeđu. Tada se koristi sljedec e pravilo: ižlaži iž intervala od 0 do 0,9 žnac e da slike ne sadrž i lice, a ižlaži od 0,9 do 1 žnac e da sadrž i. Ovakva neravnomjerna raspodjela ižabrana je broj slika ža uc enje koje sadrž e lice i broj slika koje ne sadrž e lice također neravnomjeran i koris tenje ovakvog omjera pokažalo je bolje režultate. Prožor velic ine 20x20 piksela žnac i da neuronska mrež a treba imati 400 ulažnih neurona. To je dosta vis e od broja ulaža koji se inac e pojavljuju kod problema ža koje se koristi algoritam NEAT. S obžirom na to da algoritam NEAT poc inje s minimalno povežanim mrež ama i da koristi relativno malu vjerojatnost dodavanja novih veža, ža svaki novi skriveni neuron evolucija bi žahtijevala veliki broj iteracija da ga povež e s vec inom ulažnih neurona. Stoga se koristi struktura slic na konvolucijskoj neuronskoj mrež i (Garcia, 2004). Umjesto ulažnih koriste se konvolucijski neuroni: jedan takav neuron spojen je na vis e pravih ulažnih neurona. Konvolucijski neuron sadrž i vektor tež ina koji ima onoliko elemenata koliko ima ulažnih neurona na koje je spojen. Ižlaž konvolucijskog neurona jednak je tež inskoj sumi vrijednosti ulažnih. Konvolucijski neuroni predstavljaju se algoritmu NEAT kao ulažni neuroni. Ovakav pristup ima dvije prednosti: drastic no se smanjuje broj ulažnih neurona koje algoritam treba povežati sa skrivenim neuronima, a podjela ulaža na manje dijelove također olaks ava uc enje neuronskih mrež a (Rowley, 1999). Slic an princip koristi se i ža algoritam HyperNEAT dodavanjem skrivenog sloja koji nije potpuno povežan s ulažnim slojem, vec je svaki skriveni neuron povežan samo s ulažnim neuronima koji sadrž e određeni segment slike. Za uc enje neuronskih mrež a koriste se tri varijacije algoritma NEAT: ižvorni NEAT, RBF-NEAT i HyperNEAT. Za svaki su algoritam ispitana c etiri nac ina grupiranja ulažnih neurona i poveživanja s konvolucijskim neuronima. Nac in grupiranja neurona 19

24 određen je s dva parametra: velic inom grupe i velic inom preklapanja susjednih grupa. Na primjer, ža velic inu prožora 5x5 už preklapanja od 2 piksela prvi c e konvolucijski neuron biti spojen na ulažne neurone s koordinatama od (0, 0) do (4, 4), a sljedec i c e biti spojen na ulažne neurone s koordinatama od (3, 3) do (6, 6). Oba c e konvolucijska neurona biti spojena na ulažne neurone u pojasu s irine 2 piksela koji se nalaže na koordinatama od (3, 0) do (4, 5). Za algoritme NEAT i RBF-NEAT koriste se sljedec a c etiri grupiranja: velic ina prožora 4x4, bež preklapanja (25 konvolucijskih neurona), velic ina prožora 5x5, bež preklapanja (16 konvolucijskih neurona), velic ina prožora 5x5, preklapanje 2 piksela (36 konvolucijskih neurona) i velic ina prožora 10x10, bež preklapanja (4 konvolucijskih neurona). Za algoritam HyperNEAT potrebno je dodatno ižabrati i broj dodatnih skrivenih slojeva (osim konvolucijskog koji je uvijek prisutan). Koriste se sljedec a grupiranja: velic ina prožora 4x4, bež preklapanja, jedan dodatni skriven sloj, velic ina prožora 5x5, bež preklapanja, jedan dodatni skriven sloj, velic ina prožora 5x5, preklapanje 2 piksela, jedan dodatni skriven sloj i velic ina prožora 5x5, preklapanje 2 piksela, bež dodatnog skrivenog sloja. Za algoritam NEAT koris teni su sljedec i parametri: broj jedinki populacije: 500, broj grupa: 25, raspon inicijalnih vrijednost tež ina: ( 5, 5) vjerojatnost mutacije: 50%, vjerojatnost križ anja: 50%, vjerojatnost dodavanja novog neurona: 1%, vjerojatnost dodavanje nove veže: 4%, vjerojatnost mutacije tež ina (HyperNEAT): 95%. vjerojatnost mutacije tež ina (NEAT i RBF-NEAT): 47,5%, koris tene mutacije: uniformna i normalna raždioba, vjerojatnost mutacije parametara neurona (NEAT i RBF-NEAT): 47,5% i broj iteracija algoritma:

25 Kako skup svih slika sadrž i ižnimno veliki broj slika, uc enje mrež e nad cijelim skupom bilo bi nepraktic no jer bi žahtijevalo previs e vremena. S druge strane nije jednostavno ižabrati podskup slika jer bi bilo potrebno odrediti slike koje su reprežentativne tj. takve da bi neuronska mrež a uc ena samo nad njima poslije uc enja mogla uspjes no prepožnavati slike iž cijelog skupa. Skup ža uc enje gradi se na nac in slic an onome koji je opisao Rowley (1999). Poc etni skup ža uc enje sastoji se od 500 sluc ajno odabranih slika lica i 1500 sluc ajno odabranih slika koje ne sadrž e lica. Iako ovaj omjer slika (1:3) ne odgovara stvarnom omjeru koji je približ no 1:1000, koris tenje manjeg omjera, iako u teoriji nije ispravno, u praksi c esto daje vrlo dobre režultate (Lawrence, 1998). Svakih 50 iteracija algoritma provodi se ispitivanje nad skupom svih slika s c etiri jedinke iž c etiri najbolje grupe (iž svake grupe užima se samo najbolja jedinka). Nakon validacije u skup ža uc enje dodaje se novih 10 slika lica i 30 slika koje ne sadrž e lice, a biraju se upravo one slike ža koje c etiri najbolje mrež e imaju najvec u gres ku. Nakon 1000 iteracija algoritma, skup ža uc enje sadrž avati c e 690 slika lica i 2070 slika koje ne sadrž e lice. To žnac i da je ža potrebe uc enja iskoris teno 34,6% slika lica i 0,1% slika koje ne sadrž e lice, te se sve ostale slike koriste u skupu ža ispitivanje kako bi se provjerile performanse nauc ene neuronske mrež e. Dobrota jedinke rac una se na temelju ižnosa pogres aka nad slikama iž trenutnog skupa ža uc enje. Pogres ka je apsolutna ražlika ižmeđu oc ekivanog i dobivenog ižlaža (1 ža lice, inac e 0). Ako je pogres ka e manja od 0,5 (i samo onda) dobrota jedinke ža tu sliku ižnosi (1 e ), inac e je 0. Ukupna dobrota jedinke jednaka je sumi dobrota ža sve slike iž skupa ža uc enje. Zbog ovakvog rac unanja dobrote, mrež a s velikim brojem malih pogres aka imati c e vec u dobrotu od mrež e s malim brojem velikih gres aka. S obžirom na to da velike gres ke obic no predstavljaju krivu klasifikaciju mrež e, najvec u dobrotu imati c e mrež e koje vec inom pravilno klasificiraju slike, s to žnac i da su im ižlaži vrlo bližu ciljanim 0 ili 1. 21

26 5 Rezultati Ponas anje osnovne inac ice algoritma NEAT prvo je ispitano na nekoliko jednostavnih problema. Iako rjes avanje tih problema nema praktic nu vrijednost, korisno je ža bolje upožnavanje s radom algoritma i nac inom na koji pronalaži optimalnu strukturu neuronske mrež e. Prvi problem, ekskluživno-ili (engl. exclusive-or, XOR) mrež a, c esto se koristi ža ispitivanje performansi algoritama ža uc enje neuronskih mrež a (Stanley, 2004). Cilj je ražviti mrež u koja c e imati ižlaž 1 jedino ako je toc no jedan ulaž postavljen na 1. Kako algoritam NEAT poc inje s minimalnom strukturom, a XOR mrež a mora imati barem jedan skriveni neuron, ovaj problem istovremeno ispituje sposobnost algoritma NEAT u otkrivanju potrebe ža dodavanjem novih skrivenih neurona i određivanju ispravnih vrijednosti ža tež ine veža. Mrež a ima tri ulažna neurona, od kojih su dva pravi ulaži, a trec i (bias) je uvijek postavljen na 1. Dobrota jedinke rac una se na temelju suma kvadratnih pogres aka mrež a ža svaki od c etiri moguc e kombinacije ulaža. Koris tena je velic ina populacije od 150 jedinki i 10 grupa, a postupak uc enja ponovljen je 50 puta. U prosjeku, algoritmu je potrebno 60 iteracija da pronađe rjes enje koje daje ispravne ižlaže ža sve moguc e kombinacije ulaža. Najbolje pronađeno rjes enje ima u prosjeku 2,5 skrivenih neurona i 5 dodatnih veža. Iako prosjec na mrež a ima od jedan do dva skrivena neurona vis e nego s to je potrebno, algoritam je u nekoliko sluc ajeva ipak uspio pronac i minimalno rjes enje. Drugi problem nad kojim je algoritam koris ten je uc enje mrež a koja se ponas a kao multipleksor sa s est ulaža. Dva ulaža predstavljaju adresne bitove koji određuju koji od ostala c etiri ulaža treba preslikati na ižlaž multipleksora. Sedmi ulažni neuron je bias koji je uvijek postavljen na 1. 22

27 Za ražliku od problema XOR, ovaj problem ima ukupno 64 moguc e kombinacije ulaža te c e mrež a morati imati vec i broj skrivenih neurona i dodatnih veža. Dobrota jedinke rac una se na isti nac in, dok je velic ina populacije povec ana na 500 jedinki podijeljenih u 25 grupa, a postupak uc enja ponovljen je 50 puta. U prosjeku, algoritmu je potrebno oko 930 iteracija da pronađe toc no rjes enje. Najbolja pronađena jedinka ima u prosjeku 9,7 skrivenih neurona i 32 dodatne veže. Dok su prethodna dva problema ispitivala sposobnost algoritma u ražvoju mrež a koje rac unaju funkcije, toc nije Booleove funkcije, žadnji problem ispituje sposobnost algoritma u ražvoju mrež a ža upravljanje. Za takve probleme obic no nije požnato najbolje rjes enje, niti je moguc e provjeriti je li pronađeno rjes enje najbolje moguc e, vec je cilj ražviti mrež u sa s to je moguc e boljim performansama. Problem koji je koris ten je balansiranje s tapa (engl. pole balancing). S tap određene duljine pric vrs c en je na sredinu vožila i mož e se slobodno rotirati oko te toc ke. Na vožilo u svakom trenutku djeluje sila konstantnog ižnosa, dok smjer sile određuje neuronska mrež a. Vožilom se mož e upravljati pravovremenim mijenjanjem smjera u kojem djeluje sila. Mrež a ima c etiri ulaža: udaljenost vožila od sredis nje požicije, bržina kojom se vožilo krec e, kut s tapa u odnosu na ravnotež ni polož aj (90 u odnosu na horižontalnu os) i kutna bržina kojom se s tap rotira. Mrež a mora upravljati vožilom tako da kut s tapa i udaljenost vožila od poc etne požicije nikada ne pređu unaprijed žadane najvec e dopus tene vrijednosti. Cilj trec eg problema je ražvoj mrež e koja c e uvijek uspjeti dovesti vožilo u neutralni polož aj kada se vožilo nalaži u sredis njoj požiciji, a bržina vožila i kutna bržina s tapa jednake su nuli. Za ovaj problem požnato je optimalno rjes enje. Za problem je koris tena velic ina populacije od 150 jedinki podijeljenih u 10 grupa, a postupak uc enja ponovljen je 300 puta. Svaki put su udaljenost vožila od sredis nje požicije i kut s tapa postavljeni na sluc ajno ižabrane vrijednosti. Poc etna bržina vožila i poc etna kutna bržina s tapa uvijek su postavljeni na nulu. Za trec i je problem algoritam NEAT uspio pronac i rjes enje vrlo bližu optimalnom ža s to mu je u prosjeku trebalo 75 iteracija. Dobivena mrež a imala je u prosjeku 2,3 skrivena neurona i 4,9 dodatnih veža. 23

28 Algoritam NEAT ža prethodne je probleme uspjes no pronas ao rjes enja koja su ili optimalna ili bližu teoretski optimalnom rjes enju. Osim dobrih režultata, pronađene su mrež e imale, po broju skrivenih neurona i dodatnih veža, relativno jednostavnu strukturu. Problem detekcije lica dosta je tež i jer neuronske mrež e nije moguc e uc iti nad svim moguc im kombinacijama ulaža (kao ža prva dva problema) niti generirati veliki broj ispitnih sluc ajeva (kao ža trec i problem). Dok je ža slike koje sadrž e lice moguc e koristiti dostupne baže slika, broj slika koje ne sadrž e lica toliko je velik i ražnolik (slike prirode, žgrada, ž ivotinja, objekata itd.) da je nemoguc e ižabrati reprežentativan podskup. Algoritam NEAT mora na temelju dostupnih slika shvatiti koje se karakteristike tipic ne ža ljudsko lice te nauc iti neuronsku mrež u da ih raspožnaje. Skup dostupnih slika koje ne sadrž e lice, iako žanemarive velic ine u odnosu na skup svih takvih slika, nuž an je ža ispravan rad algoritma kako bi mogao procijeniti koliko mrež a dobro detektira nepostojanje ljudskog lica na slici. Idealan bi detektor lica pronas ao sva ljudska lica ignorirajuc i pritom sve dijelove slike koji ne sadrž e lica. Najbolje s to se stvarno mož e postic i je ražvoj detektora koji c e prepožnati veliku vec inu lica, už prihvatljivo mali broj neispravnih detekcija. Za svaku od 12 konfiguracija (3 ražlic ita algoritma, svaki s c etiri nac ina grupiranja ulažnih neurona), postupak uc enja potpuno je proveden 30 puta. Tijekom svakog postupka uc enje ža svaku iteraciju algoritma pratili su se podaci o najboljoj i srednjoj dobroti jedinki, o broju veža koje su dodane u strukture mrež a te o postocima toc nih detekcija ža slike koje sadrž e lica i slike koje ih ne sadrž e. Grafovi od 5.1 do 5.12 prikažuju prosjec ne vrijednosti po iteracijama ža dobrotu najbolje jedinke (gornji graf, puna crna linija), prosjec nu dobrotu svih jedinki (gornji graf, isprekidana crna linija), postotak toc no klasificiranih slika lica (gornji graf, puna siva linija), postotak toc no klasificiranih slika bež lica (gornji graf, isprekidana siva linija), broj veža neuronske mrež e najbolje jedinke (donji graf, puna linija) i prosjec ni broj veža neuronskih mrež a svih jedinki (donji graf, isprekidana linija). 24

29 Broj veža Dobrota Broj veža Dobrota Slika 5.1: Algoritam NEAT, 4x4 bez preklapanja Slika 5.2: Algoritam NEAT, 5x5 bez preklapanja 25

30 Broj veža Dobrota Broj veža Dobrota Slika 5.3: Algoritam NEAT, 5x5 s preklapanjem od 2 piksela Slika 5.4: Algoritam NEAT, 10x10 bez preklapanja 26

31 Broj veža Dobrota Broj veža Dobrota Slika 5.5: Algoritam RBF-NEAT: 4x4 bez preklapanja Slika 5.6: Algoritam RBF-NEAT, 5x5 bez preklapanja 27

32 Broj veža Dobrota Broj veža Dobrota Slika 5.7: Algoritam RBF-NEAT, 5x5 uz preklapanje od 2 piksela Slika 5.8: Algoritam RBF-NEAT, 10x10 bez preklapanja 28

33 Broj veža Dobrota Broj veža Dobrota Slika 5.9: Algoritam HyperNEAT, 4x4 bez preklapanja Slika 5.10: Algoritam HyperNEAT, 5x5 bez preklapanja 29

34 Broj veža Dobrota Broj veža Dobrota Slika 5.11: Algoritam HyperNEAT, 5x5 s preklapanjem od 2 piksela Slika 5.12: Algoritam HyperNEAT, 5x5 s preklapanjem od 2 piksela bez skrivenog sloja 30