2015 ZMIEŠANÁ REALITA doc. Ing. Branislav Sobota, PhD. Katedra počítačov a informatiky FEI TU Košice Systémy Virtuálnej Reality
KPI FEI TU Košice SVR - Zmiešaná realita 2 Zmiešaná realita (MR) (Azuma) Zmiešaná realita (mixed reality, MR) je oblasť počítačového výskumu zaoberajúca sa kombináciou reálneho sveta a počítačom generovaných dát (virtuálnej reality), kde počítačom generované syntetické objekty sú vmiešavané do reálneho prostredia a naopak, v reálnom čase Google Glass STAR 1200XL (Vuzix)
KPI FEI TU Košice SVR - Zmiešaná realita 3 Základné charakteristiky MR kombinuje reálne a virtuálne je interaktívna prebieha v reálnom čase je registrovaná v troch dimenziách Ronald T.Azuma Systém zmiešanej reality je považovaný za definitívne imersívny systém
KPI FEI TU Košice SVR - Zmiešaná realita 4 Zmiešaná realita Milgramovo continuum Rozšírená (obohatená) realita (augmented reality, AR) vkladanie syntetizovaných objektov do reálneho sveta Rozšírená virtualita (augmented virtuality, AV) vkladanie reálnych objektov do syntetizovaného sveta Milgramov prechod (Milgramovo continuum) medzi reálnym a virtuálnym prostredím
KPI FEI TU Košice SVR - Zmiešaná realita 5 Zmiešaná realita Mannova klasifikácia Medialita (sprostredkovanie) Sprostredkovaná realita (mediated reality, MR) Striktne sprostredkovaná virtualita Sprostredkovaná virtualita (mediated virtuality, MV) Rozšírená realita (augmented reality, AR) Rozšírená virtualita (augmented virtuality, AV) Realita Virtualita
KPI FEI TU Košice SVR - Zmiešaná realita 6 Medialita Medialita vo forme sprostredkovania Sprostredkovanie z hľadiska tejto technológie je rozšírený pojem zahrňujúci aj isté prvky prenosu zviditeľnenia (vizualizácie) do iného formátu t.j. transformáciu objektov do mediálnej podoby. Mediácia - proces prevádzania (transformácie) údajov v rámci vytvárania resp. presunu objektov zahrňujúci aj množinu transformácií umožňujúcich transport údajov na zviditeľnenie (vizualizáciu) Medialita je potom chápaná ako interaktívne rozhranie t.j. prostredie styku rozdielnych svetov. Jedná sa teda o mieru možného prepojenia medzi heterogénnymi svetmi, v ktorých sú využívané rozdielne formy sprostredkovania (zviditeľnenia, vizualizácie).
KPI FEI TU Košice SVR - Zmiešaná realita 7 Typy MR systémov (podľa toho ako pozorovateľ vidí MR) MR s priamym pohľadom (optical see-through) (s polopriepustným displejom) MR s nepriamym pohľadom (video see-through) (s HMD)
KPI FEI TU Košice SVR - Zmiešaná realita 8 Typy MR systémov (podľa toho ako dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom ) systémy so značkami (marker systems) do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi systémy bez značiek (semi-markless, markerless systems) - vyhodnocovanie a vkladanie je bez značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu, tváre príp. GPS
KPI FEI TU Košice SVR - Zmiešaná realita 9 Obohatená a rozšírená realita (podľa toho v akom priestore dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom ) Obohatená realita bez priamej geometrickej väzby s reálnym svetom Google Glass Rozšírená realita s geometrickou väzbou s reálnym svetom
KPI FEI TU Košice SVR - Zmiešaná realita 10 Toky dát v systémoch VR/MR VSTUPY Vstupné rozhrania Vstupnovýstupné rozhrania Vstupné dáta jadra Dáta generované jadrom VR systému Jadro VR systému Výstupné dáta jadra VÝSTUPY Výstupné rozhrania Vstupnovýstupné rozhrania Vstupné dáta Výstupné dáta
KPI FEI TU Košice SVR - Zmiešaná realita 11 Previazanie zobrazovaných obrazov v systémoch MR súradnicový systém reálnej scény súradnice pozície kamery R súradnice obrazu reálnej scény Výstupné zobrazovacie zariadenie reálna scéna videná používateľom súradnicový systém sveta (výstupná súradnicová sústava) Zosúladenie reálnej a virtuálnej scény (prepočet súradnicových systémov) Obraz scény (reálny pohľad) Virtuálny obraz (virtuálny pohľad) súradnice virtuálneho obrazu používateľ Virtuálny (syntetizovaný) objekt súradnice pozície kamery Výstupný obraz zmiešanej reality Renderovanie grafiky (výpočet výslednej virtuálnej grafickej scény) súradnicový systém virtuálnej scény
KPI FEI TU Košice SVR - Zmiešaná realita 12 Oblasti nasadenia MR systémov Výskumné a akademické aktivity Komerčné systémy Počítačové hry, exteriérová MR MR v mobilných zariadeniach Armádne nasadenie Medicína Priemyselné riešenia, architektúra Výuka a tréning
KPI FEI TU Košice SVR - Zmiešaná realita 13 MR vo výskumných aktivitách MARS (Mobile Augmented Reality System created at GC and UI lad of Columbia University): http://graphics.cs.columbia.edu/projects/ mars/mars.html ARMAR (Augmented Reality for Maintenance And Repair): http://graphics.cs.columbia.edu/projects/armar/index.htm Sixth Sense (Wearable gestural interface developed at MIT media lab): http://www.pranavmistry.com/projects/sixthsense/index.htm ARToolKit (Software library for building AR applications created by Human Interface Technology laboratory): http://www.hitl.washington.edu/ artoolkit/ DART (Designer s Augmented Reality Toolkit created by Augmented Environments Laboratory of Georgia Institute of Technology): http://www.cc.gatech.edu/dart/
KPI FEI TU Košice SVR - Zmiešaná realita 14 Komerčné MR systémy Mirage - kompletný AR system vyvinutý Arcane Technologies: http://www.arcanetechnologies.com/en/ Virtual Box Simulator - aplikácia pre optimalizáciu zásielky pred poslaním: https://www.prioritymail.com/simulator.asp?id=18015211&ssno=26968 Layar - štandardizácia AR zobrazovača: (http://blog.machinecontrolonline.com/?p=279) InterSense - riadenia strojov a zariadení a tréning obsluhy a servisu: (http://www.intersense.com) Boeing repair assistant (http://www.boeing.com) Procter & Gamble - reklamná kampaň na produkty Always (http://www.always.com/infinity/always_infinity.jsp#/experience-themagic) D Fusion (software na návrh a prezentáciu pomocou MR (AR): http://www.timmersion.com/en,solution-presentation,559.html
KPI FEI TU Košice SVR - Zmiešaná realita 15 Exteriérová MR a hry Komponenty systému ARQuake a pohľad používateľa http://wearables.unisa.edu.au/arquake
KPI FEI TU Košice SVR - Zmiešaná realita 16 MR v mobilných zariadeniach Vzhľad projektu MARA - systém AR pre mobilné telefóny (http://research.nokia.com /research/projects/mara/index.html),
KPI FEI TU Košice SVR - Zmiešaná realita 17 MR v mobilných zariadeniach Fanta Virtual Tennis (http://fanta.eu/)
KPI FEI TU Košice SVR - Zmiešaná realita 18 MR a medicína
KPI FEI TU Košice SVR - Zmiešaná realita 19 MR a armáda SIMNET, MILES2000 (http://www.tesslcs.com) (aj ASR)
KPI FEI TU Košice SVR - Zmiešaná realita 20 MR a priemysel a architektúra Ukážka servisnej BMW AR technológie
KPI FEI TU Košice SVR - Zmiešaná realita 21 MR a automobilový priemysel navigačné prvky v spojení so systémom GPS priamo do výhľadu vodiča (napr. systém firmy Alvis Technologies Inc., http://www.alvis.com.tw/products.php?pkid=2)
KPI FEI TU Košice SVR - Zmiešaná realita 22 MR a priemysel a architektúra Model budovy a jej zobrazenie v reálnom prostredí
KPI FEI TU Košice SVR - Zmiešaná realita 23 MR a výuka a tréning Zariadenie Spinnstube skutočnosť (hore) a študentov vnem (dole)
KPI FEI TU Košice SVR - Zmiešaná realita 24 HOLODESK, HOLOLENS (AR, Microsoft) http://www.youtube.com/watch?feature=player_embedded&v=jhl5tj9ja_w#!
KPI FEI TU Košice SVR - Zmiešaná realita 25 Niektoré MR (AR) systémy D'Fusion Studio (http://www.t-immersion.com/) Metaio (http://www.metaio.com) ARTag (http://www.artag.net/) BuildAR (http://www.hitlabnz.org/wiki/introduction_to_buildar) AR-media Plugin pre Google SketchUp (http://www.inglobetechnologies.com/ /en/products/arplugin_su/info.php) ARToolkit (http://www.hitl.washington.edu/artoolkit/)
KPI FEI TU Košice SVR - Zmiešaná realita 26 AR-media Ukážka funkcie pluginu AR-media pre Google SketchUp
KPI FEI TU Košice SVR - Zmiešaná realita 27 ARToolkit softwérová knižnica na vytváranie zmiešanej reality. Rieši kľúčový problém pri vývoji aplikácií zmiešanej reality, ktorým je určenie pozície zorného poľa užívateľa. jednoduché prostredie pre vytvorenie AR aplikácií, OpenSource s GPL licenciou pre nie komerčné využitie multiplatformové knižnice (Windows,Linux,MAC OS,SGI) prekrýva 3D virtuálny objekt na reálnej značke podpora rôznych vstupov (USB,Firewire,karty) a formátov (RGB/YUV420P,YUV) podpora sledovania viacerých kamier GUI inicializujúce rozhranie rýchle a nenáročné sledovanie značiek (planárna detekcia v reálnom čase) jednoduchá grafická knižnica (založená na GLUT) a vykresľovanie založené na OpenGL podpora 3D VRML jednoduché a modulovateľné API (v jazyku C) a podpora iných jazykov (JAVA,Matlab) kompletná sada príkladov a utilít
KPI FEI TU Košice SVR - Zmiešaná realita 28 Proces práce s ARToolkit
KPI FEI TU Košice SVR - Zmiešaná realita 29 Proces vytvárania MR scény Model vytváranie/editácia Model export Model kontrolné vykreslenie Model OK? + Model výstup Zhromažďovanie údajov collection Marker definícia Marker vytváranie/editácia Marker kontrola rozpoznania - Marker OK? - + Spájanie modelu a markera Spojenie OK? - Vstup reálnej scény + Príprava dát finálnej scény Vykreslenie finálnej scény rendering
KPI FEI TU Košice SVR - Zmiešaná realita 30 Štandardný proces práce AR aplikácie bez exaktných značiek Štart Štart Inicializácia kamery Inicializácia predlôh Inicializácia kamery Inicializácia predlôh Inicializácia 3D modelu Načítanie video snímky a rozdelenie do subregiónov Inicializácia Inicializácia 3D modelu Načítanie video snímky Inicializácia Paralelizácia Detekcia predlohy1/ objektu1 Výpočet pozície a orientácie objektu1 Detekcia predlohy2/ objektu2 Výpočet pozície a orientácie objektu2...... Detekcia predlohyn/ objektun Výpočet pozície a orientácie objektun Hlavný cyklus Detekcia predlohy/objektu Výpočet pozície a orientácie Hlavný cyklus Vykreslenie 3D modelu Vypnutie kamery Ukončenie GPGPU Koniec Vykreslenie 3D modelu Vypnutie kamery Ukončenie Paralelizácia procesu Koniec
KPI FEI TU Košice SVR - Zmiešaná realita 31 Štandardný proces práce AR aplikácie bez exaktných značiek 1. kamera neustále sníma reálnu scénu a posiela video do výpočtového systému na spracovanie 2. Programové vybavenie spracúva snímku po snímke a pomocou zvolenej metódy na detekciu hľadá v snímke danú(é) predlohu(y)/objekt(y). 3. po rozpoznaní objektu (predlohy) sa vypočíta jeho pozícia a orientácia 4. ak je známa pozícia a orientácia, umiestni sa virtuálny model na danú pozíciu 5. používateľ vidí na displeji reálnu scénu snímanú kamerou rozšírenú o virtuálny 3D model.
KPI FEI TU Košice SVR - Zmiešaná realita 32 Metódy detekcie používané v systémoch MR (AR) SIFT - Scale Invariant Feature Transform SURF - Speeded-Up Robust Features
KPI FEI TU Košice SVR - Zmiešaná realita 33 Metódy detekcie používané v systémoch MR (AR) - SIFT 1. Vyhľadanie lokálnych extrémov v rozpoznávanom priestore V prvej fáze sa zostrojí scale-space (SS) t.j. mierkovo nezávislá reprezentácia obrázku pri Gaussovom rozmazaní. V ňom sa vyhľadajú všetky lokálne extrémy. Pre efektívny výpočet SS sa používa rozdiel Gaussových funkcií Difference-of- Gaussians (DoG) 2. Presnejšie určenie významných bodov V tomto kroku sa získané body z prvej fázy podrobnejšie skúmajú. Tie, ktoré majú nedostatočnú stabilitu sú vylúčené a u zvyšných, ktoré sú stabilné sa spresni poloha v priestore. 3. Priradenie orientácií V tejto častí je významným bodom priradená dominantná orientácia na základe orientácie gradientu v okolí bodu. Priradením orientácie docielime nezávislosť bodov od rotácie. 4. Vytvorenie deskriptorov pre významné body Pre každý významný bod je vypočítaný deskriptor na základe gradientu v okolí bodu. Pomocou deskriptorov je možné hľadať zhody v porovnávaných obrazoch.
KPI FEI TU Košice SVR - Zmiešaná realita 34 Metódy detekcie používané v systémoch MR (AR) - SURF SURF je metóda, ktorá dokáže popísať obrázok pomocou deskriptorov. Metóda SURF je novšou obdobou metódy SIFT. Popis pomocou deskriptorov vygenerovaných touto metódou je invariantný voči rotácii a vzdialenosti kamery od popisovaného objektu. Algoritmus SURF sa využíva v mnohých aplikáciách počítačového videnia, ako napr. pri rekonštrukcii 2D a 3D scén, klasifikáciu obrázkov a hlavne pre rýchly popis obsahu obrázku.
KPI FEI TU Košice SVR - Zmiešaná realita 35 Metódy detekcie používané v systémoch MR (AR) - SURF Algoritmus je možno rozdeliť na niekoľko funkčných časti: 1. Prvý funkčný blok algoritmu je tzv. integrálny obraz. Integrálny obraz v každom svojom obrazovom bode obsahuje hodnotu súčtu hodnôt obrazových bodov (pixelov) od počiatku obrazu až do daného bodu. 2. Ak je k dispozícii integrálny obraz, potom na výpočet ľubovoľnej veľkej sumy hodnoty pôvodného obrazu potrebujeme iba 4 okolité významové body (napr. na výpočet hodnoty sumy hodnôt pixelov vo vnútri celého definovaného obdĺžnika nám stačí poznať hodnoty rohových pixelov odpovedajúceho integrálneho obrazu). 3. Ďalej metóda SURF používa determinant Hessianovej matice. Hessianová matica je štvorcovou maticou druhých parciálnych derivácií spojitej funkcie 4. V ďalšom kroku nastáva budovanie mierkovo nezávislej reprezentácie obrázu 5. Algoritmus končí priradením orientácie a vytvorením deskriptorov
KPI FEI TU Košice SVR - Zmiešaná realita 36 Metódy detekcie používané v systémoch MR (AR) - SURF Významné body spoločné pre značku a aktuálnu snímku
KPI FEI TU Košice SVR - Zmiešaná realita 37 Výpočet pozície, orientácie, projekcie
KPI FEI TU Košice SVR - Zmiešaná realita 38 Výpočet pozície, orientácie, projekcie
KPI FEI TU Košice SVR - Zmiešaná realita 39 Ukážka celkového procesu MR bez exaktných značiek Zobrazenie MR pre HMD (datovú prilbu)
KPI FEI TU Košice SVR - Zmiešaná realita 40 Celkový diagram procesu MR bez exaktných značiek
KPI FEI TU Košice SVR - Zmiešaná realita 41 Schéma vysokoúrovňového systému MR Kamera GPS Inerciálny snímač Senzorová časť Procesná časť Obraz z kamery Vykresľovanie AR údaje Displej Komunikačná sieť Definícia modelu Údaje o pozícii Databáza objektov Procesná časť Globálna definícia modelu/sveta Globálne údaje o pozícii vrátane relačných Globálna databáza objektov
KPI FEI TU Košice SVR - Zmiešaná realita 42 Využitie MR Možnosť pozrieť si výslednú realizáciu ešte pred samotnou realizáciou za pomoci MR projekcie, možnosť prechádzať sa v prípadných existujúcich priestoroch. Ľahké odhalenie chýb pri projekcii - chybného umiestnenia prípadne chýbajúceho konštrukčného prvku Pre investora ľahké posúdenie a úprava pôvodného návrhu o optimálnom usporiadaní technológie ešte pred začiatkom samotnej realizácie. K projektu sa môžu pri takomto type vizualizácie vyjadrovať aj netechnici resp. môžu byť potlačené jazykové bariéry Pohľady na projekt, ktoré v reáli nie sú možné V kombinácii s GPS a prípadnými mobilnými zariadeniami orientácia vo výrobnom podniku alebo ako prvok rozhrania informačného systému podniku, kde môžu byť zobrazované doplnkové informácie o objektoch (napr. evidenčné číslo, dostupnosť na sklade či zodpovednú osobu). Možnosť pripraviť si a natrénovať postup dopravy a montáže s ohľadom na rozmer zariadenia a dostupného priestoru Tréning obsluhy technológie bez potreby pobytu priamo v prevádzke Tréning požiarnej ochrany, zváračský simulátor, tréning na vysokozdvižnom vozíku, tréning bezpečnostých jednotiek Možnosť prípravy efektných prezentácií a podkladov pre budúcu reklamnú resp. investičnú kampaň
KPI FEI TU Košice SVR - Zmiešaná realita 43 Príklad použitia MR (AR, KPI FEI TU Košice)
KPI FEI TU Košice SVR - Zmiešaná realita 44 Príklad použitia MR (AR, KPI FEI TU Košice)
KPI FEI KPI TU FEI Košice TU Košice SVR - Zmiešaná realita SVR - Zmiešaná realita 45 45 Príklad použitia MR (AR, KPI FEI TU Košice)
KPI FEI TU Košice SVR - Zmiešaná realita 46 Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie PC 1 2 3 4
KPI FEI TU Košice SVR - Zmiešaná realita 47 Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie výrobnej linky 1 2 3 4
KPI FEI TU Košice SVR - Zmiešaná realita 48 Príklad použitia MR (AR, KPI FEI TU Košice) Virtuálny klavírny trenažér
KPI FEI TU Košice SVR - Zmiešaná realita 49 Príklad použitia MR (AR, KPI FEI TU Košice) Rozšírená virtualita reálny pohľad zobrazenie v systéme AV
KPI FEI TU Košice SVR - Zmiešaná realita 50 Experimentálne pracovisko MR (AR, KPI FEI)
KPI FEI TU Košice SVR - Zmiešaná realita 51 Experimentálne pracovisko MR (AR, KPI FEI) reálny stav vnem (pohľad) pozorovateľa
KPI FEI TU Košice SVR - Zmiešaná realita 52 Experimentálne pracovisko MR (AR, KPI FEI) Virtuálne pracovisko v modelovacom prostredí Tecnomatix JACK 7.1 (SIEMENS, vizual KPI FEI TU Košice) Znázornenie tréningového procesu pomocou dátovej prilby a snímača v parciálnej úlohe uchopenie telesa (hore) a pri posúvaní vozíka s motorom (dolu) vnem (pohľad) pozorovateľa
KPI FEI TU Košice SVR - Zmiešaná realita 53 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Schéma základnej koncepcie distribuovaného systému zmiešanej reality
KPI FEI TU Košice SVR - Zmiešaná realita 54 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Základné moduly distribuovaného systému zmiešanej reality komunikačný modul, úložisko údajov, synchronizačný modul, vizualizácia, údaje z polohových senzorov, gestá dátovej rukavice, realizácia skriptovaných animácií, detekcia kolízií medzi objektmi, manipuláciu s virtuálnymi objektmi pomocou dátovej rukavice, zachytenie zvuku, prehrávač zvuku.
KPI FEI TU Košice SVR - Zmiešaná realita 55 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Implementácia distribuovaného systému zmiešanej reality
KPI FEI TU Košice SVR - Zmiešaná realita 56 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Interakcie medzi modulmi distribuovaného systému zmiešanej reality
KPI FEI TU Košice SVR - Zmiešaná realita 57 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Výhody distribuovaného systému zmiešanej reality využitie výpočtovej schopnosti viacerých počítačov, nezávislosť modulov, asynchrónne vykonávania nezávislých činností VR, možnosť zámeny len niektorých modulov, škálovateľnosť.
KPI FEI TU Košice SVR - Zmiešaná realita 58 Experimentálne pracovisko MR (AR, KPI FEI) Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice) Ukážka práce a pohľad pozorovateľa v distribuovanom systéme zmiešanej reality
OTÁZKY? 2015 KPI FEI TU Košice