Current Research Projects ath the HLRS from Drug Production over Green-IT to Medical Simulations

Transcription

1 : : : : : : : : : : : : : : : : : : : : : : Current Research Projects ath the HLRS from Drug Production over Green-IT to Medical Simulations Uwe Wössner, HLRS SEAIP 2013

2 THE HLRS SYSTEMS : : : : : : : : : : : : : : : : : : : : : : Hermit Cray XE6(7000x16) NEC SX-9 (156) NEC Asama (64) CAVE Ulm Dalco Vis-Cluster (24*8+16*4) Stuttgart IBM HSM > 2 PB SUN Fire 2900 (48x2) IBM x3755 (144x2) SEAIP 2013 Cray XC30, XK6, XD1 NEC Nehalem (1400x4/8) NEC Sandybridge (576x8)

3 NEW HLRS SYSTEM (CRAY XE6 HERMIT ) : : : : : : : : : : : : : : : : : : : : : : 2011 AMD 2.3GHz 16 Cores Cores 1 PF/s Peak TF/S application performance 100 TB main memory 2.7 PB storage SEAIP 2013

4 : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

5 INDUSTRIAL USAGE : : : : : : : : : : : : : : : : : : : : : : Bertrandt BTB Daimler Kärcher Mahle Porsche RECOM Transsolar Stellba Optima Pharma SEAIP 2013

6 NEW FIVE SIDED CAVE : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

7 Go CAVE PROJECTORS : : : : : : : : : : : : : : : : : : : : : : 5 ProjectionDesign F35 AS3D 1920x1200 Single chip DLP 0.8/1 wide angle lens SEAIP 2013

8 : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

9 Go CAVE CLUSTER : : : : : : : : : : : : : : : : : : : : : : 22 Nodes + 8 Nodes 2 Intel Sandybridge CPUs/Node NVIDIA K5000 / NVIDIA K6000 GPUs 256 GB,32 GB Head nodes/render nodes QDR Infiniband External NICs: 10GigE Closed loop water cooled rack by Schäfer/Stulz 1LNET Router to Cray fs SEAIP 2013

10 Go 3D TILED DISPLAY : : : : : : : : : : : : : : : : : : : : : : 9 UE 55A 3D LCD Displays 1920x1080 Full HD 3D (HDMI 1.4a) 11 K5000 GPUs SEAIP 2013

11 Product development/optimization : : : : : : : : : : : : : : : : : : : : : : Construction Physical Prototype Analysis Construction Simulation Analysis V i r t u a l P r o t o t y p e s H y b r i d P r o t o t y p e s SEAIP 2013

12 BUILDING BLOCKS OF A WORKSPACE : : : : : : : : : : : : : : : : : : : : : : User Interface VR Userinterface (VRUI) Tablet-PC (TabletUI) Tangible Interface Multi Touch Tools Visualization Simulation Workspace Virtual Reality (VR) Augmented Reality (AR) Desktop Hybrid Prototypes SEAIP 2013

13 COLLABORATIVE ENVIRONMENTS : : : : : : : : : : : : : : : : : : : : : : User Interface VR Userinterface (VRUI) Tablet-PC (TabletUI) Tangible Interface Multi Touch User Interface VR Userinterface (VRUI) Tablet-PC (TabletUI) Tangible Interface Multi Touch Visualization Simulation Visualization Simulation Tools Tools Workspace Virtual Reality (VR) Augmented Reality (AR) Desktop Workspace Virtual Reality (VR) Augmented Reality (AR) Desktop Hybrid Prototypes Hybrid Prototypes User Interface VR Userinterface (VRUI) Tablet-PC (TabletUI) Tangible Interface Multi Touch User Interface VR Userinterface (VRUI) Tablet-PC (TabletUI) Tangible Interface Multi Touch Visualization Simulation Visualization Simulation Tools Tools Workspace Virtual Reality (VR) Augmented Reality (AR) Desktop Workspace Virtual Reality (VR) Augmented Reality (AR) Desktop Hybrid Prototypes Hybrid Prototypes SEAIP 2013

14 COVISE : : : : : : : : : : : : : : : : : : : : : : COLLABORATIVE VISUALIZATION AND SIMULATION ENVIRONMENT SEAIP 2013

15 : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013 Virtual Reality

16 COAL PARTICLE VISUALIZATION : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

17 OPENCOVER : : : : : : : : : : : : : : : : : : : : : : COVISE VIRTUAL ENVIRONMENT RENDERER Features: Flexible plugin system Support for projection based VR, tiled Displays and HMDs Augmented Reality CSCW Volume rendering VRML97 3D VR GUI (VRUI) Parallel rendering Vic Volumen- Rendering covise_lib Plugin- Support render_lib OpenCOVER Tracker VRML97 ARToolKit VRUI VRBClient OpenSceneGraph SEAIP 2013

18 Simulation and Visualization of the Airflow in Clean Rooms Bärbel Große-Wöhrmann, Uwe Wössner, High Performance Computing Center Stuttgart (HLRS) Ralph Eisenschmid, OPTIMA pharma GmbH

19 WHY SIMULATING THE AIRFLOW IN CLEAN ROOMS? : : : : : : : : : : : : : : : : : : : : : : Design: How to avoid the pollution of vails? contamination of staff? Testing and justification Pharma Forum 2013

20 WHY SIMULATING THE AIRFLOW IN CLEAN ROOMS? : : : : : : : : : : : : : : : : : : : : : : Pharma Forum 2013

21 OPENFOAM - A TOOLBOX FOR CFD : : : : : : : : : : : : : : : : : : : : : : Mesh generation (SnappyHexMesh) Initial and boundary conditions Surface data in STL format Solver Post-processing Pharma Forum 2013

22 OPENFOAM - A TOOLBOX FOR CFD : : : : : : : : : : : : : : : : : : : : : : Mesh generation Initial and boundary conditions /* *- C++ -* *\ ========= \\ / F ield OpenFOAM: The Open Source CFD Toolbox \\ / O peration Version: \\ / A nd Web: \\/ M anipulation \* */ FoamFile { version 2.0; format ascii; class volscalarfield; object p; } // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * // dimensions [ ]; Solver internalfield uniform 0; boundaryfield { inlet { type } zerogradient; Post-processing outlet { type value } fixedvalue; $internalfield; Pharma Forum 2013

23 OPENFOAM - A TOOLBOX FOR CFD : : : : : : : : : : : : : : : : : : : : : : Mesh generation Initial and boundary conditions /* *- C++ -* *\ ========= \\ / F ield OpenFOAM: The Open Source CFD Toolbox \\ / O peration Version: \\ / A nd Web: \\/ M anipulation \* */ FoamFile { version 2.0; format ascii; class dictionary; object controldict; } // * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * // application simplefoam; Solver Post-processing startfrom starttime; starttime 0; stopat endtime; endtime 500; deltat 1; writecontrol timestep; writeinterval 100; Steady-state solver for incompressible, turbulent flow Pharma Forum 2013

24 OPENFOAM - A TOOLBOX FOR CFD : : : : : : : : : : : : : : : : : : : : : : Mesh generation Initial and boundary conditions Solver Post-processing Pharma Forum 2013

25 OPENFOAM - RUNNING IN PARALLEL : : : : : : : : : : : : : : : : : : : : : : Block Mesh Domain decomposition Parallel mesh generation Parallel solver Reconstruction Pharma Forum 2013

26 OPENFOAM - RUNNING IN PARALLEL : : : : : : : : : : : : : : : : : : : : : : Mesh generation Domain decomposition 20 min 20 min Parallel mesh generation Parallel solver Clean room simulations example, one run: 12 million mesh cells Memory requirement: 96 GByte 64 compute cores Queuing time: minutes Reconstruction Serial tools: 40 min Pharma Forum 2013

27 : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

28 VR VISUALIZATION OF A CAPPER : : : : : : : : : : : : : : : : : : : : : : Capper Bottle SEAIP 2013

29 < 1 Minute INTERACTIVE SIMULATIONS : : : : : : : : : : : : : : : : : : : : : : Geometry generation Mesh generation Domain decomposition Geometry modification Mesh refinement Number of domains / algorithm Simulation Boundary condition Post Processing Interactive visualization Visualization SEAIP 2013

30 SIMULATION COUPLING : : : : : : : : : : : : : : : : : : : : : : Code Type Coupling mode StarCD CFD SimLib, Fortran user subroutine, Loose CFX CFD SimLib, Fortran user subroutine, Loose Fluent CFD SimLib, C user subroutine, Loose OpenFoam CFD SimLib, C++ user subroutine, Loose Fidap CFD Script, Black-Box, Loose Fenfloss CFD SimLib, C Plugin, Loose Diablo Diffusion in metal alloys Script, Black-Box, Loose Trans3D Laser ablation COVISE Modul C++, Tight Uranus CFD Socket interface, coupling module, C++, Loose SunFace Radiation COM/DCOM, coupling module, C++, Hybrid SEAIP 2013

31 INTERACTIVE SIMULATION IN COVISE : : : : : : : : : : : : : : : : : : : : : : Grid generation Domain decomposition Simulation Post processing Rendering SEAIP 2013

32 VIRTUAL WATER TURBINE TEST-BED : : : : : : : : : : : : : : : : : : : : : : Simulation of the river power station Kiebingen, Neckar Through interactive simulation, the output could be increased by 30%, simply by substituting the runner and wicked gate SEAIP 2013

33 VIRTUAL TURBINE TEST-BED : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

34 : : : : : : : : : : : : : : : : : : : : : : EU-Projekt: FP7 ICT Call 7 Budget: 3,614,210 (funded: 2,645,000 ) Duration: 30 Months Start: Oktober 2011 Consortium CoolEmAll eine Einführung 34

35 GOAL AND MAIN RESULTS : : : : : : : : : : : : : : : : : : : : : : Goal: To enable data centre designers and operators to reduce its energy impact combining optimization of IT, cooling and workload management Main Results: ComputeBox Blueprints and Data Centre Efficiency Building Blocks (DEBBs) abstracting IT infrastructure on different granularity level n Levels: node, node-group (RECS), ComputeBox1 (rack), ComputeBox2 (DC) SVD-Toolkit allowing analysis and optimisation of modular IT infrastructure (level n+1) built of DEBBs (level n), taking into account (input parameters): HW-Models (represented by DEBBs on level n) Workloads and Application Models Workload- & Resource Management Policies Cooling methods and environmental conditions To be achieved by combining: (i) coupled simulations of various workloads and applications, (ii) CFD simulation to analyze airflow and heat transfer in a data centres (iii) visualization of results 2nd Review Meeting, Brussels,

36 : : : : : : : : : : : : : : : : : : : : : : Deep insight into workload execution and hw behaviour Metrics Calculation CFD Simulation Linpack 4c Adequate metrics Power used Daemon output Real output 10:58 10:59 10:59 11:00 11:00 11:01 11:01 11:02 11:02 Date\nTime Workload and Resource Simulation Savings potential Depending on a use case: Rack re-arrangement: 25% for racks cooled by CRAC Capacity management: 20% + performance gains Free cooling: 30% for free cooling, up to 4% per 0.5C increase 36

37 USE OF PREDICTABLE TRENDS USING DCIM : : : : : : : : : : : : : : : : : : : : : : AND MODELING TOOLS Comparison of real measurements with simulation models Definition of open Data Center Efficiency Building Blocks Simulations based on real measurements and re-usable building 37 blocks

38 EFFICIENT MONITORING AND INTELLIGENT WORKLOAD : : : : : : : : : : : : : : : : : : : : : : AND RESOURCE MANAGEMENT The best rather than just highest utilisation Web Server Application Data-intensive Application CPU-intensive Application Minimizing utilisation along with smart resource mamagement CRAC CRAC Hierarchical monitoring and aggregation of metrics 38

39 PROJECT HIGHLIGHTS IN 2013 : : : : : : : : : : : : : : : : : : : : : : Specification and simulation of node groups SEAIP 2013

40 Event Queues COVISE WebService THE SVD TOOLKIT COMPONENTS : : : : : : : : : : : : : : : : : : : : : : Application (with Paremeters) (0) Repository Application Profile Repository Workload Repository DEBB Repository CFD Simulator - Integrate CFX as second CFD Solver Application Profiler (1) (1) (1) (12) CFD Solver (OpenFoam/ Ansys CFX) - Components - Power profile - Air thr. profile Data Center Workload and Resource Management Simulator DEBB COVISE Simulation / Simulation Workflow Workflow (COVISE) Simulation Post- Processing (2) (3) Airthroughput Powerusage (4) (8) (4) (5) Simulation parameters Simulation results (6) - geometry - position (10) Visualisation Pipeline Modules Parameters Links Events Web Server Airthroughput Powerusage (MOP) Database (8) Sample points histogram (7) Interaction (9) Data (10) Metrics Calculator (11) CoolEmAll Web GUI Simulation Interaction & Visualisation (COVISE) SVD - Toolkit MOP GUI COVISE -integrated post processing DC-WORMS GUI DEBB configurator SEAIP 2013 MOP GUI Web GUI DB integration

41 2ND RELEASE OF THE SVD TOOKIT : : : : : : : : : : : : : : : : : : : : : : CoolEmAll WEB-GUI advanced Visualisation Tool Web based GUIs to all components easy usage of SVD Toolkit DEBB configuration, definition Selection of Application Profiles, Workloads View workload simulation Interact and view CFD simulation MOP-GUI Report GUI SEAIP 2013

42 2ND RELEASE OF THE SVD TOOKIT : : : : : : : : : : : : : : : : : : : : : : CFD Simulation using COVISE Rack rearrangement in Compute-Room interactive simulation Remote steering SEAIP 2013

43 AUGMENTED REALITY : : : : : : : : : : : : : : : : : : : : : : Mixed Reality SEAIP 2013

44 DEEP DRAWING OF A CUP : : : : : : : : : : : : : : : : : : : : : : Flange SEAIP 2013

45 COMPUTATIONAL ELECTRODYNAMICS : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

46 CoolEmAll : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

47 MODELL WIND TUNNEL AT THE FKFS : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

48 WIND TUNNEL AT FKFS : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

49 FREIGHTLINER CASCADIA (SC11) : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

50 ABDOMINAL AORTIC ANEURYSM (AAA) : : : : : : : : : : : : : : : : : : : : : : AAA can be found at 2% of the older population Diagnosis is difficult and discovery of existence of an AAA occurs mostly by chance There is a substantial risk of burst which typically ends deadly (Albert Einstein, April 18th 1955) Two forms: saccular and tube-like Dimensions: Diameter: 2-4 inches (normally 1) Volume: cm (norm ) Ralf Schneider, Björn Sander, Peter Lammers, Daniela Pless, Thorsten Fleiter SEAIP 2013

51 WORKFLOW FOR BLOOD FLOW SIMULATIONS : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

52 INTERACTIVE VISUALIZATION OF AN AAA : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

53 INTERACTIVE VISUALIZATION OF AN AAA : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

54 BONE IMPLANT SYSTEMS : : : : : : : : : : : : : : : : : : : : : : Patient specific FE simulations of bone-implant-systems within 2h Realistic and patient specific modeling of Bone geometry Bone tissue Muscle forces Implant placement Simulations fully based on clinical imaging techniques like CT, MRI and US Support of diagnostic decisions with respect to: Implant Type Positioning of Implant Prediction of healing process SEAIP 2013

55 PRESENTATION FOR DOCTORS/PATIENTS : : : : : : : : : : : : : : : : : : : : : : Absolute stress results for implant structure Development of von Mises equivalence stresses in Targon PF implant during slow step Load situation: person of 76.5kg bodyweight, Reduced set of Muscle forces, Fracture A2.3 according to AO SEAIP 2013

56 : : : : : : : : : : : : : : : : : : : : : : STATE OFFICE OF CRIMINAL INVESTIGATION SEAIP 2013

57 EFFICIENT VISUALIZATION OF BEE HIVES : : : : : : : : : : : : : : : : : : : : : : SEAIP 2013

58 THE HLRS VIS-TEAM : : : : : : : : : : : : : : : : : : : : : : Martin Aumüller Parallel Rendering;Parallel Visualization,Remote Rendering (CRESTA) Nico Eichhorn Cloud Visualization, Virtualization of Graphics hardware, Remote Rendering(GAIA-Cloud) Andreas Gottlieb Automatic optimization (Daimler CFD) N.N. Interactive Simulation, Air conditioning; (CoolEmAll) Jutta Sauer Video streaming; Video Conferencing; COVISE Dev.; 3D Modeling Jörg Scheurich Virtual Reality, VRML, X3D Wolfgang Schotte Virtual Reality, CSI-Stuttgart (VISIONAIR); Aihong Yin Web services, Web GUIs, (GAIA-Cloud) Uwe Zimmat Video service Aumueller-eichhorn-gottlieb-rathgeb-sauer-scheurich-schotte-woessner-yin-zimmat@hlrs.de SEAIP 2013