3d goes mobile · 3d goes mobile verarbeitung von semantischen 3d-gebäudemodellen auf smartphones...
TRANSCRIPT
3D Goes MobileVerarbeitung von semantischen 3D-Gebäudemodellen auf Smartphones
Christoph Blut
RWTH Aachen UniversityGeodätisches Institut
Lehrstuhl für Bauinformatik & Geoinformationssysteme
Christoph Blut
INHALT
• MOTIVATION
• MOBILE 3D
• UMSETZUNG
• VIDEO-DEMO
2Workshop 3D-Stadtmodelle 2015
Christoph Blut
3D STADTMODELLE AKTUELL
3Workshop 3D-Stadtmodelle 2015
Christoph Blut
3D STADTMODELLE AKTUELL
4Workshop 3D-Stadtmodelle 2015
Christoph Blut
TREND – VR
5Workshop 3D-Stadtmodelle 2015
� Hersteller� Sony
� Microsoft
� Samsung
� …
� Realwelt-Position unberücksichtigt
Christoph Blut
TREND – MOBILE AR
6Workshop 3D-Stadtmodelle 2015
Christoph Blut
DESKTOP VS. MOBILE
7Workshop 3D-Stadtmodelle 2015
� Fokus Desktoprechner� Übersicht
� Analyse
� Fokus Mobilgerät� Fokussiert auf Einzelobjekte
� Spontan
� Positionsabhängig
Christoph Blut
MOBILE AR-SYSTEM - ANWENDUNG
8Workshop 3D-Stadtmodelle 2015
� Semantische digitale Bauwerksmodelle� Visualisierung geplanter / historischer Bauwerke
� Abruf von Semantik / Topologie
Typ:Wohnhaus
Christoph Blut
MOBILE AR-SYSTEM - ANWENDUNG
9Workshop 3D-Stadtmodelle 2015
Raum: 23
220 Volt
Raum: 24
Rigips
� Semantische digitale Bauwerksmodelle (Innenraum)� Visualisierung verdeckter
Objekte (X-Ray)
� Abruf von Objektinformationen
Christoph Blut
AR-SYSTEM
� Anforderungen an ein AR-System� Allgemein
• Kostengünstig
• Flexibel
• Unabhängig
� Technisch
• Erfassung der realen Welt
• Visualisierung der Real-Welt und virtuellen Welt
• Sensoren zur Bestimmung der Position und Orientierung des Gerätes (Tracking)
10Workshop 3D-Stadtmodelle 2015
Christoph Blut
SMARTPHONES
� Nachteile� Kleine Displays
� Begrenzte Hardwareressourcen
• Low-Cost Sensoren
• …
11Workshop 3D-Stadtmodelle 2015
� Vorteile� Kostengünstig
• ~100 – 800€
� Hohe Verfügbarkeit
• 1.2 Milliarden 2014 verkauft
� Mobilität
Christoph Blut
TESTGERÄT
12Workshop 3D-Stadtmodelle 2015
� Nexus 5 (Google/LG)� Android 6.0 Marshmallow
� Full-HD Display
� 8 MP Kamera mit optischer Bildstabilisierung
� 32 GB interner Speicher
� 2 GB RAM
� Sensoren
• GPS
• Gyroskop
• Beschleunigungsmesser
• Kompass
• Barometer
Christoph Blut
MOBILE AR-SYSTEM - DATEN
<bldg:WallSurface gml:id=„WallSurface_1">
...
<bldg:lod4MultiSurface>
<gml:MultiSurface>
<gml:surfaceMember>
<gml:Polygon>
<gml:exterior>
<gml:LinearRing>
<gml:posList count="5" srsDimension="3">
6.176 3.714 -1.202
...
</gml:posList>
</gml:LinearRing>
</gml:exterior>
…
13Workshop 3D-Stadtmodelle 2015
� City Geography Markup Language (CityGML)� Mehrskalige Visualisierung durch
Level of Detail (LoD) System
� Semantik\Topologie
� Georeferenziert
Christoph Blut
MOBILE AR-SYSTEM - PROBLEMATIK
14Workshop 3D-Stadtmodelle 2015
Christoph Blut
MOBILE AR-SYSTEM - PROBLEMATIK
� StädteRegion Aachen� CityGML ( LoD2 )
• 8 Städte und 2 Gemeinden
• 707,1 km²
• ~250.000 Gebäude und ~110.000 Gebäudeteile
• ~3,8GB!
15Workshop 3D-Stadtmodelle 2015
Christoph Blut
MOBILE AR-SYSTEM - PROBLEMATIK
� Berlin� CityGML ( LoD2 )
• ~890 km²
• ~540.000 Gebäude
• ~20 GB (CityGML) + ~17 GB Texturen!
16Workshop 3D-Stadtmodelle 2015
Christoph Blut
ÜBERSICHT
� Komponenten des AR-Systems� Datenverarbeitung
• Datenimport
• Datenspeicherung
• Datenabfrage
� Datenvisualisierung
• Datenaufbereitung
• Rendering
� Tracking
• Tracking im realen 3D-Raum
• Positionierung und Ausrichtung im virtuellen 3D-Raum
17Workshop 3D-Stadtmodelle 2015
Christoph Blut
ÜBERSICHT
� Komponenten des AR-Systems� Datenverarbeitung
• Datenimport
• Datenspeicherung
• Datenabfrage
� Datenvisualisierung
• Datenaufbereitung
• Rendering
� Tracking
• Tracking im realen 3D-Raum
• Positionierung und Ausrichtung im virtuellen 3D-Raum
18Workshop 3D-Stadtmodelle 2015
Christoph Blut
DATENVERARBEITUNG – SERVER-CLIENT
� Vorteile� Verlagerung von Speicherort und komplexen
Berechnungen auf Server � 3DCityDB
� Nachteile� Netzverbindung notwendig
• � Nicht Unabhängig
� Hohes Datenvolumen
• � Hohe Kosten
19Workshop 3D-Stadtmodelle 2015
Oracle Spatial +
3DCityDB+
CityGML-Daten
Christoph Blut
DATENVERARBEITUNG - LOKAL
� Datenimport� CityGML-Parser ( Android Pull-XML-Parser )
• Sequentielle Verarbeitung der CityGML-Daten
� Datenspeicherung� SpatiaLite-DB
� Datenabfrage� Verwendung von SQL für positionsabhängige
Datenabfragen
• Abruf von Geometrien
• Abruf von ergänzenden Objektinformationen
20Workshop 3D-Stadtmodelle 2015
SpatiaLite-DB
Android Pull-XML-Parser
SQL
Virtuelle Welt
CityGML-Daten
Christoph Blut
SPATIALITE
� SpatiaLite � Erweiterung von SQLite� Serverlose, transaktionale SQL-Datenbankengine
• Einzelne Datenbankdatei � Einfaches Sichern, Austauschen und Weitergeben
• Einlesen der CityGML-Datei auf mobilem Gerät
• Einlesen der CityGML-Datei auf Desktop-Rechner und anschließende Kopie auf mobilem Gerät
� Vollständig in Anwendung integrierbar
� Unterstützung von Geometrietypen wie Punkte, Linien und Polygonen und komplexeren Typen wie multiplen Polygonen, im 2D, als auch im 3D-Raum
21Workshop 3D-Stadtmodelle 2015
Christoph Blut
SPATIALITE - PROBLEMATIK
� SpatiaLite� Keine echten 3D Operationen möglich (2.5D)
• Beispiel Hochhaus: Abfrage ob Punkt in Raum, liefert auch alle Räume oberhalb und unterhalb des Punktes
� Vergleich Oracle Spatial� Unterstützung einiger echter 3D Operationen
• SDO_ANYINTERACT
• SDO_FILTER
• SDO_INSIDE (nur Solids)
• SDO_NN
• SDO_WITHIN_DISTANCE
22Workshop 3D-Stadtmodelle 2015
Christoph Blut
OPTIMIERUNG
� Selektion im Umkreis (Begrenzung der Objekte)� Nur (notwendige ) Objekte in unmittelbarer Nähe
laden
� Weitere Filterung� Außenposition � Vollständige Gebäudehüllen
ohne innere Objekte nach definiertem Radius
� Innenposition � Vollständiger Raum mit enthaltenen Objekten ohne äußere Objekte
� Dynamisches Nachladen\Löschen von CityGML-Daten� Konfigurierbare Distanz zum Nachladen
� Konfigurierbare Distanz zum Löschen
23Workshop 3D-Stadtmodelle 2015
Quelle: Kolbe, TU München
Christoph Blut
ÜBERSICHT
� Komponenten des AR-Systems� Datenverarbeitung
• Datenimport
• Datenspeicherung
• Datenabfrage
� Datenvisualisierung
• Datenaufbereitung
• Rendering
� Tracking
• Tracking im realen 3D-Raum
• Positionierung und Ausrichtung im virtuellen 3D-Raum
24Workshop 3D-Stadtmodelle 2015
Christoph Blut
TRIANGULATION
� GML� Geometrien sind über Punkte definiert
� Graphics Processing Unit (GPU) ist auf die Verarbeitung von Dreiecken optimiert
• � Polygone müssen daher trianguliert werden
• Ziel: Möglichst wenige Vertices
� Implementierung angepasster Triangulations-Algorithmus
25Workshop 3D-Stadtmodelle 2015
Christoph Blut
RENDERING
� Visualisierung� Open Graphics Library for Embedded Systems
(OpenGL ES )
• Vereinfachte Version der OpenGL-Spezifikation
� Platzieren der triangulierten Polygone in virtueller Welt
• Virtuelle Welt: Virtueller Raum + Koordinatensystem + Kamera
� Verknüpfung der Objekte mit den ergänzenden Informationen
• Minimal-Informationen in Welt, Rest aus lokaler Datenbank zur Laufzeit
26Workshop 3D-Stadtmodelle 2015
Christoph Blut
RENDERING
27Workshop 3D-Stadtmodelle 2015
Triangulierung +
Darstellungsinformationen +
Ergänzende Informationen
Quelle der Modelldaten: Karlsruher Institut für Technologie
Christoph Blut 28Workshop 3D-Stadtmodelle 2015
RENDERING
Quelle der Modelldaten: Karlsruher Institut für Technologie
Christoph Blut
ÜBERSICHT
� Komponenten des AR-Systems� Datenverarbeitung
• Datenimport
• Datenspeicherung
• Datenabfrage
� Datenvisualisierung
• Datenaufbereitung
• Rendering
� Tracking
• Tracking im realen 3D-Raum
• Positionierung und Ausrichtung im virtuellen 3D-Raum
29Workshop 3D-Stadtmodelle 2015
Christoph Blut
TRACKING
� Ermittlung der Realweltkoordinaten/ Orientierung des Smartphones� Positionierung per GPS
� Orientierung über Smartphone interne Sensoren
30Workshop 3D-Stadtmodelle 2015
GPS
Gyroskop
Accelerometer
Kompass
Näherungs-/Umgebungslichtsensor
Barometer
Halleffekt
Nexus 5 Sensoren
Christoph Blut
AR-SYSTEM – DEMO
31Workshop 3D-Stadtmodelle 2015
Christoph Blut
AR-SYSTEM – DEMO
32Workshop 3D-Stadtmodelle 2015
Christoph Blut
AR-SYSTEM – DEMO
33Workshop 3D-Stadtmodelle 2015
Christoph Blut
AR-SYSTEM – DEMO
34Workshop 3D-Stadtmodelle 2015
Christoph Blut
DANKE FÜR DIE AUFMERKSAMKEIT
35Workshop 3D-Stadtmodelle 2015
Fragen?
Christoph Blut
QUELLEN
� http://www.hamburg.de/contentblob/4367170/data/b-3d-solarpotenzial.jpg
� http://static-dc.autodesk.net/content/dam/autodesk/www/products/autodesk-infraworks/images/features/images/shadow-lighting-analysis-large-1152x648.jpg
� http://www.esri.com/news/arcwatch/0210/graphics/feature5-lg.jpg
� http://www.virtualcitysystems.de/images/vcs/references/3d-city-model-berlin/1024px/3d_city_model_berlin_001_Pariser_Platz_A_1024px.png
� http://www.playm.de/wp-content/uploads/2014/07/oculus_rift2.jpg
� http://gazettereview.com/wp-content/uploads/2015/07/Oculus-Rift-Inside.jpg
� http://www.androidcentral.com/sites/androidcentral.com/files/postimages/79186/lg_wikitude.jpg
� http://www.windowscentral.com/sites/wpcentral.com/files/postimages/35454/Nokia_Maps_AR_Lumia920_ws.jpg
� http://www.wearear.de/wp-content/uploads/2014/01/13C990_01.jpg
� http://www.designboom.com/cms/images/-andy01/bmw1.jpg
� http://static6.businessinsider.com/image/5200e8edeab8eaff2e000029/ikeas-augmented-reality-catalog-lets-you-virtually-demo-its-furniture-in-your-living-room.jpg
� http://www.icg.tu-graz.ac.at/Members/schall/sbg_ar
� http://marketingland.com/wp-content/ml-loads/2014/12/mobile-smartphones-pile-ss-1920.jpg
� http://drop.ndtv.com/TECH/product_database/images/1112013121149AM_635_google_nexus_5.jpeg
� http://www.fws08.rwth-aachen.de/images/stories/aachen2/21_ausblick_belvedere.jpg
� https://upload.wikimedia.org/wikipedia/commons/thumb/3/35/Municipalities_in_AC_%282009%29.svg/1000px-Municipalities_in_AC_%282009%29.svg.png
� https://upload.wikimedia.org/wikipedia/commons/4/43/Funkturm_Berlin_View_08.jpg
� https://upload.wikimedia.org/wikipedia/commons/thumb/e/ea/Berlin,_administrative_divisions_%28%2Bdistricts_-boroughs_-pop%29_-_de_-_colored.svg/2000px-Berlin,_administrative_divisions_%28%2Bdistricts_-boroughs_-pop%29_-_de_-_colored.svg.png
� http://objnux.ddns.net/public/Android/AppInventor/orientation/.orientation0_m.jpg
36Workshop 3D-Stadtmodelle 2015