Mixed Reality und Wearables

Business-Anwendungen aus der Praxis

| Autor / Redakteur: Matthias Pateck * / Stephan Augsten

Für eine umfassende Mixed-Reality-Erfahrung lässt sich Microsoft HoloLens mit anderen Wearables kombinieren.
Für eine umfassende Mixed-Reality-Erfahrung lässt sich Microsoft HoloLens mit anderen Wearables kombinieren. (Bild: Microsoft.)

Das Thema Virtual Reality, kurz VR, nimmt derzeit deutlich an Fahrt auf, nicht nur im Gaming-Umfeld. Mixed Reality verspricht auch für Business-Anwendungen spannende neue Einsatzszenarien.

Mit HTC Vive und Oculus Rift sind zwei VR-Brillen verfügbar, die aktuell die beste Technik und Usability aufweisen. Durch See-Through-Erweiterungen bringen sie die echte Umgebung in die virtuelle Welt und erzeugen dadurch ein Gefühl von ‚Mixed Reality‘. Mit der Veröffentlichung der Microsoft HoloLens kam eine reine, komplett autonome Mixed-Reality-Brille auf den Markt.

Für viele denkbare Einsatzszenarien der HoloLens gibt es drei limitierende Faktoren: das fehlende GPS, den Wireless-Zwang (nicht überall ist Wireless vorhanden oder erlaubt) und die Gesten-Steuerung. Die Hände müssen sich für eine Erkennung immer im Sichtfeld befinden, was auf Dauer sehr ermüdend ist.

Komplexe Gesten müssen außerdem von den Anwendern selbst entwickelt und programmiert werden. Wenn es gelingt, diese Herausforderungen zu lösen, lässt sich für Unternehmen wesentlich mehr aus der Brille herausholen.

Traumduo: Wearables im Zusammenspiel mit der HoloLens

Wearables können die Lücke schließen und geben mit der HoloLens eine gute Kombination ab. Die Geräte erfahren derzeit einen großen Hype und entwickeln sich rasant weiter. Waren sie bisher ein absolutes Nischenprodukt, steigen die Verkäufe seit ein paar Jahren rapide an.

Apple Watch Series 2 und grundlegende Funktionen.
Apple Watch Series 2 und grundlegende Funktionen. (Bild: Apple, Inc. / Axians)

Für das Jahr 2017 wird ein Absatz von ungefähr 130 Millionen Einheiten geschätzt. Zu den Wearables gehören neben den bekannten Smartwatches auch verschiedene Displays, intelligente Kleidungsstücke, tragbare Sensoren und vieles weitere.

Gestensteuerung mit Smartwatch und VR-Brille im Windpark

Die Kombination von Microsoft HoloLens und Apple Watch schafft Synergien, die in konkreten Anwendungsfällen große Vorteile bieten. So kann die Gestensteuerung der HoloLens bequem auf die Apple Watch übertragen werden. Die Smartwatch kann somit Funktionen übernehmen, die mit Gestensteuerung alleine zu komplex wären.

Ein Beispiel: Die Ingenieure eines Windparks sollten virtuell verschiedene Betriebsszenarien nachstellen und betrachten können, um das Verhalten der Anlagen und Generatoren zu prüfen – und zwar vom Boden aus. Die Kombination aus Microsoft HoloLens und Apple bildete diese Aufgabe bestens ab.

Eine der Herausforderungen im Windrad-Projekt stellte die Kommunikation zwischen den beiden Geräten dar. Im Hinblick auf Performance, Wiederverwertbarkeit und die Möglichkeit der Anbindung anderer Gerätetypen in der Zukunft galt es, mehrere Anforderungen zu erfüllen:

  • Datenaustausch ohne nennenswerte Zeitverzögerung
  • Multi-Plattform Support
  • Publisher/Subscriber Protokoll
  • Offline-Fähigkeit (Portable Demo-Umgebung)
  • Einfache Installation und Betrieb

Es zeigen sich große Parallelen zu IoT- und Robotik-Projekten, in denen sich das MQTT-Protokoll (Message Queue Telemetry Transport) als geeignet erwiesen hat. MQTT ist ein klassisches Publisher-Subscriber-Protokoll und steht in zahlreichen Implementierungen zur Verfügung (mqtt.org), zum Beispiel. mqttIO-objC für iOS und M2MQTT für .NET (mit Anpassungen auch für WINRT).

Architektur einer Mixed-Reality-Lösung.
Architektur einer Mixed-Reality-Lösung. (Bild: Axians)

Bei dem Aufbau der Architektur sind HoloLens und iPhone gleichermaßen Publisher und Subscriber und kommunizieren über die iOS-eigene Watch-Session. Als MQTT-Broker wird derzeit Apache Apollo eingesetzt.

Zusätzliche Funktionen durch HoloLens App

Folgende Funktionen werden auf die Apple Watch ausgelagert oder als Erweiterung genutzt:

  • Verbesserte Anzeige des produzierten Stroms
  • Steuerung von Windstärke und -richtung
  • Wechsel des Terrains von Land/Wasser
  • Hinzufügen weiterer Generatoren

Die App wurde um eine zentrale MQTT-Klasse erweitert, die zum einen für die Verbindung zuständig ist, aber auch Methoden zum Senden und Empfangen von Daten enthält. Über ein Event-System werden dabei die empfangenen Daten an die entsprechenden Komponenten weitergeleitet.

Die MQTT-Implementierung wurde als eigenständiges Framework für Unity entwickelt. Editor-Erweiterungen erlauben es, die komplette Kommunikation ohne eine einzige Änderung im Code zu konfigurieren. Dadurch ist es möglich, jedes beliebige Projekt innerhalb von Minuten um MQTT zu erweitern.

Das Framework kann sehr hohe Datenraten (>1000 Daten pro Sekunde) verarbeiten. Um dies zu ermöglichen, ist das Framework auf Performance und optimales Speichermanagement ausgerichtet. Daraus ergeben sich folgende Tipps:

  • Nutzung von Arrays anstatt generischer Collections. List, Dictionary oder ähnliche, gilt es zu vermeiden.
  • Variablen sollten global deklariert werden.
  • Low-Level-Byte-Methoden verwenden (Buffer.BlockCopy, System.BitConverter usw.)

Weiterverteilen auf das iPhone

Apps auf der aktuellen Apple Watch der Series 2 sind ohne gekoppeltem iPhone lauffähig. Da die App in unserem Fall ohne Datenverbindung nicht lauffähig ist, können wir diesen vermeintlichen Nachteil nutzen und unsere App-Komponenten bestmöglich auf iPhone und Apple Watch verteilen.

Während die Apple Watch die UI-Aufgaben übernimmt, findet sämtliche Datenkommunikation bzw. -aufbereitung auf dem iPhone statt. Bei eingehenden Daten wird die Watch App über die Watch Session (WCSession) informiert und kann entsprechend reagieren. Interaktionen in der Watch App werden über die Watch Session an das iPhone übertragen und von dort an den MQTT-Broker gesendet.

Nutzung der Apple Watch zur Steuerung einer HoloLens-Anwendung.
Nutzung der Apple Watch zur Steuerung einer HoloLens-Anwendung. (Bild: Axians)

Wird die Session längere Zeit nicht genutzt, wird sie automatisch geschlossen – inklusive unserer Datenverbindung. Um dieses Problem zu vermeiden, wird regelmäßig ein „KeepAlive“ Signal an das iPhone gesendet. Die Watch Session ist somit immer in Verwendung und wird nie geschlossen.

Beim Starten der Watch App ruft sie automatisch die aktuellen Daten (Power, Generatoren, Terrain usw.) einmalig ab. Sobald sich auf einer der Seiten (HoloLens oder Watch) Daten ändern, werden diese nahezu Live übertragen und angezeigt. Die einzige Einschränkung ist die Stromanzeige.

Da die Generatoren ihre Geschwindigkeit langsam erhöhen/verringern, entstehen zu viele Updates. Die Performance in der Watch App verringert sich dadurch. Die Daten werden daher periodisch übertragen (alle 1-2 Sekunden). Dieses Video zeigt eindrucksvoll, wie Microsoft HoloLens und Apple Watch zur Planung von Windparks genutzt werden können.

Weitere Anwendungsfälle

Der Einsatz von GPS bietet weitere interessante Optionen, unter anderem die Vermessung von Objekten/Räumen oder die Indoor Navigation. Bei Baumaßnahmen beispielsweise muss die Position von Rohren und Leitungen in Wänden bekannt sein. Details sind derzeit nur in komplizierten Plänen zu finden, die jedoch digital verfügbar sind.

Die Lösung ist eine HoloLens App mit verbundenem GPS Wearable. Die GPS-Koordinaten werden mit dem Raum synchronisiert und ermöglichen, das alle nicht sichtbaren Objekte als Hologramm projiziert werden können.

Interessant ist auch die Planung von Produktionshallen direkt vor Ort. Da alle Maschinenteile als 3D-Daten vorhanden sind, kann die Planung per HoloLens App direkt im Werk durchgeführt werden. Sämtliche markanten und relevanten Punkte im Raum werden mit Tracking-Markern ausgestattet und sind somit in der HoloLens App verfügbar. Dadurch können Fehlplanungen direkt kenntlich gemacht bzw. die Maschinenplanung automatisiert werden.

Tracking- und Marker-Systeme werden aufgrund ihrer Genauigkeit und Geschwindigkeit immer mehr an Gewicht gewinnen. In der Medizin werden diese Systeme bereits heute für Operationen eingesetzt.

Fazit

Wearables erweisen sich als perfekte Erweiterung von Mixed Reality Apps. Durch ihre Vielzahl sind die Einsatzmöglichkeiten nahezu grenzenlos. Wir können auf die nächsten Jahre und Gerätegenerationen gespannt sein. Egal ob Wearables oder Mixed Reality Device, die Grenzen werden immer weiter verschwimmen und uns noch einfacher und innovativer arbeiten lassen.

* Matthias Pateck ist Consultant bei Axians IT Solutions.

Kommentare werden geladen....

Kommentar zu diesem Artikel

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44857621 / Mobile Apps)