Holotram

Der Showcase "Holotram" zeigt die mögliche Zukunft eines Tram Technikers auf.

Dabei zieht er sich eine Hololens an und hat so während den Arbeiten am Tram immer direkten Zugriff auf sämtliche Informationen, welche er benötigt. Das spannende daran? Die App-Informationen sind nicht nur als Panels verfügbar, sondern mit den jeweiligen Einzelteilen des Trams optisch verbunden.

Für die Umsetzung der App wurde Unity 3D mit entsprechenden Hololens-Libraries verwendet.

Holotram.mp4

Einstieg

Die Anwendung identifiziert das Tram via optischer Erkennung eines festgelegten Bildes. Danach ist das Tram positioniert und muss somit nicht durch den Techniker noch mühsam manuell verortet werden. Zur Kontrolle, ob das Tram korrekt erkannt wurde, wird die digitale Tramhülle über das Fahrzeug gelegt. Diese "Shell" kann er bei Bedarf nun auch ausblenden.

Der Techniker hat nun die Auswahl mit der Wartung zu beginnen (User Story I) oder direkt ein Bauteil zu identifizieren (User Story II).

USER STORY I - Abruf der Wartungspläne- und Störungsmeldungen

Der Servicetechniker kann sich Wartungspläne in Form von Checklisten in die reale Welt projizieren. Mit einem einfachen Aussprechen des Wortes “Check” kann er die Checkliste Schritt für Schritt abarbeiten. Die Hololens zeigt ihm zusätzlich an in welchem Bereich des Trams die Tasks gemacht werden müssen. Die Tram-Bauteile können aus der Wartungsliste verortet und angeklickt werden, es erscheinen diverse Informationen zum Objekt, wie z.B. Seriennummer, Installationsdarum und Lagerbestand.

Zusätzlich kann der Techniker alle Störungsmeldungen auf einem frei platzierbaren Panel anzeigen, welche über den Tag eingegangen sind (bspw. erfasst durch den Trampiloten / die Trampilotin)

USER STORY II -Verortung von Ersatzteilen & Anzeige Lagerbestand

Der Servicetechniker sieht ein 3D Modell des Trams über dem realen Tram - kann dieses aber auch ausblenden. Dies kann ihm helfen um schwer-zugängliche Teile zu Orten. Zusätzlich kann er sich via Tap Informationen zum Objekt anzeigen lassen.

Testing

Die App funktioniert grundsätzlich nur in Verbindung mit einem realen Cobra-Tram. Jedoch ist es für Testzwecke möglich mit der Hololens einen Marker zu scannen, um dann das 3D-Gerüst eines Trams darstellen zu lassen. So können einige Funktionen virtuell getestet werden.

Für die Jurierung haben wir Szenarien zusammengefasst, welche sie gerne durchgehen können. Laden Sie sich hier das entsprechende PDF herunter.

Quick-Start

1. Laden Sie den Marker herunter und platzieren Sie ihn (entweder als farbigen Ausdruck oder auf einem Laptop-Screen in Ihrem PDF-Viewer) auf Tischhöhe in einer aufrechten Position.

2. Starten Sie die vorinstallierte App "Holotram" auf der Hololens.

3. Warten Sie, bis die App gestartet ist. Sie sehen ein graues Tag-Along Element, welches ihrem Field of View folgt.

4. Sobald sie den Text hören "Please find a marker to start" blicken sie auf den Marker, bis Sie ein blaues Tramgerüst um sich sehen.

5. Das graue Tag-Along Objekt ist ihr Hauptmenü, mit welchem sie die verschiedenen Panels nun platzieren und anschliessend bedienen können.



Sprachbefehle

Neben der möglichkeit die App via Tap zu bedienen stehen auch Sprachbefehle zur Verfügung, da ein Techniker während der Arbeit nicht immer eine Hand frei hat.

Folgende Sprachbefehle sind im Showcase implementiert:

Auswählen

  • “Select”

Anstatt Air-Tap, während Blick auf ein interaktives Objekt gerichtet ist.


Öffnen

  • “Open”
  • “Show”

Beim Blick auf eines der vier interaktiven Tram-Teile, öffnet das dazugehörige Infofenster.


Schliessen

  • “Close”
  • “Hide”
  • “Remove”

Schliesst das momentan oder zuletzt angeblickte Fenster (Teile-Infofenster oder platzierbare Fenster)


Checkliste

  • “Checklist”
  • “Open Checklist”
  • “Show Checklist”

Jederzeit möglich, aktiviert das Checkliste (Wartungsplan) Fenster im Platzierungs-Modus.

  • “Close Checklist”
  • “Hide Checklist”

Wenn die Checkliste geöffnet ist, wird sie geschlossen. (unabhängig ob gerade im Blick oder nicht)

  • “Check”

Wenn Checkliste im Blick ist, kann man damit den markierten Punkt auf der Liste abhaken


Blättern

  • “Next”
  • “Forward”
  • “Previous”
  • “Back”
  • “Last”

Wird ein mehrseitiges, blätterbares Fenster (Checkliste) angeschaut, kann man so vorwärts Blättern.

Störungsmeldungen (hat mehrere englische ‘Namen’ weil die Übersetzung nicht definiert ist)

  • “Troubleshooting”
  • “Open Troubleshooting”
  • “Show Troubleshooting”
  • “Reports”
  • “Open Reports”
  • “Show Reports”
  • “Messages”
  • “Open Messages”
  • “Show Messages”

Jederzeit, öffnet bzw aktiviert das Fenster mit den Störungsmeldungen im Platzierungs-Modus

  • “Close Troubleshooting”
  • “Hide Troubleshooting”
  • “Close Reports”
  • “Hide Reports”
  • “Close Messages”
  • “Hide Messages”

Wenn das Störungsmeldungs-Fenster offen ist (egal ob im Blick) kann es so geschlossen werden.



Alles Schliessen

  • “Close Everything”
  • “Hide Everything”
  • “Remove Everything”
  • “Close All”
  • “Hide All”
  • “Remove All”

Jederzeit, schliesst/versteckt alle UI Elemente. Kein einfluss auf 3D Hologramm.


Reset

  • “Reset Tracking”
  • “Reset Hologram”
  • “Reset Holo Tram”

Jederzeit, wenn ein Hologramm aktiv ist, wird dieses entfernt und alle UI Fenster geschlossen.


Tram Karosserie anzeigen & ausblenden

  • “Show Tram Body”
  • “Render Tram Body”

Wenn das Hologramm aktiv ist, macht die Aussenhülle/Karosserie des Holograms sichtbar.

  • “Hide Tram Body”
  • “Dont Render Tram Body”
  • “Hide Full Hologram”

Wenn das Hologramm aktiv ist, falls die Karosserie aktuell sichtbar ist, wird sie ausgeblendet. Falls die Karosserie UND innere Details sichtbar sind, wird beides versteckt.


Details anzeigen und ausblenden

  • “Show Details”
  • “Show Tram Details”

Wenn das Hologramm aktiv ist und die Karosserie angezeigt wird, werden zusätzliche Details des Tram-Inneren angezeigt.

  • “Hide Tram Details”
  • “Hide Details”


Auswählbare Teile hervorheben

  • “Show Active Parts”
  • “Show Interactive Parts”
  • “Show Demo Parts”

Wenn das Hologramm aktiv ist, werden Teile, zu denen ein Info-Panel verfügbar ist, in anderer Farbe hervorgehoben.

  • “Hide Active Parts”
  • “Hide Interactive Parts”
  • “Hide Demo Parts”

Ist das Hologramm aktiv, werden auswählbare/interaktive Teile nicht besonders hervorgehoben sondern nur markiert wenn sie direkt im Blick sind.


Einstellungen

  • “Settings”
  • “Show Settings”
  • “Open Settings”

Jederzeit, öffnet/aktiviert das Einstellungen-Fenster als platzierbar.

(Einstellungen können zT direkt per Sprache gemacht werden, unabhängig von diesem Fenster. zB Karossiere einblenden, Hologram Reset, etc)

  • “Close Settings”
  • “Hide Settings”

Wenn das Einstellungs-Fenster offen ist (egal ob im Fokus) wird es geschlossen.