Bachelor Thesis: Implementing Dynamic Stimuli in VR Environments for Visual Perception Research

Abstract

english abstract

Diese Bachelorarbeit untersucht die Effektivität der bewegten Helligkeitsmodulation in einer immersiven Umgebung. Bisherige Arbeiten untersuchten die Helligkeitsmodulation zur Blickführung bei stationären Zielelementen. In einem 360 ◦ Video können aber auch bewegte Objekte von Interesse sein. Daher wurde die Helligkeitsmodulation um eine dynamische Komponente erweitert. Dafür wurden Mechanismen implementiert, die in einem Preprocessing ermöglichen, Pfade für einen Stimulus zu setzen, um diesen dann im Experiment zeitlich synchronisiert abzuspielen. Mit diesen Mechanismen wurde ein Experiment konzipiert und durchgeführt. Dabei ergab sich, dass die dynamische Helligkeitsmodulation helfen kann, das Zielobjekt schneller zu finden. Vor allem führte die dynamische Helligkeitsmodulation dazu, dass die Teilnehmer des Experiments deutlich länger das Zielobjekt fixiert haben als ohne Einsatz des Stimulus.

Es folgt eine grobe Zusammenfassung der Arbeit. Für die richtige Arbeit kontaktiert mich: (Kontakt folgt)

Preprocessing

Am Institut für Computergraphik existiert eine Softwarebibliothek speziell für den ICG Dome. Diese beinhaltet Frameworks zum Entwerfen und Durchführen von Wahrnehmungsexperimenten in einer virtuellen Umgebung. Um ein Wahrnehmungsexperiment mit dynamischen Stimulus durchzuführen, waren einige Erweiterungen dieser Bibliothek notwendig. In einem Preprocessing sollte es möglich werden für einen beliebigen Stimulus einen Pfad zu definieren. Während der Pfadaufnahme wurde er mit einem eingegebenen 360° Video zeitlich synchronisiert, sodass ein Anwender den Stimuluspfad entlang eines Videoelements aufzeichnen kann. Dafür war die Synchronisation von Eingabeposition und Videostreamzeit notwendig. Im späteren Verlauf der Arbeit wurde es auch möglich nur einzelne Stützpunkte anzugeben, zwischen diesen Punkten dann mit Angabe einer Feinheit linear Interpoliert wurde. Nach der Aufnahme musste die Position, die in 2D-Bildschirm-Koordinate vorlagen in eine 3D-Szenenwelt (virtuelle Welt) übersetzt werden. Auch musste die relative Bildschirmposition mit der Rotation der Kamera verrechnet werden, um die absolute Position in der Welt zu bestimmen. Das passiert durch Verrechnen mit inverse Transponierten der ModelViewMatrix.

Die so entstandene Stimuluspfad-Videostreamzeit-Daten wurde in einer Datei gespeichert, sodass sie für das Experiment bereitstand.

Stimulus

Bailey et al. (2009) zeigten bereits die Effektivität der Helligkeitsmodulation als subtile Blicklenkung [BMSG09]. Auch Grogorick et al. (2017) zeigten die Wirksamkeit der Helligkeitsmodulation in einer immersiven und stereoskopischen Umgebung [GTA + 19, GSEM17]. Dabei wurde die Helligkeitsmodulation stationär auf eine Szene projiziert. In dieser Arbeit wurde dem Stimulus eine dynamische Komponente hinzugefügt. D.h. während bisher die Helligkeitsmodulation immer eine feste unveränderliche Position im Panoramabild bzw. im Panoramavideo hatte, soll nun die Aufmerksamkeit des Betrachters auf ein bewegtes Element gelenkt werden.

Bei SIBM-Stim werden unterschiedliche Leuchtdichten

Im Experiment wurde der SIBM-Stimulus, der von Grogorick et al. [GTA + 19] entwickelt wurde, eingesetzt. SIBM steht für stereo inverse brightness modulation. Diese Helligkeitsmodulation wurde speziell für eine stereoskopische Umgebung entwickelt und basiert auf der binokularen Rivalität. Der SIBM-Stimulus ist eine Helligkeitsmodulation. Dabei wird die Tatsache ausgenutzt, dass bei VR-Geräten für jedes Auge die Szenen einzeln gerendert werden. So wird auf einem Auge an der Zielposition die Leuchtdichte erhöht und auf dem anderen Auge die Leuchtdichte verringert. So bekommen das linke und das rechte Auge eine unterschiedliche Information, sodass hier die binokulare Rivalität auftritt. Diese Konfliktsituation versucht das menschliche Gehirn zu lösen und dabei erscheint nun der Zielpunkt dem Betrachter als ein flimmernder Leuchtfleck.

Das Experiment

Das Experiment wurde im ICG Dome durchgeführt. Der ICG Dome ist ein kuppelförmiges Echtzeit-Videoprojektionssystem mit einem Durchmesser von 5m. Die Probanden haben auf einem Stuhl an einer vordefinierten Stelle unter der Dome-Kuppel Platz genommen. Ihnen wurde eine kombinierte Shutterbrille aufgesetzt. Diese Shutterbrille ermöglichte zum einen das stereoskopische Sehen und zum anderen das Eyetracking. Die Probanden erhielten nur die Aufgabe sich in der Szene frei umzusehen. Für jede Szene hatte er dann 20 Sekunden Zeit sich frei umzusehen. Es gab zehn verschiedene Szenen zu beobachten. Jede dieser Videos wurde dem Probanden einmal ohne und ein anderes Mal mit der bewegten Helligkeitsmodulation gezeigt. Die Reihenfolge der Videos und das Vorkommen des Stimulus wurde dabei randomisiert (aber nicht das gleiche Video nacheinander).

Der ICG Dome.

An dem Experiment haben Corona bedingt nur 10 Testpersonen zwischen 25-34 Jahren teilgenommen. Die Hälfte davon mit korrigierten Visus.

Wie schnell wurde das Zielobjekt gefunden?

Die erhobenen Daten wurden zunächst daraufhin untersucht, wie lange die Testpersonen gebraucht haben, um auf das Zielelement aufmerksam zu werden. Dabei hatten sie keine bestimmte Suchaufgabe, sondern sollten sich in der Szene frei umsehen. Die Auswertung zeigt, dass das Zielelement mit einem Stimulus tendenziell schneller in den Fokus rückt als ohne diesen Stimulus. Man sieht aber auch deutlich, dass die Werte hohen Schwankungen unterliegen. Die starken Streuungen ergeben sich natürlich unter anderem aus den niedrigen Anzahl an Versuchspersonen. Außerdem handelte es sich bei der Helligkeitsmodulation um eine subtile Methode, die versucht möglichst unauffällig in der Szene zu agieren, sodass der Stimulus in einigen Fällen von den Teilnehmer übersehen wurde. Die Effektivität des Stimulus ist auch stark von dem gezeigten Panoramavideo abhängig.

Verteilung der Zeit, die es brauchte, um das Zielobjekt zu finden. In orange Videos mit Stimulus, in blau Videos ohne Stimulus.

Hier ein Beispiel, wo der Stimulus keine Auswirkung hatte, wie schnell das Zielobjekt gesehen wurde. Die Verteilung, wie viele Leute das Zielelement nach wie viel Zeit gesehen haben, ist mit und ohne Stimulus ähnlich.

Häufigkeitsverteilung marathon mit Stimulus bei einem Schwellenwert von 250ms.
Häufigkeitsverteilung marathon ohne Stimulus bei einem Schwellenwert von 250ms

Hier ein Beispiel, wo der Stimulus gut funktioniert hat.

Häufigkeitsverteilung rockhopper-penguin mit Stimulus bei einem Schwellenwert von 250ms. Viele Leute haben schon innerhalb von 0.25s das Zielelement gefunden.
Häufigkeitsverteilung rockhopper-penguin ohne Stimulus bei einem Schwellenwert von 250ms. Die meisten Leute haben das Zielelement niemals gesehen

Wurde das Zielelement interessanter? - Fixiationsdauer

Ein weiterer Aspekt, der hier noch untersucht wurde, ist die Frage, ob das Zielobjekt mit Stimulus für den Betrachter interessanter wird. Dafür wurde die Fixiationsdauer angeschaut. Da sich bei diesem Experiment um eine subtile Methode handelt, wurde der Stimulus ausgeschaltet, sobald darauf geschaut wurde. Die Frage war nun, ob auch nach dem Verschwinden des Stimulus das Zielobjekt weiterhin betrachtet wird. So wurde die Gesamtdauer der Fixiation als Anhaltspunkt für "Interesse" gewertet.

Fixiationsdauer pro Video in orange mit, in blau ohne Stimulus. Schwellenwert gibt an, wie viel Zeit auf dem Zielobjekt ruhen muss, um als Sichtkontakt gezählt zu werden.

Literaturverzeichnis