Ehret, Jonathan; Kuhlen, Torsten (Thesis advisor); Fels, Janina (Thesis advisor)
Aachen : RWTH Aachen University (2025, 2026)
Doktorarbeit
Dissertation, RWTH Aachen University, 2025
Kurzfassung
Die Einbettung virtueller anthropomorpher Charaktere als Embodied Conversational Agents (ECAs) in Anwendungen der virtuellen Realität (VR) bietet Vorteile in Bereichen wie Trainingsumgebungen und therapeutischen Settings, in denen sie persönliche Interaktionspartner simulieren. Eine zentrale Herausforderung besteht darin, ECAs als authentisch und menschenähnlich wahrnehmbar zu machen, wofür die Integration mehrerer Modalitäten erforderlich ist. Diese Arbeit untersucht die wichtigsten Modalitäten, die zur Glaubwürdigkeit von ECAs beitragen. ECAs agieren multimodal und ihr Verhalten umfasst verbale sowie co-verbale Aspekte wie Blickrichtung und Gestik. Wir analysieren den Einfluss von Stimme und Prosodie und diskutieren, wie sich technischer Aufwand und wahrgenommene soziale Präsenz in Einklang bringen lassen. Zudem untersuchen wir die Auralisierung, indem wir bewerten, ob die Simulation natürlicher Klangausbreitung die Realitätsnähe von Gesprächen erhöht und welche technische Präzision erforderlich ist. Ein weiterer Schwerpunkt liegt auf kommunikativen Funktionen des co-verbalen Verhaltens, insbesondere Turn-Taking, das den Sprecherwechsel in Mehrparteien-Interaktionen regelt, und Back-Channeling, das Zustimmung oder Verständnis signalisiert. Ein zentrales Thema dieser Arbeit ist die wahrgenommene soziale Präsenz - das Ausmaß, in dem Nutzer das Gefühl haben, mit einer realen Person zu interagieren. Wir analysieren bestehende subjektive und objektive Metriken und identifizieren eine Lücke bei objektiven Bewertungsmethoden. Zu diesem Zweck untersuchen wir das in Zusammenarbeit mit Psychologieforschern entwickelten HTR-Paradigma (Hearing Text Recall). Durch die gezielte Variation der ECA-Leistungsqualität anhand co-verbaler Komponenten evaluieren wir HTR als potenziellen Proxy für die Messung kognitiver Belastung und sozialer Präsenz. Zur Unterstützung VR-basierter Nutzerstudien stellen wir das StudyFramework vor - ein Tool zur Vereinfachung experimenteller Designs, das zudem ein System zur Avatar-Darstellung zur Erhöhung der Immersion enthält. Des Weiteren untersuchen wir Methoden zur Generierung und Erfassung von Gesten mit handelsüblicher VR-Hardware und analysieren deren Einfluss auf die soziale Präsenz. Zusammenfassend trägt diese Forschung zum Verständnis des ECA-Verhaltens in der verbalen Kommunikation bei und liefert Einblicke in Schlüsselmodalitäten, die natürliche und immersive Interaktionen in VR verbessern.
Einrichtungen
- Virtual Reality Group [124170]
- Lehr- und Forschungsgebiet Virtuelle Realität und Immersive Visualisierung [124620]