Grundlagen Augmented Reality

Die wesentlichen Komponenten eines Augmented Reality-Systems bestehen einerseits aus einem Interaktionssystem, das mit Hilfe von Eingabegeräten eine Interaktion zwischen dem Benutzer und dem AR-System ermöglicht, andererseits aus einem Trackingsystem, welches für die exakte Übereinstimmung zwischen realer und virtueller Szene sorgt und letztlich einem Darstellungssystem, mit dessen Hilfe der Betrachter die erweiterte Realität angezeigt bekommt. Ein angeschlossenes Computersystem verbindet die Komponenten, so dass der Betrachter in die erweiterte Realität eintauchen kann.

Interaktionssystem

Für die Interaktion werden hauptsächlich zwei Komponenten, Dateneingabegeräte und Selektionswerkzeuge, benötigt. Im Anschluss werden Möglichkeiten der Umsetzung aufgezeigt.

Dateneingabe

Der Tinmith-Datenhandschuh ist für die Selektion gleichermaßen wie für die Dateneingabe geeignet. Dieser Handschuh besteht aus einem normalen Gärtnerhandschuh, um dessen Fingerspitzen, Daumen und Handflächen ein Metallband gewickelt ist, um eine metallische Oberfläche herzustellen. Kabel verbinden die Oberflächen mit einem Rechner. Auf jedem der Finger sind Sensoren zur Ermittlung der Fingerposition und Fingerkrümmung angebracht. Ebenso befinden sich Sensoren auf der Handfläche, welche die Neigung der Hand registrieren. Mittels eines Trackingsystems kann so die genaue Position der Finger, sowie Neigung der Hand berechnet werden. Ebenso werden Bewegungen registriert. Mit diesem Werkzeug kann die Dateneingabe umgesetzt werden.

Durch das Zusammendrücken von einem oder zwei beliebigen Fingern und dem Daumen wird ein ASCII Zeichen aus einer vordefinierten Matrix ausgewählt. Wird beispielsweise der Zeigefinger und Mittelfinger der rechten Hand auf den rechten Daumen und der Ringfinger der linken Hand auf den linken Daumen gedrückt wählt man den Buchstaben „P“ aus. So kann ein kurzer Text ohne zusätzliche Eingabegeräte geschrieben werden. Auf ähnliche Weise wird die Menüauswahl realisiert. Hier wird ebenso wie bei der Texteingabe durch das Zusammendrücken von Finger und Daumen oder Finger und Handballen ein Menüpunkt ausgewählt.

Tinmith AR System

Selektionswerkzeuge

Für die Selektion stehen nur virtuelle Objekte zur Auswahl, da reale Objekte wie gewohnt verändert oder bewegt werden können. Bowman und Hodges unterteilen die Selektionswerkzeuge in zwei Kategorien. Ray-casting (Strahl-Auswahl) und arm-extension (Gummihand) Technik.

Die arm-extension Technik funktioniert nach dem Prinzip einer Gummihand. Dabei sieht der Benutzer nicht mehr seine reale Hand sondern eine virtuelle. Liegt ein Gegenstand außer Reichweite der physischen Hand kann ihre Länge nach Belieben verändert und somit jedes virtuelle Objekt erreicht werden. Die Armlänge kann man dabei auf zwei verschiedene Arten, durch das Drücken einer Taste oder durch die Bewegung der realen Hand, verändern.

Bei der ray-casting Technik erscheint ein virtueller Zeigestab als Verlängerung eines beliebigen realen Fingers, idealerweise des Zeigefingers. Schneidet der Zeiger ein virtuelles Objekt, wird durch Drücken einer Taste dieses ausgewählt und an das Ende des Zeigestabs gehängt. Somit kann der Gegenstand verschoben und gedreht werden.

Für die Manipulation ist die arm-extension Technik wesentlich besser geeignet, da weiterhin die Hand für die Bearbeitung eines virtuellen Objektes verwendet wird. Bei der ray-casting Technik hingegen wird die Manipulation stark eingeschränkt. Aufgrund des Hebelarmes der durch den Zeigestab entsteht kann der virtuelle Gegenstand schwer um eine andere Achse wie um die des Zeigestabes gedreht werden.

Trackingsystem

Die realen Objekte, die Bestandteil einer AR-Anwendung sind müssen in Lage und Position erfasst werden können. Nur so können virtuelle Informationen an der richtigen Stelle eingeblendet werden. Diese Aufgabe übernimmt das Tracking. Es gibt erfasste Informationen über Objekte und Betrachter an ein Computersystem weiter. Mittels Matrix-Transformationen errechnet dieses die exakte Position, welche vom Darstellungssystem zur Ausgabe benötigt wird. Durch korrekte Berechnung und Verarbeitung dieser Informationen wird eine für den Betrachter deckungsgleiche Darstellung erreicht. Aus diesem Grund müssen Trackingsysteme sehr genau arbeiten, schon kleinste Fehler fallen dem Betrachter auf und behindern die Arbeit. Zudem ist es von Belang, dass die Systeme eine hohe Reichweite besitzen, da sich der Betrachter möglichst uneingeschränkt bewegen können soll.

Heutige Tracking-System basieren auf unterschiedlichen Techniken. Die gebräuchlichsten Technologien arbeiten auf optischer Basis. Sie liefern präzise Ergebnisse und besitzen eine hohe Reichweite. Andere Systeme "tracken" Objekte elektromagnetisch, mit Ultraschall oder mechanisch.

Ein optisches Tracking-System, beispielsweise das System "Polaris" von NDI, erfasst die Umgebung mit optischen Kameras. Das System orientiert sich dabei an bestimmten Landmarken, mit deren Hilfe die Objekte erfasst werden. Landmarken können entweder natürlicher Beschaffenheit sein, z. B. Nasenspitze oder Augenwinkel, oder eben künstlich. Die künstlichen Landmarken lassen sich wiederum unterteilen: Aktive Landmarken sind in diesem Fall LEDs, die in regelmäßigen Abständen blinken, oder auch batteriebetriebene Marker. Als passive Landmarken kommen so genannte Retrokugeln zum Einsatz.

Darstellungssystem

Grundsätzlich können die Techniken der Informationswiedergabe in zwei Kategorien, nämlich Brillen-basierte und Monitor-basierte Darstellungen, unterteilt werden. Die Vereinigung von realer und virtueller Welt kann bei See-Through Displays auf zwei verschiedene Arten erreicht werden. Im Anschluss werden die Geräte zur Darstellung von Informationen näher betrachtet.

Brillenbasierte Systeme

Die brillenbasierten Systeme lassen sich vereinfachend in drei Kategorien aufteilen.

Video See-Through Head-Mounted Displays
sind so aufgebaut, dass vor den Augen des Betrachters zwei Monitore angebracht werden, welche die, mit Hilfe der ebenfalls an der Brille befestigen Videokameras aufgenommene , reale Szene abbilden. Zusätzlich zur realen Szene werden dann die virtuellen Informationen angezeigt.

Schematische Darstellung von Video See-Through Head-Mounted-Displays

Optische See-Through-Head-Mounted Displays
ermöglichen durch einen gekippten, halbdurchlässigen Spiegel vor den Augen des Betrachters den direkten Blick auf die reale Szene. Monitore, die oberhalb des Spiegels angebracht sind, überlagern das reale Bild mit virtuellen Informationen.

Schematische Darstellung von Optischen See-Through Head-Mounted-Displays

Retinal Scanning Displays
sind Brillensysteme, die virtuelle Informationen direkt auf die Netzhaut des menschlichen Betrachters projizieren. Die Bauweise ähnelt derer der HMDs, wobei die Monitore durch einen oder mehrere Laser ersetzt werden. Bildprojektoren malen mit Hilfe dieser extrem schwachen Laserstrahlen Grafiken in schnellen Pulsen auf die Netzhaut des Auges. Als Bildquelle kann eine Kamera oder ein Computer angeschlossen werden. Bildpunkt für Bildpunkt wird dann - ähnlich wie beim Fernsehen - in einzelnen Zeilen auf die biologische Leinwand übertragen. Ein Prototyp des Verfahrens wird derzeit an der Universität Baylor in Texas klinisch erprobt.

Universität Baylor

Schematische Darstellung von Retinal Scanning Displays

Monitor-basierte Systeme

Die Monitor-Basierte Umsetzung der Informationspräsentation erfolgt ähnlich wie bei der des Video See-Through HMD. Die reale Welt wird durch eine Kamera eingefangen und mit der virtuellen kombiniert. Lediglich die Ausgabe unterscheidet sich grundlegend von der der Video See-Through HMDs. Sie erfolgt über einen beweglichen oder starren Bildschirm.

Schematische Darstellung von Monitor-basierten Darstellungs-Systemen