Mehr als 3D - von der Panorama Aufnahme zu VR

 05. November 2018

AR Brille in Helmform        (Der folgende Artikel ist Teil einer Übersicht im Film&TV Kameramann 5/18)        Foto: Lusznat    

Das Interesse an Panorama-Bildern (griechisch ~ alles-sehen) reicht weit zurück. Erste Bilder entstanden als Gemälde schon im 12. Jahrhundert, so die in China erhaltene Qingming Rolle von Zhang Zeduan, die in einer 5,28 Meter langen Zeichnung aus leicht aufsichtiger Perspektive bei einer Höhe von knapp 25cm das Alltagsleben in der Stadt Kaifeng zeigt. 1792 ließ sich der irische Maler Robert Baker unter dem Begriff Panorama ein zylindrisches Rundgemälde patentieren, das der Betrachter von der Mitte aus so anschauen konnte, als würde er sich umblicken. Dafür nahm Baker 3 Schilling Gebühr und hatte mit dieser Erfindung - kulturhistorisch ein Vorläufer des Kinos - großen Erfolg.

In der Folge entstanden überall eigene Panorama Rundbauten, teilweise mit realistischen Vordergründen wie das Meer Panorama von Mesdag in Den Haag mit einem Gemälde von 120 x 14 Meter Grösse. Später kamen mit dem Cyklorama bewegliche Ansichten hinzu, bei denen bis zu Kilometer lange Landschaftsgemälde teilweise in verschieden gestaffelten Ebenen mit verschiedenen Geschwindigkeiten an den Zuschauern vorbeigezogen wurden.

360°Panorama Aufnahme Sendlinger Strasse mit 35mm Brennweite   Foto: Lusznat

Schon in der Anfangsphase der Fotografie wurde nach technischen Möglichkeiten für Panoramaaufnahmen gesucht. Fotografisch recht einfach waren langgezogene Ausschnitte aus den großen Bildkreisen spezieller Objektive zu realisieren. 360 Grad Aufnahmen gelangen mit in einer Trommel rotierenden Objektiv-Schlitz-Kombinationen auf 35mm und 60mm Film. Es entstehen zylindrische Panorama Aufnahmen die sich als Bildstreifen betrachten lassen. Eine 360° Aufnahme mit der Seitz 65-220 Kamera misst im Negativ 41,2 x 5,5 cm.  

Seitz Panorama Kamera für 360° Aufnahmen auf 70mm/60mm Film  (Foto: Lusznat)

Die zylindrische 360° Aufnahme lässt sich wegen ihrer begrenzten Höhe relativ einfach als langgestreckter Bildstreifen betrachten. Komplizierter wird es mit Aufnahmen die 360° in horizontaler und vertikaler Richtung gleichzeitig wiedergeben sollen, also eine Sicht in alle Richtungen. Die darstellende Geometrie beschäftigt mit der Frage, nach welchen konstruktiven Prinzipen dreidimensionale Objekte in eine zweidimensionale Darstellung zu übertragen sind. Bei dieser Übersetzung spricht man von einer Projektion. Für die Panoramafotografie gibt es verschiedene Projektionsarten: 1. Die Rektilineare Projektion bildet alle geraden Linien gerade ab, rechte Winkel bleiben rechte Winkel. Sie ist sinnvollerweise auf ein Blickfeld von 120° x 120° beschränkt, weil jenseits dieser Winkel extreme Verzerrungen einsetzen. 2. Die Zylindrische Projektion lässt ein Abbild entstehen, das der Innenansicht eines Zylinders entspricht. Der Sichtwinkel weitet sich maximal auf 360° x 120°, die senkrechten Linien bleiben gerade und im gleichen Verhältnis wie bei der Rektilinearen Projektion. Die waagrechten Linien werden gekrümmt wiedergegeben und gleich große horizontale Blickwinkel werden in gleich große horizontale Bildabschnitte übertragen. 3. Die Sphärische Projektion eröffnet einen maximalen Blickwinkel von 360° x 180°, der Rundumsicht in einer Kugel. Die Bildwinkel bleiben gleich. Zweidimensional kann das Bild als Kugelabwicklung dargestellt werden, bei der nur die senkrechten Linien im Objektraum senkrecht wiedergeben werden, alle anderen Linien sind mehr oder weniger gekrümmt. 4. Die Kubische Projektion ist ein Sonderfall der sphärischen Projektion, wobei hier nicht auf die Innenseite einer Kugel sondern eines Würfels projiziert wird. Die sechs entstehenden Bilder mit einem Blickwinkel von 90° x 90° sind rektilinear.

virtuelles Kickerspiel (Foto: Lusznat)

Auch in der analogen Technik war es möglich, ein Panorama aus mehreren Aufnahmen zusammen zu setzen. Damit es beim Verschwenken der Kamera keine Paralaxen-Verschiebungen gibt, muss die Kamera um die Eintrittspupille  geschwenkt werden. Die Eintrittspupille ist die Durchlassöffnung des Objektivs, die das Strahlenbündel begrenzt. Je nach Aufbau des Objektivs kann sie mit der Aperturblende zusammenfallen oder auch außerhalb des Objektivs liegen. Die Lage der Eintrittspupille lässt sich experimentell schnell ermitteln, wenn man beispielsweise beim Blick durch den Sucher ein Lampenstativ mit einem weiter entfernten Schrank oder einer Türkannte zur Deckung bringt und die Kamera auf der optischen Achse zu ihrem Drehpunkt so verschiebt, dass beim Schwenken das Stativ und die dahinterliegende Kante in einer Linie bleiben und sich nicht gegeneinander verschieben. Mit einer so eingestellten Kamera werden dann mehrere Aufnahmen gemacht, die sich deutlich überlappen. Im Bereich der Überlappung können die Einzelbilder zusammengesetzt werden. Das besorgt in der digitalen Bildverarbeitung eine sogenannte Stitching (Nähen)Software. Bei 360° Filmaufnahmen kann man natürlich nicht mit nur einer Kamera arbeiten. Für jedes Einzelbild einer Panoramafotografie braucht man beim Film eine extra Kamera, die zusammen mit den anderen jeweils einen eigenen Film erzeugt, der dann in der Nachbearbeitung mit den weiteren Filmstreifen Bild für Bild zu einem 360° Film zusammengerechnet wird. Mindestens zwei Kameras Rücken an Rücken mit einem Fischaugen-Objektiv und einem Bildwinkel von deutlich über 180 Grad sind für eine 360° Filmaufnahme nötig. Problematisch bei der 360° Filmaufnahme ist immer der Nahbereich und da vor allem die Übergangszonen von einem Filmstreifen zum nächsten. Je nach Bildwinkel der Objektive und Größe des Kamera-Rigs kann es hier zu toten Bereichen kommen, die von keiner der eingesetzten Kameras abgedeckt werden.  Ein Mindestabstand zu Objekten ist erforderlich. 360° Aufnahmen können in 2D und 3D erstellt werden, für die Stereoversion sind deutlich mehr Kameras erforderlich und es ist ein erhöhter Aufwand zu betreiben.

Blinde Bereiche einer 360° Kamera im Nahbereich (Zeichnung Lusznat nach Patentschrift)

Der Übergang von 360° Kameras zu Virtuell-Reality-Kameras ist gleitend. Aus den Bildern zweier Kameras von einem Objekt lässt sich mit Hilfe der Epipolargeometrie die Entfernung zu allen gemeinsamen Bildpunkten errechnen. Dazu muss die genaue Position der Kameras nicht bekannt sein. So kann eine 360° Kamera mit genügend Kameramodulen auch gleich eine Depth-Map (Tiefenkarte) mitliefern, die die Entfernung zu den Bildpunkten verzeichnet. Durch diese Mehrinformation kann ein Motiv in der Entfernung gestaffelt wiedergegeben werden. Hintergründe lassen sich von Vordergründen trennen und die seitliche Verschiebung der Betrachterposition wird möglich. Diese Kameras geben in der Wiedergabe 6DoF (Dimensions of Freedom) Möglichkeiten. Der Betrachter kann seine Position linear links-rechts, oben-unten, vor-zurück verändern und kann seinen Blick im Winkel ebenso in der Pitch- (vertikal), Yaw- (horizontal) und Roll- (rotations) Achse variieren.  

Bild: 6 Freiheitsgerade                 Urheber:  Horia Ionescu, Gemeinfrei

All diese Berechnungen sind dank leistungsstarker Prozessoren, Gameengines und entsprechender Software heute teilweise schon in Echtzeit möglich. Die 360° Aufnahmen dieser Kameras lassen sich nahtlos mit Computer generierten Räumen kombinieren. Das aufwändige Vermessen der Räume mit Laserscannern wird obsolet. Mit den zusätzlichen Informationen über die Tiefe des Bildraumes lassen sich 360° Aufnahmen in Virtuell Reality Applikationen einbauen, die vom Betrachter betreten werden können. Man unterscheidet zwischen Augmented Reality (AR), bei der über eine Brille in den realen Raum Computer generierte Inhalte eingeblendet werden, Mixed Reality (MR), die aus einer Kombination von realer Umgebung mit Computer generierten Raumteilen besteht und Virtuell Reality (VR), die vollständig im Computer generiert wird. Alle diese Teilaspekte werden unter dem Begriff Extended Reality zusammengefasst (XR).

Digitale 360 Grad Filmkameras werden schon ab 250 € angeboten und können in professioneller Ausführung mehrere hundert Tausend Euro kosten. Meist gibt es im Paket auch die notwendige Software dazu, die sowohl das Stitching wie verschiedene Präsentationsformen ermöglicht. Keine der Kameras hat einen Sucher. Meist kommt zur Bildbeurteilung ein Smartphone über WLAN Anbindung zum Einsatz. Bei einigen Kameras ist ein Live-Streaming möglich. Alle Kameras verwenden Fix-Fokus-Objektive und benötigen für das Stitching Bilder mit großer Tiefenschärfe. Deshalb werden meist Sensoren mit kleiner Diagonale gewählt. Prinzipiell kann jeder aus mehreren Modulen eine 360° Kamera zusammenbauen, wobei drei Dinge besonders wichtig sind. Die gemeinsame Stromversorgung mit zentraler synchronisierter Kamera Start Funktion, die optimale Kühlung des Kamera Array, eine parallele Aufzeichnung Kameraintern auf Speicherkarten oder eine Rekordereinheit mit entsprechend vielen Kanälen. Viele Firmen haben in der 360° Euphorie ihre eigenen Kameras und Rigs zusammengebaut und es ist bei Einzelexemplaren oder geringen Stückzahlen geblieben.

Die Euphorie der 360° Aufnahmen scheint im letzten halben Jahr gedämpft. Nokia hat die Produktion der professionellen Ozo Kamera (Verkaufspreis 55.000€) eingestellt, NC Techimaging wird die Iris360Pro - groß auf der Google Street View Konferenz 2017 angekündigt - jetzt doch nicht bauen. Begeistert haben Journalisten die Möglichkeiten von 360° Filmen aufgenommen, aber eine Welle von 360° Produktionen hat es nicht gegeben, eher dümpelt das Geschäft so vor sich hin. Die Süddeutsche Zeitung hat mit einer Reportage pro Monat ihr vor gut einem Jahr gestartetes VR Projekt zwar weiterbetrieben, aber von Expansion und Zukunft kann da keine Rede sein. Viele andere Zeitungen haben ihre Bemühungen mit VR Journalismus längst eingestellt. Unter den Filmen, die in sozialen Netzwerken verbreitet werden, ist die Zahl der 360° Filme eher bescheiden. Blumige Ankündigungen von Startups wie: „Die Technologie der 360 Grad Videos nimmt rasant an Fahrt auf. Binnen der kommenden 24 Monate wird sich das 360 Grad Video vom technologischen Newcomer zum digitalen Mainstream entwickeln (2015)“ [Aspekteins GmbH] haben sich nicht erfüllt. In der traditionellen Fernseh- und Kino-Film-Erzählung hat es zwar einige 360° Versuche gegeben, wie beispielsweise den 5 Minuten Kurzfilm „Help“ (Regie: Justin Lin 2015), das war es dann aber auch.

Die Lytros Lichtfeld Kamera. Die Firma hat inzwischen alle Aktivitäten auch an der eigenen VR Kamera eingestellt.  (Pressefoto)

Es gibt einen Anwendungsbereich in dem die neue Rundum-Aufnahmetechnik längst gewonnen hat: Die industrielle Produktion. Vor allem Augmented Reality (AR) Anwendungen sind der Renner. Bosch hat für den Servicetechniker ein eigenes Programm entwickelt, daß über eine AR-Brille dem Anwender die entsprechenden Serviceunterlagen und Arbeitsschritte ins Blickfeld spiegelt. Schaut der Techniker beispielsweise ein Motorrad eines bestimmten Herstellers an, dann erkennt das Computerprogramm den speziellen Motorrad-Typ und spiegelt selbstständig über die Brille in das Blickfeld des Technikers alle Bosch-Teile und Verdrahtungen ein.

Einfache Version von AR mit Bosch Tablet Computer und Einblendungen in das Livebild eines Fahrzeugmotors.  Foto: Bosch

Im Service und bei der Montage lässt sich die Effizienz der Monteure um bis zu 30% steigern. Auch CAT setzt vor allem bei der Produktion seiner großen Caterpillars AR Brillen und Software ein, denn keine Planierraupe gleicht der anderen und die beiden Monteure, die im Werk zusammen je ein Gerät zusammenbauen, mussten bislang immer dicke Handbücher wälzen, um das jeweils Kundenspezifisch bestellte Fahrzeug zu montieren. Mit den AR Brillen entfällt das Blättern und Suchen auf seitlich aufgestellten Touchscreenmonitoren. Im industriellen Bereich haben VR und AR längst gewonnen und werden zügig eingeführt.

 

Blick durch die AR Brille, aus dem Werbefilm Augmented Reality Brings Data to Life at Caterpillar  Foto: CAT

Studioaufbau für VR   (Foto: Lusznat)

Ein Überblick über alle aktuellen 360 Grad Videokameras findet sich im Jahrbuch Kamera 2018 und 2019.   https://shop.kameramann.de/jahrbuch-kamera