Neuer Dreh beim Filmdreh: Virtuelle Produktion

Digitale Effekte und Grafiken sind aus der TV- oder Filmproduktion nicht mehr wegzudenken. Zusammengefasst nennt man sie virtuelle Produktion oder kurz „VP“. In Film und Fernsehen hat sie viele Gesichter: von der Spielstand-Anzeige bei Sportübertragungen über die Wetterkarte in den Nachrichten bis zu Spielfilmen, die vollständig mit Computergrafik erzeugt werden, etwa Resident Evil: Vendetta oder die The LEGO Movie-Reihe.

Welche Chancen für Filmschaffende in der virtuellen Produktion stecken und welche neuen Techniken in Studios eingesetzt werden, erfährst du im Folgenden.

Greenscreen: Technik von gestern?

Rückblende: Schon im letzten Jahrhundert drehte man Filmszenen mit Tricks wie Hintergrund-Projektionen. Oder, besonders beliebt, per Greenscreen, um visuelle Effekte und fantastische virtuelle Welten zu erschaffen. Auch um die Wetterkarte ins TV-Bild einzubauen, ist der Greenscreen das Mittel der Wahl. Allerdings hat das gleich zwei Nachteile am Filmset.

Zum einen sehen Regie, Kameraleute und Schauspielende, die vor einem Greenscreen agieren, beim Dreh nur eine grüne Fläche. Sie müssen sich vorstellen, wo sie die Szene gerade spielen – enge Höhlen, hohe Berge, ein tosendes Meer oder weites All entstehen separat am Rechner. Erst in der Postproduktion kommen reale Handlung und virtuelle Umgebung zusammen.

Zum anderen entstehen virtuelle Produktionsszenen, wenn es um einen hochwertigen Kinofilm geht, hauptsächlich in der Postproduktion. Damit Licht, Schatten, Perspektive und Farben der künstlichen Bilder hundertprozentig zum realen Kamerabild passen, erfordert es einen immensen Arbeitsaufwand.

Die digitale Nachbearbeitung bietet bei Greenscreen-Trickaufnahmen noch sehr viel Spielraum zur Gestaltung. Aber diesen Spielraum sinnvoll kreativ zu füllen, kostet am Ende viel Zeit – und somit auch Geld.

Digitale Welten direkt am Set

Immer mehr Produktionen setzen anstelle von Greenscreen auf sogenannte In-Camera-VFX. Das ist eine Methode, bei der gigantische LED-Wände als virtuelle Kulissen ganze Landschaften, Gebäude oder Fantasiewelten zeigen. Alles lebensnah und in Echtzeit erzeugt – mithilfe der Unreal Engine von Epic Games, die wir vor allem als Grafik-Engine von Videospielen kennen. Statt grüner oder blauer Flächen sehen alle Beteiligten am Filmset unmittelbar das, was auch später im Film zu sehen ist.

Der Clou bei In-Camera-VFX ist, dass alle Kamerabewegungen per Motion Tracking während des Drehs präzise erfasst und verfolgt werden. Die Positionsdaten der Kamera haben unmittelbar Einfluss auf das, was die LED-Wände zeigen. Gleichzeitig mit Kameraführung passt sich das Kulissen-Bild an, es verändert seine Perspektive und „bewegt“ sich entsprechend. Auch das kennen wir so ähnlich vom Gaming, wenn wir uns in den 3D-Welten mit dem Controller mal umschauen.

Virtuelle Produktion: Günstiger und schneller zum fertigen Film

Der erste und wohl größte Vorteil von LED-Wänden am Filmset ist, dass alle am Dreh beteiligten Personen praktisch wie in einer wirklichen Landschaft oder Kulisse arbeiten. Vor der Bildwand stehen Möbel und Requisiten, mit denen die Darstellenden spielen. Alle Beteiligten sehen unmittelbar, wie die Szene funktioniert.

Gerade kleinere Studios können mit virtueller Produktion und In-Camera-VFX an Orten drehen, für die sonst teure Reisen erforderlich wären. Zudem hat durch die virtuelle Produktion das Filmteam die Kontrolle über Wetter, Tageszeit und Lichtverhältnisse. Glänzende Requisiten oder Kostüme waren bei Greenscreens problematisch, wenn sich das Grün in ihnen spiegelte. Bei LED-Wände ist das nicht so. Die Produktion von The Mandalorian ist ein prominentes Beispiel dafür, dass man mithilfe von LED-Wänden die Reflexionen auf dem spiegelblanken Helm des Helden sinnvoll in den Griff bekommt.

Lösungen aus einer Hand

Ein führender Anbieter von VFX-Lösungen ist Sony Professional. HIFI.DE hatte die Gelegenheit, mit Yasuharu Nomura, dem Leiter der Virtual-Production-Sparte von Sony über die Vorteile von virtueller Produktion und das Engagement von Sony in diesem Bereich zu sprechen.

Echte Kamera-Aufnahmen direkt am Set mit digitalen Bildern auf LED-Wänden zu verbinden, spart Zeit, Geld und Energie gegenüber herkömmlichen Sets mit Green- oder Bluescreen, betont Yasuharu Nomura im Gespräch mit unserer Redaktion. Ein wichtiger Vorteil sei, dass das Bildmaterial, das im Studio In-Kamera-VFX entsteht, schon direkt am Set kontrolliert werden kann. Schnitt und Nachbearbeitung benötigen so wesentlich weniger Zeit. Andererseits stecke mehr Arbeit in der Vorbereitung und Vorproduktion, doch die Vorteile überwögen bei Weitem, so Nomura-San.

Im Gespräch mit unserer Redaktion stellt Nomura-San heraus, dass sich die Sony VP Business Unit gezielt auf In-Camera-VFX konzentriert hat und hierfür eine vollständige Systemlösung anbietet. Von den wenigen Hersteller-Firmen, die die Kette „from lens to screen“ – also von Kamera bis zum Fernseher oder Kino-Projektor – abdecken, dürfte Sony wohl die Einzige sein, die eine Studio-Ausstattung mit 8K-Kameras und LED-Bildwänden als Komplett-Lösung anbieten kann.

Die wichtigsten Komponenten:

• Kameras: Sony Professional hat mit den Modellen Venice und der neuen, kompakten Burano 8K-Vollformat-Filmkameras im Portfolio.
• LED-Wände: Unter dem Namen Verona liefert Sony schon die dritte Generation seiner Crystal-LED-Bildwände (CLED) aus. Die Verona CLED Displays wurden speziell für virtuelle Produktionen entwickelt und zeichnen sich laut Hersteller durch Kontrast- und Lichtstärke sowie ihre Antireflex-Eigenschaften aus.
• Toolset: Für den Dreh am Filmset bietet Sony auch ein eigenes VP-Toolset an. Dazu gehören insbesondere Tools zum Farbabgleich und ein Moirée-Alarm für die Kameraleute sowie die Schnittstellen zur Unreal Engine von Epic Games.

LED-Wände für virtuelle Produktion mit höherem Kontrast und Entspiegelung

Viele große Werbedisplays, die oft fälschlich als LED-Displays bezeichnet werden, sind LCDs mit LED-Beleuchtung. Denn sie haben keine LED-Pixel, die aktiv leuchten, sondern nur ein LED-Backlight. Sie eigen sich für Werbung und Leitstände, aber nicht für die virtuelle Produktion.

Im Gegensatz dazu bestehen die VP-Studiowände aus nahtlos verbundenen LED-Panels mit tausenden Miniatur-LEDs oder Micro-LEDs. Auf so einer Basis funktionieren die Crystal-LED-Panels von Sony, aber beispielsweise auch Samsungs The Wall und LED-Wände von Brompton Technology, mit denen unter anderem in Deutschland mehrere Studios arbeiten.

In unserem Interview weist Nomura-San, der die Sparte der virtuellen Produktion von Sony leitet, auf die besonderen Eigenschaften der neuen Verona-Panels hin. Sie bieten mit bis zu 1.500 Nits eine besonders hohe Spitzenhelligkeit und Farbtreue – das erinnert uns stark an unsere Fernseher mit der besten Bildqualität, etwa den Sony A95L. Das andere Ende der Helligkeitsskala, also Schwarz, ist ebenfalls wichtig. Die neuen LED-Panels haben eine schwarze Oberfläche und sind mit einer speziellen Antireflex-Beschichtung ausgerüstet, die Spiegelungen effektiv vermeiden soll.

Laut Sony sollen die neuen Crystal-LED-Panels rund 97 Prozent des DCI-P3 Farbraums abdecken und aufgrund ihrer Konstruktion einen signifikant breiteren Betrachtungswinkel als herkömmliche LED-Wände bieten. Die hohe Lichtleistung, der hohe Kontrast und tiefes Schwarz sind beste Voraussetzungen für HDR-Produktionen.

Wie eine virtuelle Produktion im Endeffekt ausschaut, ergibt sich aus dem Zusammenspiel von Echtzeit-Rendering, der Kamera, dem Motion Tracking und der Bühnenbeleuchtung sowie der LED-Anzeigeleistung. Damit die Farben auf Verona-LED-Wänden von Sony einerseits zum Studio-Licht passen, aber andererseits auch alle Panels identische Farben haben, werden sie eigens kalibriert.

Virtuelle Produktion in großen und kleineren Studios

Die hauseigene Filmproduktions-Firma Sony Pictures Entertainment hatte bereits 2022 das VP-Studio Pixomondo im Los Angeles – sprich: Hollywood – übernommen. Pixomondo ist unter anderem für die Produktion von House of the Dragon, eine HBO-Serie, bekannt geworden. Nun gehört die Firma zu den ersten Studios, das mit der Sony-Komplettlösung arbeitet.

Außerdem gibt es in Amerika die Innovation Studios von Sony Pictures Entertainment und eine Sony-VP-Bühne in Los Angeles.

Weiterhin steht eine VP-Bühne in den berühmten britischen Pinewood-Studios mit der neuesten Sony-Technik samt Crystal-LED-Wänden. In Frankreich arbeitet Plateau Virtuel mit Sony zusammen. Und obendrein gibt es weitere Projekte in China.

Studios der Pinewood-Gruppe, in denen Filmproduktionen mit millionenschweren Budgets stattfinden, können sich vermutlich umfangreiche eigene VP-Ausstattungen mit LED-Wänden leisten. Aber es müssen nicht immer die Großen sein. Damit auch kleinere Produktionen mit VP-Ausrüstung von Sony Professional arbeiten können, gibt es für sie die Möglichkeit, Equipment von Sony zu mieten.

So könnte am Ende die virtuelle Produktion immer breitere Verwendung finden und das Filmen von Serien und Filmen – auch bei kleinem Budget – in Zukunft deutlich vereinfachen.