Doku 4 – Workflow und Software – Kiel 1242 – VR/3D-Anwendung

Doku 4 – Workflow und Software

Bearbeitungen/Korrekturen am:

3. September 2024

Workflow

Über das Programm DAZ3D bin ich letztendlich 2016 zu Blender und Unity gelangt.

Im Laufe der Jahre und nach zahlreichen YouTube und CG-Boost-Tutorials habe ich einen eigenen Workflow entwickelt. Für spezielle Prozesse binde ich dann ggf. weitere Programme – Substance Painter, iClone, Character Creator – mit ein.

Da dieser Markt eine eigene Dynamik hat und immer neue Lösungsansätze kreiert, probiere ich auch diese aus. So gibt es inzwischen brauchbare KI-Lösungen für den Einsatz von Sprache und bezahlbare VR-Headsets.

Als 3D-Generalist und Hobbymusiker nutze ich unter anderem Cubase und die Soundtools von Eduardo Tarilonte (BestService).

animierte Sketchnote zum Workflow.
Erstellt mit ProCreate auf dem iPad.

qGIS

Das Programm qGIS ist Open Source und dient in erster Linie zur Erstellung von Landkarten und bietet zahlreiche Optionen.

Aus den – ebenfalls frei zugänglichen – Daten der Landesvermessungsämter (DGM1, topografische Karten usw.) lassen sich dann Hightmaps erstellen. Diese wiederum kann ich – gegebenenfalls sind weitere Anpassungen notwendig – in Unity zur Terrainerstellung verwenden.

… zum detaillierten Workflow (in Bearbeitung)

Unity

Unity ist – neben Unreal – für Hobbyentwickler:innen wohl die meistverbreitete Spiel-Engine.

Dabei wird die Bezeichnung Spiele-Engine diesen Programmen nicht mehr gerecht. Es lassen sich komplexe Programme, Filme, Spiele, VR-Anwendungen und vieles mehr damit erstellen.

Beide Anbieter:innen stellen kostenlose Versionen für Einsteiger:innen zur Verfügung. Unity verlangt erst eine Bezahlung, wenn ich damit über $100.000 im Jahr verdiene.

Welche Engine soll ich verwenden?

Das kann ich wirklich nicht beantworten. Für mich hat sich per Zufall die Nutzung von Unity ergeben. Ich komme damit zurecht und es gibt Stimmen, die sehen in Unity die bessere Entwicklungsumgebung für VR.

… zum detaillierten Workflow (in Bearbeitung)

Blender

Blender zu beschreiben ist nicht ganz einfach – in Deutschland würde man sagen: Es ist die „Eierlegende Wollmilchsau“ für 2D und 3D Künstler:innen:

Modelle erstellen und sculpten
Rigging und Animationen
Filme und Videoediting
VFX
Simulation
Rendering
Storyboard und Storytelling
und, und, und

Dabei ist es als Open Source kostenlos. Allgemein sehen Anwender:innen bei Blender eine steile, hohe Lernkurve – das erschwert den Einstieg.

Ich beschäftige mich seit ca. 5 Jahren mit Blender und bezeichne mich als ambitionierte Anwender. Vieles muss ich bei YouTube oder in dem erstklassigen E-Book von Jan van den Hemel – Blender Secrets – nachschauen – aber es gibt eben auch eine riesige Community und endlose Tutorials.

Ich empfehle den Einstieg über CG-Boost. Fachlich, sprachlich und inhaltlich gut gemachte Tutorials ohne viel BlaBla und immer auf dem aktuellen Stand. D.h. Kurse werden – in der Regel – bei neuen Blender Version ergänzt, erweitert und angepasst – das habe ich so noch nirgendwo anders gesehen.

… zum detaillierten Workflow (in Bearbeitung)

Substance Painter

Ein aufwendiger und wesentlicher Arbeitsschritt ist die Texturierung der Oberflächen von 3D-Modellen.

Grundsätzlich kann das auch in Blender realisiert werden – für meinen Workflow hat das Programm Substance Painter von Adobe bewährt.

Zum einen kann ich damit schnell Anpassungen und Korrekturen vornehmen und diese in unterschiedlichen Formaten (URP, HDRP, Blender etc.) exportieren.

… zum detaillierten Workflow (in Bearbeitung)

iClone und Character Creator

Ich tue mich etwas schwer damit, die Programme von Reallusion zu empfehlen – auch wenn sie das tun, was sie sollen und das wirklich gut.

Ich stelle in Frage, ob das Preis-Leistungs-Verhältnis stimmt. Die Programme sind nicht nur in der Anschaffung relativ hochpreisig – jedes, auch noch so kleine Add-on ist kostenpflichtig.

Dann kann man für den optimalen Workflow schnell mal einige 1000,- € investieren – was ich nicht gemacht habe.

Auch hier – alles, was diese Programme leisten, kann ich letztendlich auch in Blender realisieren – in der Regel mit mehr Zeitaufwand und der Workflow kann etwas tricky werden, weil diverse Add-ons benötigt werden.

Diese sind nicht aufeinander abgestimmt, die Anpassungen für Unity teilweise nicht vorhanden und/oder ebenfalls nicht kostenlos.

Die meisten Funktionen in iClone und im Character Creator können mit der 30-tägigen Trial-Version getestet werden. So könnt ihr euch einen guten Überblick verschaffen, ob die Programme auch für euren Workflow nützlich sind.

Für meinen Workflow nutze ich die Programme zur Erstellung:

individueller NPC durch Texturierung und Morphing
Gesichtsanimationen – insbesondere für Sprache (Lip sync)
aufwendigere Animationen
Konvertierung und Reduzierung des Meshvolumens – Optimierung für die Spiele-Engine (LOD)

… zum detaillierten Workflow (in Bearbeitung)

Sprache, Sound und Klangdesign

Ein Programm – genau wie ein Film – wird erst durch ein gutes Klangdesign richtig gut. Das gilt für immersive Anwendungen erst recht.

Ich habe auf den üblichen Klangteppich (Ambient Sound) – der in allen Spielen vorhanden ist – verzichtet. Dieser Sound-Mischmasch, der uns in Endlosschleife ein mittelalterliches Ambiente vorgaukelt, ist in der Regel weder authentisch noch schön.

„Kiel1242“ lebt in erster Linie von seinen natürlichen Geräuschen (Wind, Meer, Tiere, Menschen, Arbeitsplätze, Gesang in Kirche und Kloster). Musik ist nur dort zu hören, wo Musiker:innen aktiv sind.

Ich nutze – neben den Sounddateien von Eduardo Tarilonte und Medieval Life – auch KI.

Anders lässt sich ein „Hobby-Projekt“ wie „Kiel1242“ leider nicht realisieren.

Aktuell verwende ich für Sprache das Tool von Elevenlabs in Kombination mit LypSnyc von iClone.

Klangbeispiel: Gregorianik – Deus Miserere
(c) 2024 Frank Reiser

Klangbeispiel: Mittelalter-Tenor – Salve Regina
(c) 2024 Frank Reiser

Face-Captering

Eine weitere Methode, die zum Einsatz kommt, ist das Face-Captering. Dabei dient ein iPhone als „Aufnahmegerät“ und übertrage die Daten mittels eines Add-ons direkt in iClone.

So lässt sich eine realistische Mimik erzeugen und ggf. die Lippensynchronisation optimieren.

… zum detaillierten Workflow (in Bearbeitung)