Van spuitbus naar VR

In mijn laatste jaar op LUCA verdiepte ik me voor een Month to Master challenge een maand lang in de wondere wereld van street art. Mijn probeersels met spuitbus, op zich al gebaseerd op schetsen, inspireerden mij tot pentekeningen met inkt en aquarel. Maar de digitale studio zou zijn naam niet waardig zijn als ik mijn analoge avonturen niet nog op één of andere manier digitaal zou verwerken.

Deze intensieve maand was dus nog maar het begin van een veel langer traject: het vastleggen van mijn belevenissen in de Gentse street art scene in de vorm van een interactieve VR-game. Zo hoop ik anderen te inspireren om zich er ook eens aan te wagen. Of, als ze daar te bang voor zijn, toch even de sfeer te kunnen opsnuiven: dat gevoel van spanning, van je op nieuw en onbekend terrein begeven.

Bij virtual reality wordt een virtuele wereld in 3D gesimuleerd. Je bent omgeven door beeld en kan er zelf in bewegen en een bepaalde rol spelen. Daardoor ben je veel meer betrokken en ervaar je een veel actievere beleving dan bij klassieke video.

VR voor dummies

Virtual Reality. Ik had er uiteraard al van gehoord en al wat onderzoek gedaan naar de verschillende toepassingen, maar ik had geen flauw idee hoe ik er zelf moest aan beginnen. Gelukkig kon ik rekenen op VR-guru Wim Forceville, die me via workshops en praktische guidance inwijdde in all things virtual. Dikke shout-out dus naar Wim voor alle geduld, het constante stand-by staan via Messenger en het uitrenderen van 360°-video waar mijn schamele laptopje op vast liep.

Hoe verloopt een VR project?

Eerst en vooral heb je videomateriaal nodig. 360° filmpjes werken het best vanuit een statische hoek opgenomen. Als je rondloopt tijdens het filmen, is er namelijk veel kans dat de kijker misselijk wordt (en dat die – letterlijk – van je video kotst is het laatste wat je wil). Ik keerde dus terug naar elke plek op mijn M2M route om opnames te maken van de aanwezige street art.

Gelukkig kon ik via LUCA een Samsung Gear 360° camera, statief en bijhorende gsm lenen om vanop afstand te bedienen (ik kus nog steeds mijn pollekes dat niemand van de voorbijgangers met het materiaal gaan lopen is, al zouden ze dan natuurlijk meteen ook caught on camera zijn).

Vervolgens moet je de beelden aan elkaar “stitchen“. De camera slaat de 360° omgeving immers op als een in 2 geknipte en platgestreken rechthoekige afbeelding. Die kan je via de Gear app opnieuw aan elkaar rijgen. Helaas is die technologie niet feilloos en zit je soms met stitchfouten, waarbij de twee randen van het beeld niet helemaal juist overlappen. Ook het statief van waarop je filmde wil je liefst uit beeld wissen. Hier komen de lasso tool en stamp van Photoshop en het VR converter effect en masks in After Effects to the rescue.

Nadien begint het monteren, de color grading en toevoegen van metadata en audio. Ik ging op zoek naar de meest creepy rechtenvrije drone-geluiden als achtergrond noise om de spanning in het spel op te drijven. Deze 360° video’s in 4K geven op zich ook al een goeie indruk van de ervaring. Je kan ze zelf in VR bekijken door je gsm in een Google cardboard te steken.

En dan kwam de finale afwerking: aan de 360° video’s interactieve buttons toevoegen via hotspots (die je kan aanklikken via gaze over) en tekst om het spel uit te leggen. Hiervoor kon ik gebruik maken van het programma Wonda, dat een handig VR-pakket aanbiedt voor niet-programmeurs.

Het resultaat

Ondanks:

• mysterieus verdwenen SD-kaartjes en plots ontbrekende schroeven tussen het statief en de camera, waardoor ik voor niets heel de weg naar de graffitilocaties sleurde met een zak opnamemateriaal
• hevige sneeuw, waardoor ik het filmen moest uitstellen, en wind, waardoor de camera wiebelt (jawel: ik snap nu wat “door weer en wind gaan” betekent)
• een Samsung Gear 360° app waarbij de preview hapert en voorbijgangers met slechte bedoelingen alsnog de camera hadden kunnen meenemen
• een onbetrouwbare (en nochtans dure) Adobe-licentie die door gebrekkige ondersteuning van Academic Software om de zoveel tijd verviel
• een MacBook Pro van nog geen 2 jaar oud die vastloopt (Mac kan het niet aan, wenen, wenen)
• Premiere dat er meer dan 12 uur over doet om te renderen, om dan net voor het einde te crashen of fouten te melden. Grrreat.
• Wonda dat alleen wil werken met fucking Firefox en een beperkt aantal mogelijkheden heeft in de gratis trial versie (I know: if you pay peanuts, you get monkeys)
• een Samsung gsm die maar video files van een bepaalde grootte aankan (en in ruimere zin: de eeuwige miserie om bestanden over te zetten van Apple naar Android of omgekeerd)
• met andere woorden: meerdere mental breakdowns

… maakte ik op korte tijd een indrukwekkende VR-game, waarin je tegen de tijd mijn street art werken dient te vinden, voor rivaliserende crews je te pakken krijgen. Genoeg om de jury, andere docenten en mede-studenten mee te imponeren én om zelf voldaan terug te blikken op een intensief project.