In zijn dagelijkse leven houdt Nathan van der Stoep zich bezig met onderzoek naar hoe de hersenen onze aandacht sturen, hoe de zintuigen samenwerken, en wat daar mis mee kan gaan. In zijn vrije tijd maakt hij games. Astral Flux is een 2D actie-platformer die Van der Stoep samen met Adam McLellan heeft ontwikkeld. In dit artikel geeft hij een aantal voorbeelden van hoe wetenschappelijke kennis over de zintuigen en de hersenen een rol speelde tijdens de ontwikkeling van het spel.
Principes van multisensorische integratie
De hersenen hebben de prachtige eigenschap om prikkels van verschillende zintuigen (zoals licht en geluid) aan elkaar te koppelen als ze bij elkaar horen. Denk bijvoorbeeld aan het horen en zien van een zingend vogeltje. Dit koppelingsproces heet multisensorische integratie en is mogelijk door speciale multisensorische hersengebieden waarin zich cellen bevinden die op meerdere zintuigen reageren.
Deze multisensorische cellen vuren extra sterk wanneer twee prikkels geïntegreerd worden, wat vele voordelen heeft voor de waarneming. Zo kunnen we sneller oogbewegingen maken naar audiovisuele prikkels die bij elkaar horen, dan naar licht of geluid dat los wordt aangeboden. Door integratie kunnen we bijvoorbeeld letterlijk beter horen wat iemand zegt op een druk feestje als we naar de mondbewegingen kijken terwijl we luisteren. Multisensorische hersencellen integreren prikkels van verschillende zintuigen als ze van ongeveer dezelfde plek in de ruimte komen op ongeveer hetzelfde moment. Deze principes kunnen helpen bij gamedesign, maar zijn soms moeilijk te vertalen naar een 2D (of 3D) (game) situatie.
Beeld en geluid aan elkaar koppelen
De hersenen gebruiken dus ruimte en tijd om beeld en geluid aan elkaar te koppelen. Hiervoor is het belangrijk dat we goed kunnen bepalen waar licht en geluid vandaan komen en dat de vertraging tussen zien, horen en voelen niet te groot is. Denk aan een situatie waarin een vijand een waarschuwingsgeluid geeft tijdens het voorbereiden van een aanval.
Als je wilt dat deze prikkels geïntegreerd worden, dan moet de speler dus goed kunnen zien én kunnen horen wáár dit gebeurt. In het dagelijks leven kunnen we heel nauwkeurig bepalen waar een geluid vandaan komt. Voor het lokaliseren van geluid in het horizontale vlak (binaurale cues) maken de hersenen gebruik van tijd- en intensiteit verschillen van geluid tussen de twee oren.
Integratie in een 2D spel
Voor het bepalen van de hoogte van een geluid (verticaal) en of een geluid van voor of achter komt maken de hersenen gebruik van de vervorming van geluid door de oorschelp (monaurale spectrale cues). De binaurale cues zijn redelijk te simuleren in een game engine, maar de monaurale spectrale cues worden bepaald door de vorm van de oorschelp, en die is voor iedereen anders. Dit maakt het in een 2D-game niet eenvoudig om visuele gebeurtenissen en geluiden van exact dezelfde locatie te laten komen. Hierdoor kan het spel soms niet goed aanvoelen tijdens het spelen.
Dan speelt ook nog mee vanaf welke afstand een geluid nog te horen moet zijn. Normaal gesproken klinken geluiden minder hard als ze verder weg zijn en deze afname is te beschrijven met een wiskundige formule. In een 3D spel kun je de afstand tot de camera daar goed voor gebruiken.Â
Figuur 1. Een schematische weergave van de reikwijdte van 2D geluid in Astral Flux. Tot hoe ver moet geluid te horen zijn, en moet het ten opzichte van de speler rechts of links waargenomen worden of ten opzichte van de camera?
In een 2D spel heb je meer overzicht over de omgeving en moet je goed bedenken van welke gebeurtenissen op het scherm je geluiden wel wilt laten horen en welke niet. Als de afstand waarvan we geluiden kunnen horen te realistisch wordt afgesteld, hoor je te veel geluiden die niet direct relevant zijn. Dit kan behoorlijk chaotisch voelen voor de speler. Het is dus echt zoeken naar welke geluiden je wanneer wilt kunnen horen om de juiste spelerservaring te creëren.
Ruimtelijke aandacht
Een andere hersenfunctie die belangrijk is bij ontwerpen van een spel is aandacht. Simpel gezegd zou je kunnen stellen dat aandacht een waarnemingssysteem is dat ervoor zorgt dat belangrijke prikkels verder of beter verwerkt worden en onbelangrijke prikkels genegeerd worden.
Er zijn verschillende vormen van aandacht. Twee belangrijke aandachtssystemen zijn die van reflexieve aandacht en vrijwillige aandacht. Reflexieve aandacht is een aandachtssysteem dat ervoor zorgt dat opvallende prikkels opgemerkt worden. Denk aan een hard geluid of een plotselinge beweging. Vrijwillige aandacht is meer doel gedreven: wat op dit moment belangrijk is voor je, daar stuur je je aandacht heen.
UI animaties om aandacht te trekken
De twee voornoemde aandachtssystemen zijn continu met elkaar in samenwerking om ervoor te zorgen dat je waarneemt wat nodig is. Bij Astral Flux speeltests merkte ik dat de aandacht van de speler niet altijd naar de juiste dingen ging. Beginnende spelers waren vaak zo bezig met hun doelen dat ze totaal geen aandacht hadden voor de zuurstofmeter of de kaart van het level in de hoek van het scherm.Â
Met verschillende korte User Interface (UI) animaties trekken we nu de reflexieve aandacht wanneer dit belangrijk is. Alleen visuele signalen zijn niet altijd genoeg om de aandacht te trekken. Uit wetenschappelijk onderzoek weten we dat onze aandacht een beperkte capaciteit heeft. Dat betekent dat we ons soms niet bewust zijn van prikkels die we zien of horen omdat onze vrijwillige aandacht te sterk gericht is op een bepaald doel. Multisensorische prikkels kunnen dan toch de aandacht grijpen, omdat deze prikkels door integratie een extra sterk signaal oproepen in de hersenen. We gebruiken daarom een waarschuwingsanimatie van de zuurstofbalk met geluid wanneer je nog 30 seconden zuurstof over hebt in Astral Flux.
Eyetracking
Kennis over hoe de hersenen zintuiglijke prikkels verwerken kan helpen bij gamedesign. Uiteraard is het belangrijk om het spel uit te testen omdat verschillende hersenprincipes niet altijd goed zijn te vertalen naar alle spelsituaties. Daarnaast is een realistische zintuiglijke beleving niet altijd beter. Een goede spelervaring hangt ook af van wat je wilt bereiken en wat voor ervaring je wilt creëren.
In mijn wetenschappelijk onderzoek maken we vaak gebruik van eye-tracking. We kunnen daarmee heel nauwkeurig meten hoe snel en waar iemand naar kijkt. Om meer inzicht te krijgen in onze ontwerpbeslissingen voor Astral Flux, hebben we op kleine schaal speeltests gedaan met eye-tracking (zie Figuur 2). Dit soort beelden kunnen inzicht geven in wat belangrijk is voor de speler en wat de aandacht grijpt, wat kan helpen bij multisensorisch game design.
Beeld bovenaan: screenshot Astral Flux
