Online Soccer Manager (OSM) van Gamebasics wordt gespeeld door 4,5 miljoen voetballiefhebbers in meer dan 100 landen. Als je daar een update met grote wijzigingen voor uitbrengt ga je niet over een nacht ijs. CEO Jeroen Derwort schreef onderstaande blog over hun ervaringen met het soft launchen van de update.Â
De grootste game in de appstores van Nederlandse bodem, OSM, is onlangs flink geupdate. Clublicenties, een nieuw design, een nieuw verdienmodel en een bak aan nieuwe features zijn live gegaan op 11 mei 2016. Vanaf december 2015 stond de game echter al in soft launch. Dit soft launch traject was leerzaam en die learnings willen we graag met jullie delen.
Het nieuwe design is volledig bij de tijd en biedt plaats aan de clubrechten: de logo’s van de clubs en de foto’s van de spelers. Hadden we voorheen een verdienmodel gebaseerd op abonnementen, nu is daar een freemium model met virtual currency voor in de plaats gekomen.
Het was de eerste keer dat we een soft launch hebben gedaan. Normaal gesproken ontwikkelen we incrementeel en dan testen we de features uit op een afgeschermde staging omgeving. Deze keer was het verschil tussen de versies dermate groot dat een uitgebreide soft launch een absolute must was.
Wanneer beginnen met de soft launch?
De eerste vraag die opkwam was, wanneer we zouden beginnen met soft launchen. De game liep achter op schema en we wilden het liefst zo snel mogelijk beginnen. Er zijn altijd twee kampen in zo’n situatie: degenen die snel willen gaan en degenen die willen wachten tot het product helemaal af is en bugvrij.
Beide keuzes zijn te verdedigen maar slecht voor het resultaat. Wij hebben er, na goed overleg met de ontwikkelteams, uiteindelijk voor gekozen om de soft launch wel snel te beginnen, maar pas nadat de basisfuncties klaar waren. En alleen in de voor ons minder belangrijke landen. Zodoende konden we toch al leren van een real-life scenario, zonder dat we gebruikers die nu veel inkomsten genereren, opzadelden met een halfbakken product.
We begonnen met de soft launch in december 2015. Toen was nog niet alles klaar, maar wel genoeg om het gedrag van spelers te kunnen meten. We hadden bijvoorbeeld nog geen optie om vrienden uit te nodigen, er zaten geen advertenties in de game en de betaalsystemen waren nog niet klaar. Wanneer we precies konden releasen, wisten we toen nog niet. Uiteindelijk bleek dat we in mei 2016 er klaar voor waren omdat OSM 3 toen de minimum set aan features bevatte, stabiel genoeg was en de KPI’s goed waren.
Het snel in soft launch brengen heeft goed uitgepakt. We kregen inzicht in het speelgedrag van de gebruikers en hebben met die data bijvoorbeeld de tutorial nog aangepast. Elke stap in de tutorial hebben we gemeten. We hadden het idee dat een forced flow op de website niet nodig zou zijn, maar metingen wezen uit dat gebruikers afhaakten bij het kiezen van hun tactiek. Het aanbrengen van een donkere achtergrond, waardoor de keuze meer opviel, loste dit op. Zie de onderstaande screenshots.
Gekozen landen
Om een goede soft launch te doen heb je een representatieve groep gebruikers nodig. Liefst zoveel mogelijk, omdat de resultaten betrouwbaarder worden en minder grillig. Voor ons was 10.000 spelers in de soft launch een acceptabel aantal, maar eigenlijk zonder de best betalende gebruikers, omdat we niet zeker waren of de game wel goed zou zijn. Betalingen zijn één aspect dat je goed moet testen, maar engagement op features en het meten van de in-game flows zijn minstens zo belangrijk.
Daarom besloten we een gefaseerde soft launch te doen, naar verschillende landen op op verschillende platforms. We begonnen met Algerije. Hier wordt Arabisch gesproken, waardoor we onze versie in het Arabisch goed konden testen. Oostenrijk was het tweede soft launch-land. Dit is voor OSM een relatief klein land met weinig spelers, maar het zijn wel West-Europese gebruikers waardoor we het betaalgedrag konden bestuderen. In Algerije betaalt namelijk bijna niemand in de oude versie van OSM.
Toen we tevreden waren over de cijfers in Algerije en Oostenrijk, breidden we ons soft launch-gebied uit. Dit punt bereikten we toen het aantal crashes minder dan 5% van de sessies betrof en de retentie het niveau van de oude app had bereikt.
We breidden hierna uit naar de VS. Dit was een slechte keuze. We hadden de VS op het oog omdat Online Soccer Manager als voetbalgame weinig gebruikers in de VS heeft, en de VS gebruikers wel heel representatief zijn als het om betaalgedrag gaat. Maar technisch gezien bleek het onmogelijk om VS gebruikers te isoleren als groep. Alle telefoons en IP adressen in de wereld die niet herkend worden, staan standaard op de VS. Daardoor kregen we heel veel gebruikers in de soft launch die niet uit de VS kwamen, maar bijvoorbeeld uit Bangladesh, India en Egypte.
De laatste stap in onze soft launch was Portugal. Dit was de echte lakmoesproef. Portugal hadden we gekozen omdat het een oude community is, met kritische gebruikers. Als we hier goede cijfers zouden halen, waren we er zeker van dat het elders in de wereld ook zou lukken.
Wat we leerden uit de cijfers
Om te bepalen of de soft launch succesvol was, hadden we KPI’s (Key Performance Indicators) nodig. We kozen voor retentie, DAU en ARPDAU. Wanneer deze cijfers gelijkwaardig of beter zouden presteren dan onze huidige game, dan zouden we de soft launch kunnen uitbreiden of uiteindelijk, de upgrade voor alle gebruikers kunnen doen.
De DAU (Daily Active Users) gaf ons een beeld van hoeveel gebruikers de overstap maakten. We rolden de game namelijk uit als een update van de bestaande app. Het was voor ons de vraag of mensen de upgrade zouden doen en of ze daarna nog door zouden spelen. De soft launch bevestigde dat we DAU zouden gaan verliezen omdat oude devices niet meer ondersteund werden, maar dat het aantal gebruikers dat zou stoppen als gevolg van de veranderingen minder dan 1% betrof.
Met de retentie meten we het percentage van de spelers die 1, 7 of 30 dagen na inschrijving actief is geweest. Dit getal geeft aan hoelang gebruikers blijven spelen. Het is één van de belangrijkste cijfers. Als de retentie omlaag gaat, weten we dat het uiteindelijk negatief gaat zijn voor de DAU.
De verwachting was dat deze cijfers hoger zouden liggen dan in de oude versie, maar dat was niet direct het geval. In de soft launch konden we dat op tijd zien en bijsturen. Zo hadden we op Android in eerste instantie het betaalsysteem Fortumo aan de kant geschoven ten faveure van Google Play, om tijd te besparen. De ARPDAU cijfers lieten echter zien dat Fortumo naast Google Play een must was, omdat niet alle gebruikers op Android hun Google Play account aan een credit-card gekoppeld hebben. Uiteindelijk konden we mét Fortumo een 50% verhoging van de ARPDAU noteren.
Meerdere platforms
Onze game is er voor Android, iOS en Web. Op alle drie die platforms ontwikkelen we native, dus de versies verschillen best veel van elkaar. We kozen er daarom voor op alle drie de platforms een soft launch te doen.
Een bijkomende uitdaging was dat we al een lopend spel hadden, dat we wilden upgraden met de nieuwe versie. Hierdoor konden we niet op elk platform dezelfde soft launch-strategie volgen. Op de website gebruikten we redirects op basis van het IP adres. Op iOS moesten we tijdelijk een nieuwe app in de App Store zetten die alleen in de soft launch-landen te zien was. Op Android kon dit niet. Hier gebruikten we de staged rollout feature van Google, waarmee we de app aan een klein groepje gebruikers beschikbaar stelden. Dit was 0,5% in het begin en uiteindelijk 5%. Het nadeel hiervan was dat we niet precies wisten wie de soft launch-app zou krijgen.
De landenstrategie kon op Android niet gevolgd worden. Technisch gezien was dat lastig omdat gebruikers in hetzelfde land zowel de oude als de nieuwe app naast elkaar moesten kunnen gebruiken. Voor de metingen was het lastig omdat je niet precies wist wie er in de soft launch zaten. We moesten er vanuit gaan dat dit een representatieve steekproef van de gebruikers betrof.
Doorgaan tot het goede niveau
De soft launch periode is moeilijk. Je hebt een product dat al zo goed als af is, en je wilt het aan de wereld laten zien. Toch moet je wachten en eerst alleen een kleine groep ervan laten genieten. Tot je de cijfers hebt die aantonen dat het spel een succes gaat worden.
Niet alleen wij pakken het op deze manier aan. Supercell heeft vele spellen in soft launch gehad. Wanneer ze na de soft launch-periode niet te tevreden zijn, liquideren ze het project. Die luxe hadden wij niet. Wij moesten doorgaan tot de game op niveau was. Maar dat is uiteindelijk gelukt, dankzij een goede en geduldige soft launch-periode.
Eén van de dingen die we luid en duidelijk te horen kregen in de soft launch was dat onze uitleg en conversie naar het nieuwe verdienmodel niet duidelijk was. Gebruikers die gewend waren aan hun abonnement, dachten dat het meer pay-to-play zou worden. Ze begrepen niet dat de virtual currency ook gratis verkregen konden worden via bijvoorbeeld achievements. Als gamedesigners hadden we hier niet meer aan gedacht omdat dit voor ons zo logisch was. We hebben voor de full launch de conversieschermen uitgebreid om het beter uit te leggen. Dat heeft ons een hoop vragen en onbegrip van gebruikers bespaard.
