Er is een nieuwe Unity 3D-aangedreven creatiesuite in gebruik die Live2D-prestaties vastlegt via de ARCore augmented reality toolkit van Google. De software maakt real-time gezichtsherkenning mogelijk via webcamera of een ander opnameapparaat, waarbij gerenderde uitvoer plaatsvindt terwijl de prestaties of bewegingen worden gevisualiseerd.

Denchi Soft heeft een video van bijna tien minuten uitgerold om te laten zien hoe de software werkt en laat zien wat je van kit kunt verwachten wanneer het op een bepaald moment in het eerste kwartaal van 2020 op de markt komt.

Je kunt de videodemonstratie hieronder bekijken.

Dus zoals de video schetst, worden de gezichtsgegevens gelezen en opgeslagen door ARCore en vervolgens ingevoerd in de neurale leerpijplijn van Tensor Flow die is gekoppeld aan Barracuda van Unity 3D. Van daaruit worden de gegevens via een UDP-protocol naar de hoofdstroom gestreamd VTube-studio frontend terwijl de Live2D-animaties en bedieningselementen van de gebruikersinterface worden gebruikt.

Nadat we de basisprincipes van de software hebben behandeld, krijgen we een demonstratie van hoe kleurtinten en fysiek gebaseerde gerenderde verlichting ook kunnen worden toegepast op de Live2D-modellen, waardoor de indruk wordt gewekt van realtime dynamische verlichting.

Je kunt ook de achtergrond aanpassen, verschillende scènes importeren en zelfs sneltoetsen instellen, zodat je gezichtsuitdrukkingen kunt wijzigen, aangepaste macro's kunt laden en specifieke reacties kunt maken om de livestream op te vrolijken.

Er zijn al enkele 3D-oplossingen die zich vergelijkbaar gedragen met wat VTube-studio kan, maar als je meer geïnteresseerd was in het gebruik van handgetekende personages, zoals afgebeeld in de video hierboven, dan VTube-studio is absoluut de manier om te gaan.

Als YouTube niet implodeerde, zou ik waarschijnlijk zeggen dat er spannende tijden voor virtuele knollen op komst waren, maar op dit moment ziet het er niet al te goed uit voor liefhebbers die content willen maken, tenzij je het natuurlijk gewoon doet en er geen significante inkomsten uit te halen.

U kunt meer te leren over VTube-studio van Denchi Soft door het bekijken van de GitHub-pagina.

(Bedankt voor het nieuws tip Wondy Bergers)