GameNGen et DOOM AI : Le jeux vidéo généré en temps réel

Bientôt les jeux vidéo ne seront peut-être plus programmés ligne par ligne par des développeurs, mais générés en temps réel par une IA capable de créer des environnements interactifs dynamiques et uniques à chaque partie. Ce n’est plus de la science-fiction, c’est la réalité que Google DeepMind, en collaboration avec ses partenaires, est en train de rendre possible avec son projet révolutionnaire : GameNGen.

GameNGen, la nouvelle innovation de Google, est un moteur de jeu entièrement alimenté par un modèle neuronal.

Il redéfinit la manière dont les jeux vidéo sont conçus et joués, en remplaçant les méthodes de codage traditionnelles par une IA capable de générer chaque élément du jeu en temps réel.

Ce projet, qui a déjà surpris de nombreux experts de l’industrie, pourrait marquer le début d’une nouvelle ère pour les créateurs de jeux vidéo, en rendant le processus de développement plus rapide, plus économique et plus accessible à un plus large éventail de créateurs.

Mais qu’est-ce qui rend GameNGen si spécial ? Quels défis cette technologie pourrait-elle surmonter, et comment pourrait-elle transformer l’industrie du jeu vidéo dans son ensemble ?

Cet article vous propose de plonger dans les détails de cette innovation, en explorant son fonctionnement, ses premières réalisations, notamment la recréation du jeu iconique Doom, ainsi que son potentiel futur dans divers domaines au-delà du simple divertissement.

Qu’est-ce que GameNGen ?

GameNGen est le fruit d’une collaboration entre Google DeepMind, Google Research, et l’université de Tel Aviv.

Contrairement aux moteurs de jeu traditionnels, comme Unreal Engine ou Unity, qui reposent sur du code prédéfini et des règles établies par les développeurs,

GameNGen se distingue par sa capacité à simuler et à créer chaque élément du jeu à la volée, en fonction des actions du joueur.

Pour bien comprendre l’impact de cette innovation, il est essentiel de comparer GameNGen aux moteurs de jeu traditionnels.

Les moteurs classiques, tels que ceux utilisés pour des jeux populaires comme Fortnite ou Minecraft, sont conçus pour interpréter les commandes des joueurs (comme appuyer sur une touche ou bouger la souris), mettre à jour l’état du jeu en conséquence, puis rendre l’image à l’écran.

Avec GameNGen, cette approche est totalement réinventée. Le moteur utilise une intelligence artificielle, plus précisément un modèle neuronal, pour observer en temps réel les actions du joueur et générer instantanément le contenu du jeu.

Fonctionnement de GameNGen

Le cœur de GameNGen repose sur un modèle appelé “modèle de diffusion”. Ce modèle fonctionne de manière similaire à un système prédictif avancé :

il “regarde” comment le jeu évolue image par image, comme un observateur qui regarde une animation image par image, et il prédit ensuite ce qui devrait se passer dans le jeu en fonction des actions du joueur.

Le modèle de diffusion utilisé par GameNGen est en quelque sorte similaire à celui des grands modèles de langage utilisés dans l’IA, tels que GPT. Il fonctionne en prenant en compte une séquence d’images passées et d’actions pour prédire l’image suivante.

Le résultat est un jeu qui évolue de manière dynamique et réaliste, chaque action du joueur influençant directement l’environnement de jeu qui se forme devant lui.

Avec GameNGen, non seulement le jeu est généré en temps réel, mais il maintient également une fluidité qui rivalise avec celle des moteurs de jeu traditionnels.

Par exemple, si un joueur décide de tourner à gauche ou de tirer, le modèle neuronal de GameNGen prédit et génère le nouvel état du jeu et rend les images correspondantes.

Ce processus est si efficace que GameNGen peut exécuter Doom à plus de 20 images par seconde, même avec un matériel spécialisé limité.

C’est un accomplissement majeur, car pour qu’un jeu soit fluide et réactif, il doit fonctionner à une cadence d’images élevée. Les joueurs sont sensibles aux “lags” ou aux ralentissements dans un jeu, qui peuvent gravement nuire à l’expérience de jeu.

Architecture du modèle de GameNgen

L’architecture de GameNGen repose sur l’utilisation d’un agent automatique pour jouer et collecter des données, un modèle de diffusion modifié pour générer des images cohérentes à partir de ces données, et un ajustement précis du décodeur pour garantir une qualité d’image élevée, même dans les détails les plus fins.

Collecte de données via un agent automatique

Pour entraîner un modèle génératif comme GameNGen, il est nécessaire de disposer de grandes quantités de données de jeu.

Cependant, obtenir ces données en utilisant des joueurs humains serait trop coûteux et long. C’est pourquoi, dans un premier temps, un agent d’apprentissage par renforcement (RL-agent) est utilisé.

Cet agent est un programme qui apprend à jouer au jeu tout seul, en observant les actions et les résultats. Les épisodes de jeu de cet agent, comprenant les actions prises et les images observées, sont ensuite enregistrés et utilisés comme données d’entraînement pour le modèle génératif de GameNGen.

Entraînement du modèle de diffusion génératif

Le modèle de base utilisé pour générer les images du jeu est une version modifiée d’un modèle appelé Stable Diffusion v1.4.

Ce modèle est conçu pour générer des images en se basant sur une séquence d’actions et d’observations passées, c’est-à-dire les images et les mouvements du jeu précédents.

Pour améliorer la précision et la stabilité des images générées, une technique est utilisée : on ajoute du bruit (bruit Gaussien) aux images pendant l’entraînement.

Ce bruit simule des erreurs ou des imperfections, et le modèle apprend ainsi à corriger ces erreurs, ce qui est crucial pour maintenir des images stables et cohérentes, même pendant de longues périodes de jeu.

Lisez notre article sur la génération d’images par IA : Générateurs d’Images AI : Exploration des principes clés

Ajustement fin du décodeur latent

Stable Diffusion utilise un auto-encodeur pour compresser les images du jeu en petits morceaux (patchs de 8×8 pixels), qui sont ensuite réduits à des canaux latents.

Cependant, cette compression peut introduire des artefacts, c’est-à-dire des imperfections dans les images générées, notamment dans les détails fins comme l’affichage d’informations à l’écran (par exemple, la barre d’état du joueur).

Pour améliorer la qualité des images, seul le décodeur de l’auto-encodeur est retravaillé.

Ce décodeur est ajusté en utilisant une méthode de perte MSE (Mean Squared Error), qui compare les images générées avec les images réelles pour affiner la précision des détails.

La réalisation de Doom avec GameNGen

Doom, un cas d’étude

Doom, le jeu vidéo légendaire sorti en 1993, a été choisi par Google pour démontrer les capacités de GameNGen.

Pourquoi Doom, alors qu’il existe tant d’autres jeux ?

Doom n’est pas seulement un classique adoré par les gamers du monde entier, mais il est aussi devenu un symbole de la culture du hacking, capable de fonctionner sur presque n’importe quel appareil, des calculatrices aux tests de grossesse.

Sa popularité et sa complexité relative en ont fait un candidat idéal pour tester et démontrer la puissance d’un moteur de jeu généré par IA.

Le choix de Doom s’explique également par ses caractéristiques techniques. À l’époque de sa sortie, Doom a révolutionné l’industrie du jeu vidéo en introduisant des graphismes 3D texturés et une expérience immersive inédite pour les joueurs.

Reproduire Doom en utilisant GameNGen représente donc un véritable défi technique : il s’agit non seulement de recréer les éléments visuels et interactifs du jeu, mais aussi de capturer l’essence même de ce qui a fait de Doom une icône.

Les performances et les limitations

Le moteur est capable de simuler Doom à plus de 20 images par seconde, ce qui est un exploit impressionnant pour une technologie qui génère chaque image en temps réel à partir de zéro.

Cela signifie que chaque monstre, chaque coup de feu, et chaque élément du décor sont créés par l’IA en temps réel, sans recourir à des graphismes pré-rendus ou à du code fixe.

Cependant, cette prouesse technique s’accompagne de certaines limitations.

Tout d’abord, la mémoire de l’IA est limitée à environ trois secondes d’historique de jeu, ce qui peut parfois entraîner des incohérences ou des erreurs dans la génération des images.

Par exemple, si un joueur se déplace rapidement à travers plusieurs pièces ou interagit de manière imprévue avec l’environnement, le moteur peut commencer à “halluciner” ou à générer des éléments qui ne correspondent pas exactement à la réalité du jeu.

Ces erreurs sont comparables aux “hallucinations” des modèles de langage comme GPT, où l’IA génère du texte qui semble plausible mais est en fait incorrect.

De plus, bien que GameNGen fonctionne remarquablement bien avec un jeu relativement simple comme Doom, il reste à voir comment le moteur se comportera avec des jeux plus modernes et complexes.

Les jeux d’aujourd’hui, avec leurs mondes ouverts, leurs graphismes ultra-réalistes, et leurs mécaniques de jeu sophistiquées, posent des défis bien plus grands.

Les chercheurs de Google reconnaissent ces défis et travaillent déjà sur des améliorations pour permettre à GameNGen de traiter des jeux plus avancés.

Malgré ces limitations, les résultats obtenus avec Doom sont très prometteurs.

Les tests réalisés montrent que la version générée par IA de Doom est visuellement et fonctionnellement très proche de l’original.

Lorsqu’on a demandé à des testeurs humains de distinguer entre des clips du jeu original et ceux générés par GameNGen, ils n’ont réussi à identifier correctement les clips de l’IA qu’à peine mieux qu’au hasard, ce qui témoigne du réalisme des environnements générés par l’IA.

L’impact de GameNGen sur l’industrie du jeu vidéo

Vers une production de jeux vidéo accélérée

L’une des implications les plus révolutionnaires de GameNGen est la possibilité d’accélérer considérablement le processus de développement des jeux vidéo.

Traditionnellement, la création d’un jeu vidéo nécessite des milliers d’heures de travail, impliquant des équipes de développeurs, de designers, d’artistes et de testeurs.

Avec GameNGen, les développeurs pourraient simplement définir des règles générales ou des intentions, et laisser l’IA faire le reste.

Par exemple, un concepteur pourrait décrire verbalement ou à l’aide de croquis l’apparence d’un monde de jeu, et GameNGen pourrait le générer instantanément, avec des interactions dynamiques et une cohérence visuelle.

Cette automatisation du processus de création pourrait réduire considérablement les coûts de développement.

Les petits studios de jeux, qui n’ont souvent pas les ressources pour rivaliser avec les grands acteurs de l’industrie, pourraient ainsi produire des jeux de qualité en beaucoup moins de temps.

De plus, cela ouvrirait la porte à une nouvelle génération de créateurs qui, bien que talentueux en conception ou en narration, n’ont pas les compétences en programmation nécessaires pour réaliser leurs idées.

GameNGen rendrait la création de jeux accessible à un plus large éventail de personnes, démocratisant ainsi l’industrie.

Applications futures au-delà du jeu vidéo

Bien que GameNGen soit actuellement centré sur la création de jeux vidéo, les applications potentielles de cette technologie vont bien au-delà du simple divertissement.

Les capacités de génération en temps réel d’environnements interactifs peuvent être exploitées dans de nombreux autres domaines, tels que la formation, l’éducation, la simulation ou même la thérapie.

• Dans le domaine de la formation, par exemple, GameNGen pourrait être utilisé pour créer des simulations réalistes pour former les professionnels dans des environnements sûrs et contrôlés.
  
• Imaginez des chirurgiens s’entraînant dans des simulations générées par IA, où chaque scénario est unique et s’adapte en fonction des décisions prises par le praticien.
  
• De même, dans l’éducation, les enseignants pourraient utiliser des simulations interactives pour illustrer des concepts complexes, en plongeant les élèves dans des mondes virtuels dynamiques qui réagissent à leurs actions.
  
• L’industrie du divertissement pourrait également bénéficier de cette technologie, avec des films ou des émissions de télévision interactifs où le spectateur contrôle l’action en temps réel.

GameNGen pourrait donc non seulement redéfinir l’avenir des jeux vidéo, mais aussi ouvrir de nouvelles possibilités pour la création de contenus interactifs dans de nombreux autres secteurs.

Les défis et les perspectives d’avenir

Les enjeux techniques

Bien que GameNGen représente une avancée majeure dans la manière dont les jeux vidéo peuvent être créés et générés, il reste encore des défis techniques importants à surmonter avant que cette technologie ne puisse être pleinement exploitée dans des productions de grande envergure.

Parmi ces défis, la gestion de la mémoire de l’IA et la prévention des erreurs de génération, ou “hallucinations”, occupent une place centrale.

L’une des limitations majeures de GameNGen est sa capacité à se souvenir de l’état du jeu sur une courte période.

Comme mentionné plus haut, l’IA de GameNGen ne peut garder en mémoire que quelques secondes de jeu, ce qui peut entraîner des incohérences ou des erreurs lorsque le joueur interagit avec l’environnement de manière complexe ou inattendue.

Ce problème est particulièrement visible lorsque le joueur se déplace rapidement ou change brusquement de direction, ce qui peut perturber l’IA et la pousser à générer des scènes incorrectes.

Pour résoudre ce problème, les chercheurs de Google ont introduit une technique appelée “augmentation de bruit”, qui consiste à ajouter un certain degré d’aléatoire contrôlé dans les prédictions de l’IA.

Cette approche permet à l’IA de corriger ses erreurs et de rester fidèle à la réalité du jeu. Cependant, cette solution ne règle pas complètement le problème de la mémoire à long terme, et les développeurs de GameNGen devront trouver des moyens d’augmenter la capacité de l’IA à conserver un historique plus long des actions et des états de jeu.

Un autre enjeu est la fidélité des simulations par rapport aux jeux originaux. Même si GameNGen a montré qu’il pouvait reproduire fidèlement des jeux comme Doom, des erreurs visuelles mineures persistent, notamment dans les détails comme les chiffres, les textes, ou les petits éléments graphiques.

Enfin, il y a la question de la puissance de calcul.

Pour générer des environnements en temps réel avec GameNGen, il faut une quantité considérable de ressources matérielles.

Actuellement, le moteur fonctionne sur des unités de traitement tensoriel (TPU), qui ne sont pas accessibles au grand public.

Cela signifie que pour l’instant, cette technologie est principalement réservée à des fins de recherche, et il faudra des avancées dans le matériel informatique pour que des jeux générés par IA puissent devenir accessibles à tous les joueurs.

Les perspectives pour les développeurs et les joueurs

À mesure que la technologie de l’IA continue de progresser, il est probable que GameNGen et des moteurs similaires deviennent des outils de plus en plus courants dans le développement de jeux vidéo.

Cela pourrait transformer le rôle des développeurs, qui passeraient de codeurs à concepteurs de mondes et d’expériences, en collaborant avec l’IA pour créer des jeux uniques.

Pour les joueurs, cette technologie ouvre la porte à une nouvelle ère d’expériences de jeu personnalisées.

Plutôt que de jouer à des jeux créés par d’autres, ils pourraient bientôt jouer à des jeux générés spécifiquement pour eux, en fonction de leurs préférences, de leurs actions et de leurs décisions.

Chaque session de jeu serait différente, offrant des possibilités infinies de rejouer et de découvrir de nouveaux éléments dans des mondes en constante évolution.

De plus, des moteurs comme GameNGen pourraient offrir aux joueurs des outils pour créer leurs propres jeux, sans aucune connaissance en programmation.

À l’avenir, il pourrait être aussi simple de générer un jeu vidéo que de rédiger une description textuelle ou de dessiner quelques croquis de base.

Cette accessibilité transformerait la création de jeux en un loisir de masse, permettant à quiconque de concrétiser ses idées de jeux vidéo, même sans compétences techniques.

Conclusion

GameNGen est une innovation qui pourrait bien transformer profondément l’industrie du jeu vidéo.

Bien que la technologie soit encore en développement et présente certaines limitations, ses applications futures, tant dans l’univers des jeux que dans d’autres secteurs, sont infinies.

Alors que GameNGen continue de s’améliorer, il est passionnant d’imaginer un futur où chaque joueur pourrait vivre une expérience de jeu unique, créée sur mesure par une IA.

Quelles sont vos réflexions sur GameNGen et l’avenir des jeux vidéo générés par IA ? Partagez votre avis dans les commentaires.