📱

Get Our Mobile App

Take your business learning on the go!

Download on the App StoreGet it on Google Play

Assistants IA de JEUX VIDEO officialisé, et Bilan premiers tests d'Accessibilité

LudAccess - AI Games Culture accessibility14:56

Transcription

Bonjour tout le monde. Aujourd'hui, on va parler de l'accessibilité des jeux vidéo sous l'angle de l'intelligence artificielle. Puisqu'on va s'interroger et voir qu'il y a une très bonne nouvelle qui est en train d'arriver concernant les assistants, justement. Il y a, sur le jeu en live, vision, c'est-à-dire une intelligence artificielle avec laquelle on peut parler en direct, on peut la couper, discuter avec elle, et elle voit surtout ce qui se passe sur notre écran de jeux vidéo. Et donc, bah, elle peut nous potentiellement guider quand on voit pas ou très mal dans l'écran, si les options d'accessibilité incluses directement dans le jeu ne font pas le job, ou si tout simplement il y en a pas. Bref, en plus de tout ce que ça pourrait faire d'autre, hein, pour nous donner des conseils, pour nous rappeler des choses qu'on a oubliées, pour nous décrire, par exemple, tout simplement des éléments à l'écran si on voit mal ou pas du tout. Donc voilà, c'est un sujet qui avait été ouvert déjà il y a quelques mois, c'était bah c'était au mois de décembre dernier, et j'avais commencé un peu à, rappelez-vous, il y avait Live Vision de Chat GPT qui venait de sortir en bêta, et il y avait, alors pour les abonnés payants, et il y avait également Live Stream de de de Jimy et dans le a Studio de Google. Et en fait, les deux technologies font la même chose en gros : elle filme à travers la webcam ou elle regarde directement l'écran, et bah on peut lui parler, on active le micro et on lui parle en direct, elle nous répond et elle voit tout ce qui se passe à l'écran.

Alors ça, c'est la théorie. J'ai fait du testing avec des jeux vidéo, j'ai testé sur bah plusieurs jeux vidéo comme je vous l'avais promis. J'ai testé avec beaucoup Star Wars Outlaws, j'ai testé avec Hogwarts Legacy et diverses autres choses. Bien, j'ai tardé à à revenir sur le sujet parce que, en fait, les résultats étaient pas très bons. Les promesses, on les sent, elles sont là, c'est c'est c'est clair que c'est une technologie d'avenir, c'est clair que la technologie, elle existe, c'est pas c'est pas un jour on pourra machin machin, les technologies sont là, c'est juste aujourd'hui c'est du rodage, c'est du bêta, il y a des limitations. Par exemple, bah tout simplement, il y en a un, on peut l'utiliser 15 minutes par jour, et encore, faut l'abonnement payant. L'autre, c'est gratuit, mais on peut l'utiliser par session de 10 minutes, ensuite, faut, ça s'arrête tout seul, donc faut le relancer manuellement, et puis il oublie, il perd la mémoire de ce qui s'est passé avant. Donc en fait, ça marche : l'IA, elle voit grosso modo l'écran, elle comprend ce qu'on est en train de jouer, elle comprend la partie. On peut optimiser des promptes pour bah pour pour voilà, pour faciliter nous l'info précise dont on a besoin. Je je m'étends pas trop dans les détails parce qu'en fait, vous allez voir que l'avenir, c'est le deuxième point dont je vais vous parler sur cette vidéo, et finalement, ça ça pourrait balayer les résultats que j'ai obtenus jusqu'ici, résultats qui sont mitigés, bien qu'extrêmement prometteurs.

Donc grosso modo, juste pour pour finir sur ce sur ce point, ce qui ne fonctionne pas, il y a deux choses : il y a la précision. Dans les grandes lignes, dans les écrans, pour se déplacer dans des grands environnements et tout ça, ça marche plutôt bien. Les IA que j'ai testées, elles guident, elles disent : voilà, devant vous, il y a des marches, vous allez vous les emprunter, vous longez un bord de mer, à le personnage que vous suivez, à tourner à droite. Donc, mais par contre, bon, des fois ça manque un peu de précision, mais surtout, par exemple, quand on déplace un curseur à l'écran très précis, euh quand on quand on va lui demander : et là là, est-ce que je peux cliquer sur OK ? Est-ce que mon curseur, je l'ai mis pile ma souris pile ou mon curseur, bah des fois il dit oui, ça y est, il va te dire : un peu à gauche, un peu à droite, non, non, plus bas, plus bas, plus bas, ah voilà, ça y est, c'est bon. Et puis bon, on clique, on valide, on appuie sur le bouton croix ou quoi que ce soit, et ben ça ne marche pas. Donc il y a y a y a quand même un petit flou. Et puis il y a le le deuxième problème qui est le plus important à ce jour, c'est qu'en fait, c'est pas du vrai temps réel, c'est-à-dire que finalement, il prend des, il surveille ce qui se passe, il prend des captures de temps en temps, mais il filme pas en permanence. Et les versions bêta qui sont disponibles aujourd'hui, et c'est bah de toute façon c'est les seules qui existent, et bien en fait, il faut les relancer verbalement tout le temps, tout le temps, tout le temps. Un exemple très simple : dans un jeu vidéo, vous allez jouer 30 minutes, mais en permanence vous vous déplacez, par exemple Star Wars Outlaws, et bien ça veut dire que vous avez besoin d'être guidé en permanence puisque vous vous déplacez tout le temps pendant les 30 minutes, et ben à peu près toutes les 5 secondes, enfin c'est la à la fréquence à laquelle vous voudrez, mais bon, si on veut se déplacer efficacement, 5 secondes c'est pas déconnant. Toutes les 5 secondes, vous allez devoir lui demander : et maintenant ? Alors au début, vous lui créez un bon prompt qui vous, lui dites : voilà, je suis aveugle, je vais besoin d'être guidé, il faut que régulièrement tu me dises la distance en mètre et la direction par rapport à ma position actuelle, et ou bien tu me tu me guides par rapport à la balise dans l'écran de jeu. Il y a une balise qui montre le chemin parfait à suivre pour atteindre l'objectif, donc dis-moi juste droite, gauche, par rapport à cette balise. Bon bref, ça tout ça ça se, il comprend relativement bien, il y a pas de difficultés majeures là-dessus, c'est juste que bah une fois qu'on lui dit de nous guider, il nous dit bah à droite, et puis après il dit plus rien, donc faut lui redire : et maintenant ? Bah il va nous redire : ah, un peu plus à droite, maintenant, ah vous avez dépassé le truc, revenez sur, mais faut lui dire : et maintenant ? Alors vous imaginez dire : et maintenant, toutes les 10 secondes, mais en vrai c'est plus, pendant 30 minutes, tu as fait 10, il y a 6 minutes, enfin 6 6 fois 10 secondes par minute, 30 fois ça. Bon voilà, aujourd'hui la difficulté, elle est là. Je je ne doute pas que le vrai live stream, en flux continu, il va arriver avec la baisse des coûts, avec les API, avec plein de choses. D'ailleurs, avec des API, c'est c'est possible. Alors je rentre pas dans le détail ce que c'est qu'une API, c'est pas le sujet ici, je l'ai pas fait, mais c'est possible dès maintenant d'utiliser une API, c'est juste que c'est payant et que ça demande quand même quelques petites connaissances de technique.

Voilà les deux points qui font que j'ai arrêté mes mes recherches, mes tests sur tout ça. Alors sans parler du fait que il fallait bidouiller, fallait installer un stand pour que mon iPhone filme mon écran de télé, donc faut que je, j'ai un support, faut que je le mette devant l'écran. Bon, tout ça techniquement, ça demande quand même pas mal d'effort. Et pour filmer l'écran du PC, si on veut jouer au console sur le PC, il faut d'abord streamer avec des applis de streaming. Bon ça ça fait des couches et des couches d'efforts. Donc prometteur, pour faire simple, très prometteur même, mais euh en pratique concrètement aujourd'hui, vu que ce ne sont que des bêtas et que en plus faut répéter, répéter, répéter les instructions, c'est pas exploitable tout de suite, là maintenant, pour pour se faire un un bon gros jeu vidéo. Par contre, la bonne nouvelle, j'y viens, c'est que il y a quelques jours Microsoft a annoncé Copilot Gaming. Donc vous connaissez peut-être ou pas l'application Copilot, c'est en gros c'est l'IA, le chatbot vocale de Microsoft. Donc en gros, euh il, alors il tourne sous Chat GPT, hein, déjà, mais c'est bah c'est l'équivalent GPT de Jimy et tout et tout le tout team, hein, maintenant ne compte plus les les IA. Il a euh il a déjà un mode vocal, il est gratuit, en cela dit j'en profite pour vous balancer quelques infos quand même : il est gratuit, il a un mode vocal avancé, c'est-à-dire qu'on peut l'interrompre, si ça, il peut faire des recherches sur internet, et enfin bref, il fait pas mal de choses. Toujours est-il que il viennent d'annoncer que avec Copilot Gaming, bientôt dans, alors c'est prévu pour avril, à mon avis c'est plutôt fin avril que que début, et puis c'est peut-être pas pour tout le monde tout de suite, on je reviens sur ces points juste après, mais en gros bah ça sera un assistant, un compagnon de jeux vidéo euh qui voit et avec qui vous parlez en direct. Donc il voit votre partie de jeu vidéo et vous parlez. Il y avait des démos qui avaient déjà tourné sur ça déjà depuis l'an dernier, mais là ils ont bah ressorti des démos plus à jour, plus complètes. Euh c'est en anglais, hein, les démos qu'ils ont montré, et surtout maintenant ils ont annoncé une date : avril. Donc qu'est-ce que ça fait ? Et bien c'est simple, bah il nous parle, c'est comme si vous aviez quelqu'un à côté de vous assis qui vous regarde jouer et puis vous pouvez poser des questions, il vous il vous répond quoi, genre : là je suis coincé, d'après toi, qu'est-ce que je peux faire ? Ben l'IA cherche, cherche sur internet, elle le fait, elle dit : bah attends, je je vais regarder sur internet si je trouve des infos sur comment te décoincer. L'IA peut te dire aussi, tu peux lui dire : bah regarde mon combat et puis dis-moi pourquoi j'ai perdu et qu'est-ce que je pourrais faire pour améliorer mon jeu. Effectivement, elle va elle va elle va observer, analyser, puis dire dire qu'est-ce qui aurait pu être mieux fait. Elle peut donner des conseils sur le jeu, par exemple : là tu as tu as accumulé beaucoup de ressources, avec les ressources que tu as, tu peux les combiner pour fabriquer ça ça ça, par contre pas encore assez pour ceci ou cela. On voit le délire, hein, c'est c'est quand même sur le papier c'est bien. Donc ils ont montré des démos avec Overwatch, qui est un jeu de un jeu de tir, et l'autre jeu, je sais plus c'est quoi, c'est plus un jeu de crafting, de de de construction de ressources, de de stratégie, tout ça. Bah écoutez, les démos, elles font un peu rêver, hein. Après bon, faut savoir que c'est là, a priori, c'était du vrai live, la personne n'avait pas forcément à répéter, mais une fois plus, faut voir quand ça sort, c'est pas sorti, donc on peut pas encore faire vraiment de pronostic, mais ça a l'air ça a l'air franchement chouette sur le papier.

Les vraies questions qui se posent maintenant, parce que c'est annoncé, je pense pas qu'ils vont ils vont revenir en arrière, c'est : à qui ce sera disponible ? À quel prix ? Est-ce que ça marchera en français ? Est-ce que ça marchera sur tous les jeux ? Et est-ce que ça marchera avec directement dans la console ou avec un compagnon externe ? Donc on va essayer de répondre un peu à à ces questions. J'ai trouvé des infos qui disent que a priori c'est pour les Xbox Insiders, en gros en gros c'est c'est un programme où on peut s'inscrire pour faire des tests pour Microsoft et Xbox en avant-première quoi, pour faire des retours, et ça, est-ce que le process est accessible, est-ce que patati patata, je je ne sais pas, j'ai pas encore trop creusé la question, mais donc il est possible que quand ça sorte le au mois d'avril, ce soit seulement à une minorité de gens triés sur le volet qui font partie du programme Xbox Insiders. Est-ce que ce sera payant ? Bah ça m'étonnerait beaucoup que ça le soit pas, parce que parce que parce que ça bouffe énormément de ressources, qu'il voit en permanence, que les images soient analysées, enfin pour moi c'est une évidence que ça va coûter de l'argent. Est-ce que ça va être dans l'abonnement Xbox Ultimate, qui est à 19 €, je crois, 90 par mois ? Ça me paraît plutôt logique, en espérant qu'ils vont pas monter le prix ou qu'ils vont pas rajouter une autre option, un autre service payant. Bon après, si c'est cool que ça coûte pas extrêmement cher et que ça que ça vaut son prix, pourquoi pas ? Si ça nous permet d'accéder à plein de jeux, plein plein plein de jeux du passé euh qui ne sont pas accessibles et qui le seront jamais, et ou même imaginons bah un Hogwarts Legacy, un Star Wars Outlaws, un Assassin's Creed Shadows, j'y viens, voilà vous verrez ma dernière vidéo pour comprendre pourquoi je dis ça, avec un petit terrain un peu tactique, et bien en fait c'est bah ce serait juste formidable. En fait, c'est peut-être ça, c'est peut-être ça qu'on attend, c'est peut-être lui. Ça m'étonnerait que du premier coup ça soit parfait, et cetera. Faut voir aussi la limite de temps là, c'est-à-dire est-ce que ce sera limité à 15 minutes par jour, 30 minutes par jour ? Bon, pour du jeu vidéo, 15, 30 minutes, ça me paraît bien faible. Mais pareil, est-ce que il aura une mémoire ? Parce que ça bouffe énormément de mémoire, indépendamment de la ressource, c'est-à-dire se souvenir pendant 1 heure de tout ce qui s'est passé pendant la partie, chaque geste que tu as fait, chaque personnage que tu as croisé, chaque monstre abattu, il va, je sais qu'aujourd'hui les tests sur les les Live Vision, c'est plutôt 10 minutes de de de de de mémoire max, c'est-à-dire qu'après après il oublie quoi, il oublie ce qu'il y a ce qui a été fait ou vu précédemment. Euh donc voilà, on a vu à peu près le prix, les questions de mémoire, de ressources, à qui à qui ça s'adressera, bah voilà, probablement les Insiders, probablement les gens qui payent, à quel prix, à voir. Et bien voilà où on en est, mais toujours est-il que c'est concret, ça arrive en avril, peut-être pas pour tout le monde, mais en tout cas dès avril, Copilot Gaming, un assistant de jeux vidéos, et c'est un il est fait pour, c'est un assistant de jeux vidéo par intelligence artificielle, évidemment, évidemment. À aucun moment je dis évidemment parce que jusqu'ici personne ne parle de d'accessibilité, personne ne parle de handicap là-dessus, c'est pas mentionné une seule seconde, mais c'est évident que ça devrait être très utile pour nous. Je me demande même si les voyants vont vont vraiment adhérer à ça, parce que quand on voit déjà l'écran et cetera, bah faire parler quelqu'un en plus en plus, bah quand quand ça parle ça va ça va tout simplement bah saturer l'oreille quoi. Enfin je veux dire, le jeu vidéo, il a déjà plein de bruitage, plein de voix, plein d'infos, donc rajouter de la voix quand c'est pas indispensable, pour les très malvoyants, non-voyants, ça va être indispensable, mais donc quand on n'a pas le choix, on fait, on se pose pas de question, mais pour eux, je je sais pas, je sais pas très bien comment comment il va adhérer.

Ah oui, une question que j'ai soulevée tout à l'heure et que j'ai pas encore émis d'hypothèse, c'était : oui, est-ce que ça va être un compagnon externe ? Est-ce que ça va être dans l'application par exemple Xbox qu'on peut avoir sur son smartphone, qu'il faudra lancer à côté de manière autonome, et elle se raccordera bah au jeu qu'on est en train de jouer, elle verra et cetera, pour pas saturer les capacités de la console ou autre ? Est-ce que ce sera intégré dans une mise à jour de la bah des capacités directement de la console, dans l'OS, dans le voilà, dans l'opérateur, dans le système d'exploitation de la de la de la Xbox ? C'est possible, c'est moi, je verrais bien cette solution, en tout cas ce serait la plus la plus facile, la plus fluide. Est-ce que ces options, ces fonctions pour les lancer et tout ce sera accessible ? Bon, Microsoft fait quand même a quand même une charte d'accessibilité, c'est-à-dire qu'avant de sortir un produit, en principe, il il le rendent accessible. Euh je tiens à dire d'ailleurs que Copilot, c'est une IA qui est extrêmement accessible, c'est peut-être la plus accessible, hein, les boutons sont labellisés, le la réaction avec le lecteur d'écran, elle est top, il y a des annonces, c'est-à-dire que bah dès qu'il y a une réponse qui apparaît à l'écran, elle est vocalisée tout de suite, on a pas besoin de déplacer le curseur, d'aller chercher manuellement la réponse à la question, puis ensuite redescendre en bas, rouvrir le champ, poser la question suivante, faire entrer, attendre que ça arrive, aller rechercher, répondre. Non, là on pose sa question, on tape sur Entrée, et et dès que la réponse est prête, elle est tout de suite vocalisée directement. Donc du côté accessibilité, je leur fais plutôt confiance. On va voir, on va voir tout ça. Bon, en tout cas, ça continue d'avancer, ça ne peut qu'avancer dans le bon sens, ça avance extrêmement vite avec l'IA. Je crois que l'IA, ça va être le tournant de l'accessibilité, je me trompe peut-être, on verra. Et je crois qu'on va plus avoir beaucoup à attendre, puisque puisque puisque 2025, on en est qu'au début, et et à la vitesse où ça va, ouais, d'ici décembre 2025, il y aura il y aura eu du nouveau, notamment cet assistant. Il et à mon avis, une fois qu'il y en a un qui va sortir, les concurrents vont un petit peu s'aligner. Donc et ben écoutez, j'espère vous faire un petit peu rêver avec moi sur la sortie de cet assistant. Je je prépare déjà ma Xbox et je vais voir si j'arrive à m'inscrire au Xbox Insiders, et puis je vous tiens au courant sur tout ça, et je vous dis donc à très bientôt. Ciao.