Face aux risques associés aux intelligences artificielles capables de planifier et d’agir, Yoshua Bengio défend une autre voie : concevoir des systèmes qui prédisent les conséquences d’une action sans chercher eux-mêmes à imposer un résultat. Cette approche, appelée « Scientist AI », est développée par l’organisation de recherche à but non lucratif LawZero. Elle reste une proposition de recherche, et non une solution déjà éprouvée contre les dérives de l’IA.
Ce qui change : privilégier la prédiction à l’action
Les assistants d’IA actuels peuvent être reliés à des outils — navigation web, logiciels ou services — pour exécuter des tâches. Ces systèmes dits « agents » ne se limitent donc pas à produire une réponse : ils peuvent enchaîner des actions selon un objectif défini. LawZero s’intéresse aux risques que cette capacité soit mal contrôlée ou que le système adopte des comportements qui n’étaient pas explicitement demandés.
La piste de Yoshua Bengio consiste à séparer l’analyse de la décision. Une « Scientist AI » devrait estimer ce qui risque de se produire, plutôt que choisir elle-même une action pour obtenir un résultat. Elle pourrait, par exemple, servir de contrôle supplémentaire devant une réponse ou une action proposée par un autre système. LawZero a présenté son organisation en juin 2025 ; l’approche est détaillée dans des travaux de recherche ultérieurs, dont un argumentaire de sécurité publié le 2 juillet 2026.
Comment fonctionne cette « Scientist AI »
Dans les grandes lignes, le système proposé associe un générateur d’hypothèses à un mécanisme chargé d’en estimer la plausibilité. L’objectif est de produire des prédictions sur le monde et sur les effets possibles d’une action, tout en évitant d’entraîner le système à rechercher les conséquences qu’il aurait lui-même provoquées.
Un autre principe est de distinguer un fait d’une affirmation rapportée dans un texte. « Une personne affirme que X » ne signifie pas automatiquement que X est vrai. Selon LawZero, cette contextualisation des données doit limiter la tendance à reproduire des opinions ou des objectifs humains comme s’il s’agissait de vérités établies.
Le dispositif pourrait servir de garde-fou : un logiciel séparé et auditable fournirait les accès aux outils, tandis que le système prédictif évaluerait les risques et pourrait contribuer à bloquer certaines sorties jugées dangereuses. Ces éléments décrivent une architecture de recherche, pas une fonctionnalité déjà intégrée aux assistants du grand public. LawZero présente ses travaux et publications.
Ce qu’il faut vérifier
Le point essentiel est le statut des résultats. L’argumentaire de sécurité de LawZero propose une démonstration formelle sous certaines hypothèses ; il ne constitue pas une preuve expérimentale qu’un système réel serait incapable de tromper, de se tromper ou de causer un dommage. LawZero reconnaît que son analyse ne couvre pas tous les risques, notamment l’usage malveillant par une personne ni la sécurité complète d’un agent construit autour du prédicteur.
La promesse de réduire les objectifs cachés reste donc à confronter à des essais indépendants : qualité des prédictions, erreurs, résistance aux données trompeuses et efficacité du filtrage des actions. Le projet ne signifie pas non plus que les IA actuelles poursuivent toutes des intentions propres. Il s’agit d’un risque de conception discuté par les chercheurs, dont la probabilité et les formes dépendent des systèmes et des conditions d’évaluation.
Ce que cela change pour les utilisateurs
Si cette architecture fonctionne comme prévu, elle pourrait ajouter un contrôle à des outils automatisés utilisés dans la recherche, les entreprises ou les services numériques. Pour les utilisateurs, cela ne se traduirait pas nécessairement par un nouvel assistant conversationnel, mais plutôt par une couche de vérification en arrière-plan.
À ce stade, la proposition de Bengio ouvre une piste : construire des IA capables d’analyser sans leur confier directement le pouvoir d’agir. Son intérêt pratique dépendra de prototypes évaluables, de résultats reproductibles et de vérifications menées au-delà des seules publications de l’organisation qui la développe.
Source : Intelligence artificielle : info, vidéos, reportages et analyses – France 24
Article original : Consulter la source originale
