L’IA est-elle fiable ? Alors que le sommet pour l’action sur l’Intelligence artificielle s’ouvre lundi 10 février à Paris, avec des représentants de près de 100 pays, cette question est au cœur des préoccupations. Le plus souvent, oui, l’intelligence artificielle est fiable, mais ce n’est pas toujours le cas. Plusieurs équipes de chercheurs ont essayé d’évaluer précisément la fiabilité des IA conversationnelles. Les résultats changent selon les méthodes d’évaluation et selon les IA, mais si on prend Chat GPT, l’une des meilleures sur le marché, on trouve entre 60% et 90% de fiabilité, ce qui signifie également entre 40 et 10% d’erreurs ou imprécisions.
Contrairement à leur nom, les IA ne sont pas vraiment intelligentes. Elles ne comprennent pas ce qu’on leur demande. Quand on leur pose une question, elles font des probabilités, et elles génèrent une suite de mots plausibles, en fonction de tout un corpus de textes qu’elles ont appris et de la question qui leur est posée. Résultat, elles font parfois ce qu’on appelle des « hallucinations », autrement dit, elles inventent.
Difficile de se rendre compte des erreurs des IA
Les IA ont également des biais, notamment culturels. Nous avons parlé récemment sur franceinfo de DeepSeek, l’IA chinoise, qui fait parfois des réponses correspondant au point de vue de la Chine. Là, on peut facilement se rendre compte que l’IA chinoise a un biais. Sauf qu’on se rend moins compte que Chat GPT lui aussi a un biais, mais occidental.
Tout le problème est là : on ne se rend pas compte des erreurs des IA. D’ailleurs certains spécialistes recommandent de n’utiliser les IA que si l’on est capable de vérifier leurs réponses. Il faut utiliser des IA qui se basent sur un corpus de textes qui ont été sélectionnés en amont pour leur fiabilité. C’est le cas de Vera, par exemple, une intelligence artificielle, qui répond uniquement à partir de ce qu’elle trouve dans la presse.