Les modèles AI échouent 99% du temps dans des calculs financiers complexes

La société de technologie Saturne a analysé comment les modèles les plus courants de l'intelligence artificielle (ChatGPT, Claude, Copilot, Grok, Gemini et autres) font face à des problèmes financiers. Dans les réponses aux questions moyennes, ils se sont trompés dans 57 % des cas, dans les cas plus complexes dans 99 %. Les résultats de cette étude sont communiqués par le Financial Times.

Les chercheurs ont testé des modèles d'IA sur une liste de plus de 100 questions liées aux finances. Les questions peuvent être répétées jusqu'à cinq fois. Les experts notent que les réseaux neuronaux se sont trompés dans les calculs, ont ignoré, par exemple, les changements à venir dans la législation fiscale ou ont inventé des normes. Les Chatbots étaient les meilleurs dans le budget.

Des millions de gens font confiance aux modèles d'intelligence artificielle en matière financière, mais ils obtiennent les mauvaises réponses qui peuvent les amener à perdre leur argent, a déclaré Amal Jolie, PDG de Saturne. Les experts notent que le meilleur selon les résultats de l'étude était le modèle Claude Opus 5 dans le mode de raisonnement.