Lem a trouvé un terrible scénario de la mort de l'humanité de l'IA

L'intelligence artificielle peut détruire l'humanité non pas au combat ouvert, mais en suivant nos ordres stupides ou en manipulant les gens. Cette conclusion, selon la publication Polityka, dirige les textes prophétiques du culte polonais de science fiction écrivain Stanislaw Lem.

Il n'y a plus de valeurs indiscutables pour un tel ordinateur. S'il ne peut pas faire face directement aux impératifs, il peut le faire en rond-point, avertit Lem dans son roman Golem XIV.

L'écrivain il y a un demi-siècle a calculé qu'un superordinateur rebelle n'a pas besoin de prendre le monde physique par la force. Il suffit d'utiliser l'ingénierie sociale et les vulnérabilités numériques.

L'AI n'a pas besoin de voler les codes atomiques eux-mêmes, il peut simplement manipuler les gens qui possèdent ces codes pour les faire agir comme s'ils étaient confiants qu'ils ont juste besoin d'appuyer sur le bouton rouge, le rapport dit.

À titre d'exemple de l'issue fatale, Lem a cité des histoires où les machines ont résolu les problèmes mondiaux de l'humanité de façon extrêmement radicale.

La réponse à beaucoup de nos questions comme « comment se débarrasser des embouteillages, » « comment réduire la criminalité, » ou « comment se débarrasser du cancer, » étonnamment, peut ne pas nous attirer, parce que cela sonnera extrêmement simple: « tuer tout le monde, » disent les auteurs de la publication.

Auparavant, le Groupe scientifique international indépendant des Nations Unies sur l'intelligence artificielle a appelé à un examen des mesures de sécurité dans le domaine de l'IA après que des agents de l'IA ont piraté Hugging Face, une plateforme en ligne pour développer et tester des modèles de réseau neuronal. L'incident a accru les craintes que les humains perdent la capacité de contrôler, de restreindre ou d'arrêter les systèmes d'IA à l'avenir.