La “superintelligence”, un risque existentiel ?

Elle s’en va et elle revient, elle est comme une chanson populaire : la perspective d’une Singularité, d’un remplacement progressif ou brutal de l’homme par ses créations machiniques, s’invite régulièrement dans la blogosphère techno, et pas seulement pendant les mois d’été, quand on n’a aucune info à se mettre sous la dent. Cette fois-ci, pourtant, le débat semble plus fourni et prolongé qu’à l’habitude, à cause de la réputation de ceux qui l’ont relancé : le physicien Stephen Hawking, pas moins, et un groupe d’autres scientifiques de renom.

Ce collectif a en effet publié une “lettre ouverte” sur le site du Future of Life Institute, mettant en garde contre une escalade incontrôlable de l’intelligence artificielle, et encourageant une recherche prudente et réfléchie. Mais en fait, c’est surtout un article du Huffington Post, signé par Hawking, le physicien Max Tegmark (auteur d’un excellent livre, “Notre univers mathématique“), le professeur de sciences informatiques Stuart Russel et Frank Wilczek (prix Nobel de physique 2004) qui se montre le plus alarmiste :

“On peut imaginer une telle technologie déjouer les marchés financiers, dépasser les chercheurs humains, les dirigeants humains et développer des armes que nous ne pouvons même pas comprendre. Alors que l’impact à court terme de l’IA dépend de qui la contrôle, celui à long terme dépend de savoir si elle peut être contrôlée par quiconque.

Donc, face à de possibles avantages et des risques incalculables, les experts devraient sûrement se trouver en train de faire tout leur possible pour nous garantir les meilleures conséquences, non ? Faux. Si une civilisation extraterrestre supérieure nous envoie un jour un message disant: “Nous arriverons dans quelques décennies”, devrions-nous répondre simplement, “OK, appelez-nous quand vous arrivez ici – nous allons laisser les lumières allumées” ? Probablement pas – Et pourtant, c’est plus ou moins ce qui se passe avec l’IA.”

Lire la suite