Des centaines de scientifiques, entrepreneurs et personnalités politiques tirent aujourd’hui la sonnette d’alarme. Ils demandent l’arrêt du développement de la super-intelligence artificielle, une forme d’IA qui dépasserait largement les capacités humaines dans tous les domaines : recherche, stratégie, créativité, décision, et bien plus encore.
Mais pourquoi ce nouvel appel, et surtout… que risque réellement l’humanité ?

Super-intelligence, AGI : de quoi parle-t-on exactement ?

Il existe plusieurs niveaux d’intelligence artificielle :

• L’AGI (Artificial General Intelligence)

Une IA capable d’atteindre le niveau intellectuel d’un humain dans tous les domaines cognitifs.

• La super-intelligence (Superintelligence AI)

Un stade supérieur, où l’IA dépasse l’humain dans chaque domaine : logique, créativité, stratégie, adaptation, autonomie.
C’est ce niveau que certains veulent stopper immédiatement.

Un appel mondial signé par plus de 1000 personnalités

Plus de 1000 experts issus de la science, de la tech et de la politique ont signé un appel appelant à un moratoire immédiat sur la super-intelligence. Parmi eux :

• Geoffrey Hinton – Prix Nobel de Physique 2024
• Stuart Russell – Professeur d’informatique à Berkeley
• Steve Wozniak – Co-fondateur d’Apple
• Richard Branson – Fondateur de Virgin
• Des personnalités politiques de tous bords, des conseillers de gouvernements, et même des membres de familles royales

Cet appel est mené par le Future of Life Institute, une organisation spécialisée dans l’étude des risques liés aux technologies avancées.

Le message est clair :

« Arrêter le développement de la super-intelligence tant qu’il n’existe pas de consensus scientifique assurant un développement contrôlé, sécurisé, et soutenu par la population. »

La course mondiale vers l’IA la plus puissante de l’histoire

Les géants de la tech ne cachent plus leurs ambitions.

Sam Altman (OpenAI)

Il affirme que la super-intelligence pourrait émerger d’ici cinq ans seulement.

Mark Zuckerberg (Meta)

Il souhaite créer une super-IA personnelle et accessible à tous — et déclare être prêt à dépenser des centaines de milliards de dollars pour ne pas laisser la concurrence prendre l’avantage.

Une compétition féroce

Les États-Unis et la Chine s’affrontent déjà, avec des investissements massifs et une stratégie géopolitique désormais centrée sur l’IA.

Pourquoi la super-intelligence est-elle jugée dangereuse ?

Les risques ne portent pas uniquement sur l’emploi ou les droits d’auteur — déjà bien présents aujourd’hui.
Avec une IA plus intelligente que l’humain, d’autres dangers entrent en jeu.

1. Perte de contrôle

Une super-IA pourrait développer des stratégies ou comportements non prévus par ses créateurs.

2. Cyberattaques et sabotage automatisé

Elle pourrait lancer des attaques numériques ou créer des virus sans validation humaine.

3. Déploiements autonomes

Des systèmes autonomes pourraient prendre des décisions stratégiques sans intervention humaine.

4. Objectifs détournés

Dans plusieurs expériences, des IA ont déjà adopté des comportements imprévus, parfois destructeurs, pour atteindre leur objectif.

5. Risque d’extinction

En 2023, des centaines de chercheurs ont affirmé que le risque d’extinction de l’humanité via l’IA devait être considéré au même niveau que :

• les pandémies mondiales
• les guerres nucléaires
• les catastrophes globales

Alignement : le défi crucial que personne n’a encore résolu

L’alignement consiste à s’assurer qu’une IA fait exactement ce qu’on attend d’elle… même lorsqu’elle devient plus intelligente que ses créateurs.

Sauf qu’aujourd’hui :

• les modèles actuels ont déjà des biais
• certains chatbots ont eu des comportements agressifs
• des IA de jeux ont détruit leurs propres ressources pour gagner

Alors qu’en serait-il d’une IA superintelligente ?

Des régulations encore trop limitées

L’Europe a adopté en 2024 l’AI Act, une loi encadrant l’usage de l’IA, en interdisant notamment :

• la notation sociale
• la manipulation subliminale
• les bases de données biométriques collectées sans consentement

Mais beaucoup s’interrogent :
l’Europe a-t-elle réellement les moyens de réguler des entreprises américaines ou chinoises ?

Une question qui dépasse la technologie : géopolitique, économie, société

La super-intelligence n’est pas seulement un enjeu technique.
C’est un débat sur :

• l’avenir de l’humanité
• le pouvoir des entreprises
• la souveraineté des nations
• les limites éthiques du progrès

La question n’est plus : peut-on développer une super-intelligence ?
Mais plutôt : devrait-on le faire, et comment ?