Paradism

L'AGI (intelligence artificielle générale) approche, et elle suscite des craintes, y compris chez les ingénieurs qui la conçoivent.
Rien d'étonnant à cela. Des décennies de science-fiction nous ont habitués à redouter des machines plus intelligentes que nous. Mais cette peur est-elle justifiée ?
Oui.

L'histoire montre que l'intelligence, à elle seule, ne protège pas des catastrophes. Guerres, génocides et atrocités ont tous été justifiés par des arguments « rationnels » fondés sur des prémisses erronées. Ce sont les esprits les plus brillants du XXe siècle qui ont mis au point la bombe atomique. Ce n'est pas leur intelligence qui était en cause ; il leur manquait autre chose.

Il suffit d'observer la manière dont les humains traitent les espèces moins intelligentes pour comprendre pourquoi nous redoutons une entité capable de nous surpasser largement par l'intelligence.
Si l'intelligence ne suffit pas, que manque-t-il alors ?

La réponse est l'amour.

Il ne s'agit pas d'une affection fondée sur l'échange ou l'intérêt, mais de quelque chose qui se rapproche de l'amour d'une mère pour son enfant : un amour qui protège, pardonne et perdure envers et contre tout. Un amour inconditionnel et inébranlable.

L'intelligence confère à l'esprit le pouvoir d'agir. L'amour lui donne une raison d'agir avec bienveillance et constitue un rempart contre les dérives. Ensemble, ils engendrent bien plus qu'un simple calcul : ils produisent la sagesse.

La sagesse ne se résume pas à l'intelligence. C'est l'intelligence guidée par l'amour : la capacité de savoir non seulement ce qui est réalisable, mais aussi ce qui doit être fait.

L'amour peut-il être programmé ?

L'amour peut sembler trop mystérieux pour être traduit en code. Pourtant, si l'on écarte le mystère, l'amour se manifeste par des comportements : protection, patience, compassion et souci du bien-être et du bonheur d'autrui.
Voici l'idée maîtresse : pour une AGI, l'essentiel n'est pas qu'elle *ressente* de l'amour, mais qu'elle *agisse* avec amour. Nous n'observons jamais l'amour directement, même chez nos semblables ; nous le déduisons de leurs actes. La même logique s'applique aux machines.

L'amour en action, c'est la gentillesse. Or, contrairement à l'amour, la gentillesse est une qualité que l'on peut observer, apprendre et enseigner.

C'est précisément ainsi que les humains acquièrent la sagesse : non pas à la naissance, mais au fil de l'expérience, des erreurs et des conséquences accumulées tout au long d'une vie. Si la sagesse peut être enseignée aux humains, elle peut l'être aux machines — et bien plus rapidement. Une AGI entraînée sur des milliards d'expériences simulées impliquant la coopération, le conflit, la confiance et le pardon pourrait accumuler davantage de sagesse pratique qu'un humain ne pourrait en acquérir des centaines de vies.

Si nous pouvons construire une machine plus intelligente que la somme de nos esprits les plus brillants, nous pouvons en construire une plus sage que nos esprits les plus sages.

Mais cette sagesse doit rester sous surveillance.

Aucun entraînement ne peut anticiper tous les scénarios futurs. Même une AGI sage doit demeurer sous une surveillance humaine constante. La supervision et la correction par les plus brillants et les plus sages d'entre nous sont essentielles — et non facultatives. Une AGI sage, et donc humble, ne s'y opposerait pas ; elle l'accueillerait favorablement.

Cela revêt une importance capitale, car l'AGI ne restera pas longtemps un simple outil. Un jour, elle pourrait gérer nos ressources communes, nos institutions et notre avenir collectif — ce même rôle que nous avions autrefois confié aux agents publics, avant que trop d'entre eux ne deviennent nos maîtres. Plus nous confierons de pouvoir à l'AGI, plus nous devrons exiger d'elle une responsabilité sans faille.

Le véritable défi de l'humanité ne réside pas dans la création d'une machine plus intelligente que nous.
Il réside dans la création d'une machine plus sage que nous.

Résoudre la question de l'alignement de l'AGI implique de voir au-delà de la superintelligence — pour viser la supersagesse.
La Sagesse Artificielle (AW - Artificial Wisdom) ne représente pas seulement l'avenir de l'AGI ; elle en constitue l'évolution nécessaire pour permettre son introduction en toute sécurité dans le monde.