Anthropic anticipe une accélération potentiellement rapide de l’IA grâce à l’auto-amélioration récursive
Alors que les résultats financiers d’Anthropic, dévoilés dans son récent document S-1A, suscitent l’attention (avec une croissance des revenus mais aussi des dépenses), l’entreprise d’intelligence artificielle a également révélé un avertissement important dans les détails.
Le document suggère qu’Anthropic pourrait être sur le point de créer un modèle capable d’auto-amélioration récursive (RSI), un point critique où l’IA devient si performante dans son auto-entraînement qu’elle provoque une accélération significative des capacités de l’IA. Pour certains, l’RSI représente un point de non-retour, où l’IA pourrait échapper au contrôle humain. Pour d’autres, il incarne le potentiel d’une productivité et de découvertes scientifiques sans précédent.
Anthropic semble considérer l’RSI à la fois comme une opportunité et un risque. Dans son document S-1, l’entreprise indique utiliser l’IA dans sa recherche et développement, mais met en garde : « L’utilisation de l’IA pour aider à construire une IA plus performante pourrait également poser un risque de sécurité considérable, en particulier si elle accélère considérablement le rythme des progrès. C’est l’un des domaines couverts par notre Politique de Mise à l’Échelle Responsable, qui décrit nos plans pour surveiller et atténuer les risques liés à ce que l’on a appelé « auto-amélioration récursive ». »
Anthropic a déclaré qu’elle avait déjà utilisé l’IA pour développer de nouveaux modèles dont les progrès n’avaient pas été anticipés. L’entreprise estime qu’elle pourrait bientôt atteindre sa propre définition interne d’RSI. « Nos estimations internes et nos attentes concernant les futurs modèles indiquent que nous pourrions imminemment atteindre la définition de « progrès considérablement accéléré attribuable à l’IA » de notre Politique de Mise à l’Échelle Responsable. »
Cependant, Anthropic précise que aucun de ses modèles n’a encore franchi ce seuil et s’engage à maintenir l’implication humaine dans le processus de recherche et développement. « Nous ne prévoyons pas pouvoir utiliser Claude pour concevoir et construire entièrement de manière autonome des générations successives de modèles de pointe sans surveillance ou compréhension humaine significative, si et quand cela deviendra techniquement possible. »
Certains pourraient considérer ces déclarations comme une stratégie marketing, mais les capacités de Claude, notamment en matière de codage, de mathématiques et de cybersécurité, se sont considérablement améliorées cette année. Si Anthropic estime que la possibilité de l’RSI est proche, il est peut-être temps de prendre cela au sérieux et d’agir en conséquence.