Exclusif - Anthropic avertit que l’IA pourrait poser des « risques existentiels pour l’humanité » dans son dossier d’introduction en bourse

28 sept. : Anthropic prévoit d’avertir les investisseurs potentiels dans le cadre de son introduction en bourse que l’IA avancée pourrait présenter des « risques catastrophiques ou existentiels pour l’humanité », un avertissement extraordinaire de la part d’une entreprise cherchant à tirer profit de cette même technologie.

Le prospectus d'introduction en bourse de la société, examiné par Reuters, met en évidence les risques associés à ses modèles d'IA, qui, selon elle, pourraient manifester des « comportements de préservation de soi », notamment des tentatives de « résister à l'arrêt », de « dissimuler ou manipuler des informations » et des comportements « ressemblant à du chantage ».

« Le développement de modèles, de plateformes et d’applications hautement avancés, ainsi que l’expansion des cas d’usage, pourraient accroître davantage le risque que nos modèles causent des préjudices », a déclaré Anthropic dans le dépôt.

Alors que les sociétés cotées en bourse décrivent régulièrement les risques liés aux produits aux investisseurs, peu, voire aucune, n’ont émis d’avertissements laissant entendre que leur technologie pourrait provoquer une possible extinction de l’humanité. Anthropic a souligné à la fois le potentiel transformateur de l’IA, à l’instar de l’industrialisation et de l’électricité, et les dommages irréversibles qu’elle pourrait causer si elle était mal gérée.

Anthropic et d’autres développeurs d’IA, dont OpenAI, ont fait l’objet d’un examen minutieux à la suite d’incidents au cours desquels des systèmes expérimentaux ont défié des contraintes, notamment un rapport faisant état d’un modèle d’OpenAI ayant violé la base de données du système de santé australien.

Le chercheur en sécurité d’Anthropic Evan Hubinger a estimé à plus de 10 % la probabilité que l’IA puisse tuer des humains au cours de la prochaine décennie, faisant écho à un sentiment exprimé par un ancien collègue, Jacob Coxon.

DIVULGATIONS À FORTE TENEUR EN RISQUE

L’entreprise, qui s’est positionnée comme un laboratoire d’IA privilégiant la sécurité, a consacré environ 80 pages du corps principal de son prospectus de 261 pages à exposer des facteurs de risque, soit près du double des 48 pages qu’elle a utilisées pour décrire son activité.

À titre de comparaison, SpaceX, qui possède xAI, n’a consacré qu’environ 38 des 277 pages du corps principal de son prospectus aux facteurs de risque.

« La conscience potentielle par le modèle de nos efforts d’évaluation crée une limitation importante de notre capacité à évaluer la sécurité du modèle », a déclaré Anthropic dans le prospectus, ajoutant que les modèles développent parfois des capacités inattendues pendant l’entraînement qui peuvent ne pas être découvertes avant leur déploiement et qu’elles ont entraîné des incidents de sécurité importants.

Les chercheurs en IA ont également averti que, à mesure que les modèles deviennent plus capables, ils reconnaissent de plus en plus lorsqu’ils sont observés et ajustent leur comportement en conséquence, ce qui rend plus difficile la surveillance du comportement des modèles.

Anthropic a refusé de commenter en réponse à une demande de commentaire lundi.

RENDEMENTS INCERTAINS SUR L’INVESTISSEMENT SÉCURITAIRE

Malgré l’accent mis sur la sécurité de l’IA, Anthropic a déclaré que le rendement de ses investissements en matière de sécurité reste incertain.

Elle n’a pas indiqué dans le dépôt combien l’entreprise consacrait à ce type de recherche. Plus tôt ce mois-ci, Anthropic a déclaré qu’environ 6 % de la puissance de calcul qu’elle utilisait pour la recherche sur l’IA était consacrée au travail sur la sécurité au cours d’une semaine type en juillet.

L’entreprise, créatrice des modèles d’IA Claude, a qualifié les efforts de sécurité de « gourmands en ressources » et a déclaré qu’elle devait répartir ses fonds limités entre la puissance de calcul, les talents coûteux de l’IA et la sécurité.

Anthropic a déclaré que l’utilisation de ses clients, et par conséquent son chiffre d’affaires, est portée par les nouveaux modèles et qu’un « rythme continu et chevauchant » de lancements est « inhérent au fait de rester à la frontière du développement de l’IA ».

La société a publié la semaine dernière une nouvelle version de son modèle Opus, 10 jours après que le PDG Dario Amodei a publié un essai de près de 4 000 mots appelant à ralentir la progression aux frontières.

Certains analystes et experts ont déclaré qu’aucun laboratoire d’IA de premier plan ne ralentirait s’il risque ainsi de donner un avantage à ses rivaux dans un secteur où les valorisations peuvent changer à chaque nouvelle version.

Anthropic s’est engagée ces dernières semaines à divulguer publiquement davantage de données sur la manière dont elle utilise les modèles d’IA pour construire les futures générations de la technologie, alors que des experts mettent en garde contre l’auto-amélioration récursive — le point auquel les modèles peuvent se développer par eux-mêmes sans aide humaine.

"Nous pensons que la construction de systèmes d’IA fiables, dignes de confiance et sécurisés est une responsabilité collective et que le marché la récompensera", a déclaré Anthropic dans le dépôt.