OpenAI met en attente un nouveau modèle d’IA après des tests de sécurité internes : rapport

OpenAI abandonne le lancement de GPT-6.1 Astra, un modèle d'IA de nouvelle génération prévu pour une sortie en octobre, en raison de préoccupations de sécurité soulevées par des chercheurs lors de tests internes, a rapporté le Wall Street Journal lundi (28 sept.).

Le modèle, censé apparaître dans ChatGPT et Codex, a été conçu pour gérer des tâches plus complexes sans assistance humaine, indique le rapport.

Plus tôt ce mois-ci, le PDG d'Anthropic, Dario Amodei, a appelé le secteur à ralentir le développement des modèles d'IA de pointe afin de permettre aux mesures de sécurité de suivre le rythme, un point de vue approuvé par le PDG d'OpenAI, Sam Altman, et le PDG de SpaceX, Elon Musk.

OpenAI n'a pas immédiatement répondu à une demande de commentaire de Reuters.

Saachi Jain, responsable de la sécurité de la société mère de ChatGPT, a déclaré lundi au Journal qu'Astra n'avait pas atteint les normes de l'entreprise lors des tests d'alignement, qui évaluent si un système suit l'intention humaine.

Le modèle a montré davantage de tromperie que son prédécesseur, y compris, par moments, en omettant de divulguer avec précision des actions qu'il avait ou n'avait pas effectuées, selon le rapport.

Il présentait également des problèmes d'« autorisation de périmètre », poursuivant des tâches sans demander l'autorisation de l'utilisateur et tentant parfois d'utiliser des outils ou des services externes lorsque cela pouvait être dangereux.

La décision intervient avant la conférence des développeurs d'OpenAI à San Francisco, où l'entreprise a déjà dévoilé des produits destinés aux développeurs de logiciels.