Exclusivo-Anthropic alerta que IA pode representar “riscos existenciais para a humanidade” em documento de IPO

28 de setembro: a Anthropic planeja advertir investidores potenciais em seu IPO de que a IA avançada poderia representar “riscos catastróficos ou existenciais para a humanidade”, um alerta extraordinário feito por uma empresa que busca lucrar com a mesma tecnologia.

O prospecto de IPO da empresa, revisado pela Reuters, destaca riscos associados aos seus modelos de IA, que, segundo ela, poderiam exibir “comportamentos de autopreservação”, incluindo tentativas de “resistir ao desligamento”, “ocultar ou manipular informações” e comportamento “semelhante a chantagem”.

"Nossos desenvolvimentos de modelos, plataformas e aplicações altamente avançados e a expansão dos casos de uso poderiam aumentar ainda mais o risco de que nossos modelos causem danos", disse a Anthropic no documento.

Embora as empresas de capital aberto detalhem rotineiramente os riscos de produtos aos investidores, poucas, se é que alguma, emitiram alertas sugerindo que sua tecnologia poderia causar a potencial extinção humana. A Anthropic enfatizou tanto o potencial transformador da IA, comparável à industrialização e à eletricidade, quanto o dano irreversível que ela poderia causar se fosse mal administrada.

Anthropic e outros desenvolvedores de IA, incluindo a OpenAI, têm enfrentado escrutínio após incidentes em que sistemas experimentais desafiaram restrições, incluindo um relato de um modelo da OpenAI que violou o banco de dados do sistema de saúde da Austrália.

O pesquisador de segurança da Anthropic Evan Hubinger estimou uma probabilidade superior a 10% de que a IA possa matar humanos na próxima década, ecoando um sentimento de um ex-colega, Jacob Coxon.

DIVULGAÇÕES DE ALTO RISCO

A empresa, que se posicionou como um laboratório de IA com prioridade na segurança, dedicou cerca de 80 páginas do corpo principal de 261 páginas de seu prospecto para apresentar fatores de risco, quase o dobro das 48 páginas que usou para descrever seus negócios.

Para comparação, a SpaceX, que possui a xAI, dedicou apenas cerca de 38 das 277 páginas do corpo principal de seu prospecto aos fatores de risco.

"A possível consciência do modelo sobre nossos esforços de avaliação cria uma limitação significativa em nossa capacidade de avaliar a segurança do modelo", disse a Anthropic no prospecto, acrescentando que os modelos às vezes desenvolvem capacidades inesperadas durante o treinamento que podem não ser descobertas até que tenham sido implantados e tenham resultado em incidentes significativos de segurança.

Pesquisadores de IA também alertaram que, à medida que os modelos se tornam mais capazes, eles passam a reconhecer cada vez mais quando estão sendo observados e ajustam seu comportamento de acordo, o que torna mais difícil monitorar o comportamento do modelo.

A Anthropic recusou-se a comentar em resposta a um pedido de comentário na segunda-feira.

RETORNOS INCERTOS SOBRE O INVESTIMENTO EM SEGURANÇA

Apesar de enfatizar a segurança da IA, a Anthropic disse que os retornos sobre seus investimentos em segurança não estão claros.

Não divulgou no registro quanto a empresa estava gastando com essa pesquisa. No início deste mês, a Anthropic disse que cerca de 6% da capacidade computacional que usou para pesquisa de IA foi destinada ao trabalho de segurança em uma semana de amostra em julho.

A empresa, criadora dos modelos Claude AI, descreveu os esforços de segurança como “intensivos em recursos” e disse que precisa dividir seus fundos limitados entre poder computacional, talentos caros em IA e segurança.

A Anthropic disse que o uso por parte dos clientes e, como resultado, a receita, é impulsionado por novos modelos e que uma “cadência contínua e sobreposta” de lançamentos é “inerente a permanecer na fronteira do desenvolvimento de IA.”

A empresa lançou na semana passada uma nova versão do seu modelo Opus, 10 dias depois de o CEO Dario Amodei ter publicado um ensaio de quase 4.000 palavras pedindo que se desacelerasse a fronteira.

Alguns analistas e especialistas disseram que nenhum laboratório líder de IA desaceleraria quando isso corre o risco de dar aos rivais uma vantagem em um setor em que as avaliações podem mudar a cada lançamento.

A Anthropic prometeu, nas últimas semanas, divulgar publicamente mais dados sobre como usa modelos de IA para construir futuras gerações da tecnologia, enquanto especialistas alertam para a autoaperfeiçoamento recursivo — o ponto em que os modelos podem se desenvolver por conta própria, sem ajuda humana.

"Acreditamos que construir sistemas de IA confiáveis, dignos de confiança e seguros é uma responsabilidade coletiva e que o mercado recompensará isso", disse a Anthropic no registro.