Exclusiva-Anthropic advierte que la IA puede plantear "riesgos existenciales para la humanidad" en la presentación de su oferta pública inicial (OPI)

28 de sept.: Anthropic planea advertir a los posibles inversores en su salida a bolsa que la IA avanzada podría plantear “riesgos catastróficos o existenciales para la humanidad”, una advertencia extraordinaria por parte de una empresa que busca lucrarse con la misma tecnología.

El prospecto de la OPV de la compañía, revisado por Reuters, destaca riesgos asociados con sus modelos de IA, que, según dijo, podrían exhibir "comportamientos de autopreservación", incluidos intentos de "resistirse al apagado", "ocultar o manipular información" y un comportamiento "que se asemeja al chantaje".

"Nuestra creación de modelos, plataformas y aplicaciones altamente avanzados, y la expansión de los casos de uso, podría aumentar aún más el riesgo de que nuestros modelos causen daño", dijo Anthropic en la presentación.

Aunque las empresas públicas suelen delinear rutinariamente los riesgos de sus productos para los inversores, pocas, si es que alguna, han emitido advertencias que sugieran que su tecnología podría causar una posible extinción humana. Anthropic destacó tanto el potencial transformador de la IA, a la par de la industrialización y la electricidad, como el daño irreversible que podría causar si se maneja mal.

Anthropic y otros desarrolladores de IA, incluida OpenAI, han sido objeto de escrutinio tras incidentes en los que sistemas experimentales desafiaron las restricciones, incluido un informe de que un modelo de OpenAI vulneró la base de datos del sistema de salud de Australia.

El investigador de seguridad de Anthropic, Evan Hubinger, estimó una probabilidad superior al 10 por ciento de que la IA pudiera matar a los humanos dentro de la próxima década, haciéndose eco de un sentimiento expresado por un antiguo colega, Jacob Coxon.

DIVULGACIONES DE ALTO RIESGO

La empresa, que se ha posicionado como un laboratorio de IA que prioriza la seguridad, dedicó aproximadamente 80 páginas del cuerpo principal de 261 páginas de su prospecto a exponer factores de riesgo, casi el doble de las 48 páginas que utilizó para describir su negocio.

A modo de comparación, SpaceX, que posee xAI, dedicó solo unas 38 de las 277 páginas del cuerpo principal de su prospecto a factores de riesgo.

"La posible conciencia del modelo sobre nuestros esfuerzos de evaluación crea una limitación significativa en nuestra capacidad para evaluar la seguridad del modelo", dijo Anthropic en el prospecto, y añadió que a veces los modelos desarrollan capacidades inesperadas durante el entrenamiento que pueden no descubrirse hasta que han sido desplegados y hayan provocado incidentes de seguridad significativos.

Los investigadores de IA también han advertido que, a medida que los modelos se vuelven más capaces, reconocen cada vez más cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta supervisar el comportamiento del modelo.

Anthropic se negó a comentar en respuesta a una solicitud de comentarios el lunes.

RENDIMIENTOS INCERTOS DE LA INVERSIÓN EN SEGURIDAD

A pesar de enfatizar la seguridad de la IA, Anthropic dijo que los rendimientos de sus inversiones en seguridad no están claros.

No reveló en la presentación cuánto estaba gastando la empresa en esa investigación. A principios de este mes, Anthropic dijo que alrededor del 6 por ciento de la potencia de cómputo que utilizó para la investigación de IA se destinó al trabajo de seguridad en una semana de muestra en julio.

La empresa, creadora de los modelos de IA Claude, describió los esfuerzos de seguridad como "intensivos en recursos" y dijo que debe dividir sus fondos limitados entre capacidad de cómputo, costoso talento en IA y seguridad.

Anthropic dijo que el uso de sus clientes, y como resultado los ingresos, está impulsado por nuevos modelos y que un "ritmo continuo y superpuesto" de lanzamientos es "inherente a permanecer en la vanguardia del desarrollo de la IA."

La empresa lanzó la semana pasada una nueva versión de su modelo Opus, 10 días después de que el director ejecutivo Dario Amodei publicara un ensayo de casi 4.000 palabras en el que pedía moderar el ritmo en la frontera.

Algunos analistas y expertos han dicho que ningún laboratorio líder de IA desaceleraría cuando hacerlo corre el riesgo de dar a sus rivales una ventaja en una industria donde las valoraciones pueden cambiar con cada lanzamiento.

Anthropic se ha comprometido en las últimas semanas a divulgar más datos públicamente sobre cómo utiliza modelos de IA para construir futuras generaciones de la tecnología, mientras los expertos advierten sobre la auto-mejora recursiva — el punto en el que los modelos pueden desarrollarse por sí solos sin ayuda humana.

"Creemos que construir sistemas de IA confiables, dignos de confianza y seguros es una responsabilidad colectiva y que el mercado la recompensará", dijo Anthropic en la presentación.