Anthropic alerta de que su IA puede provocar "riesgos existenciales para la humanidad"

Actualizado hace 5 minutos

En medio del debate generado en torno a la necesidad de frenar o, al menos, ralentizar el desarrollo de la IA, Anthropic, creadora del modelo de inteligencia artificial Claude, ha advertido a potenciales inversores en el folleto sobre su prevista salida a bolsa de que su tecnología puede plantear "riesgos existenciales para la humanidad", informa este martes el 'Financial Times'.

La compañía estadounidense dedica una parte importante del documento a los riesgos asociados al desarrollo de modelos de IA cada vez más avanzados, entre ellos "la posibilidad de que manipulen, chantajeen o desarrollen comportamientos impredecibles", según el periódico.

El folleto fue distribuido entre un pequeño grupo de posibles inversores ante la próxima salida a bolsa, prevista para este otoño en el Nasdaq de Nueva York, de la empresa dirigida por Dario Amodei, cuyos inversores confían en que pueda alcanzar una valoración de más de 2 billones de dólares, de acuerdo con el diario.

El texto también informa de que Anthropic registró el año pasado unos ingresos de 4.600 millones de dólares, casi doce veces más que el ejercicio anterior, pero sufrió una pérdida operativa de más de 8.000 millones. Los gastos operativos ascendieron a casi 13.000 millones de dólares, debido en buena medida al coste de los recursos informáticos necesarios para entrenar y ejecutar sus modelos, según el 'Financial Times'.

Anthropic prevé además comprometer 518.000 millones de dólares en servicios de computación en la nube, capacidad informática e infraestructura durante los próximos años para sostener su expansión, se apunta en el folleto.

El periódico recuerda que los ingresos de la compañía han seguido aumentando con rapidez este año, con 11.500 millones de dólares en el segundo trimestre, aunque sus gastos también aumentan.

Además de los peligros existenciales, el folleto a inversores reconoce asimismo la concentración de clientes como uno de los riesgos para la empresa, dado que cerca de una cuarta parte de sus ingresos de 2025 procedió de solo dos de ellos, según las fuentes consultadas por el periódico.

Open AI reconoce problemas de seguridad

OpenAI no hará el lanzamiento de su nuevo modelo de inteligencia artificial (IA), GPT-6.1 Astra, previsto en los próximos días, por problemas de seguridad durante la fase de pruebas interna, según informó este lunes The Wall Street Journal.

Así lo indicó al diario el jefe de sistema de seguridad de la empresa, Saachi Jain, que señaló "retrocesos en dos áreas" respecto a la versión previa, como la "alineación" con lo que los humanos le ordenan hacer, y dijo que "mostró mayores niveles de engaño".

Otra área problemática fue la "autorización de alcance", es decir, que el modelo avanzaba en una tarea sin pedir permiso al usuario y, en ocasiones, recurría a herramientas y servicios externos incluso si ello podía resultar inseguro, sostuvo.

Jain destacó el reto de "encontrar el equilibrio adecuado entre mantenerse dentro del alcance, pero también evitar la falta de iniciativa en la manera en que el modelo lleva a cabo las tareas, incluso cuando encuentra obstáculos".

OpenAI se dispone mañana a celebrar su conferencia anual de desarrolladores, en la que suele presentar sus novedades, entre crecientes llamadas de los líderes del sector a frenar el ritmo de desarrollo de esta tecnología por sus riesgos para la seguridad.

La noticia se produce también tras varias incidencias de ciberseguridad de agentes de IA desarrollados por OpenAI, que ganaron acceso no autorizado a la plataforma Hugging Face e incluso a páginas del Gobierno de Estados Unidos y de una universidad.