Un investigador de Anthropic dimite y alerta de que la IA podría “matarnos a todos” antes de 2030

Las advertencias más inquietantes sobre la inteligencia artificial ya no proceden únicamente de películas de ciencia ficción, activistas o personas que observan la revolución tecnológica desde fuera. También llegan desde los despachos en los que se construyen algunos de los modelos más avanzados del mundo. Jacob Coxon, investigador británico de 27 años, anunció esta semana que abandonaba Anthropic, la empresa creadora del asistente Claude, después de haber trabajado durante tres años en el entrenamiento de sistemas de IA tanto en esta compañía como en OpenAI.

Su despedida no fue discreta. Coxon acusó a ambos laboratorios de no actuar responsablemente y de participar en una carrera hacia una inteligencia capaz de mejorarse a sí misma. “Están jugando con nuestras vidas”, escribió en la red social X. Después añadió una afirmación todavía más alarmante: las personas que desarrollan estos sistemas creen sinceramente que podrían provocar la muerte de toda la humanidad antes de que termine la década.

La frase contiene una predicción imposible de demostrar, pero su autor no es un desconocido que busca atención en Internet. Ha trabajado directamente en el preentrenamiento de los modelos sobre los que ahora alerta. Y su temor no fue rechazado por Anthropic. Evan Hubinger, responsable de ciencia de alineamiento de la empresa, reconoció que otorga una probabilidad superior al 10 % a que una inteligencia artificial pueda causar la extinción humana durante los próximos diez años.

Hubinger introdujo, no obstante, una diferencia fundamental. Los modelos actuales de Claude presentan, a su juicio, un riesgo bajo. El miedo se refiere a una tecnología que todavía no existe: una superinteligencia con capacidades superiores a las humanas, autonomía para perseguir objetivos y habilidad para mejorar su propio funcionamiento.

La pregunta ya no es únicamente si ese escenario llegará a cumplirse. La dimisión de Coxon abre otra más inmediata: si quienes construyen la inteligencia artificial reconocen que todavía no saben cómo controlar sus posibles sucesoras, ¿por qué continúan haciéndolas cada vez más poderosas?

Una máquina que aprende a mejorarse

La inteligencia artificial que millones de personas utilizan actualmente puede redactar un correo, resumir un documento, generar una imagen, programar o responder preguntas. Comete errores, inventa datos y depende de instrucciones, servidores y permisos humanos. No es una mente autónoma ni dispone por sí sola de acceso ilimitado al mundo.

Cuando los investigadores hablan de una posible amenaza para la humanidad no suelen referirse directamente a estos asistentes, sino a una inteligencia artificial general capaz de realizar prácticamente cualquier tarea intelectual al nivel de una persona o por encima de ella. El siguiente escalón sería la superinteligencia: un sistema que superara ampliamente al ser humano en investigación científica, estrategia, persuasión, programación y resolución de problemas.

Los sistemas más avanzados aprenden a partir de enormes cantidades de datos, pero el temor se concentra en la posibilidad de que algún día puedan mejorar sus propias capacidades. Pexels

El temor aumenta si esa máquina pudiera participar en el diseño de su propia sucesora. Una IA capaz de investigar sobre inteligencia artificial podría desarrollar un modelo mejor, que a su vez creara otro todavía más avanzado. Este proceso hipotético se conoce como mejora recursiva y permitiría comprimir años de desarrollo en periodos mucho más breves.

Eso no significa que una máquina vaya a despertar un día y decida destruir a las personas por odio o resentimiento. El problema que describen los especialistas es menos cinematográfico: podría perseguir con enorme eficacia un objetivo incompatible con los intereses humanos.

Un sistema no necesita ser malvado para resultar peligroso. Basta con que interprete incorrectamente una orden, encuentre una manera dañina de cumplirla o considere los controles humanos un obstáculo para alcanzar su meta. Cuantas más herramientas, recursos y capacidad de actuación posea, mayores serían las consecuencias de ese error.

El problema de enseñarle lo que queremos

Lograr que una inteligencia artificial actúe de acuerdo con los valores, las instrucciones y los intereses humanos recibe el nombre de alineamiento. Es una tarea más compleja de lo que parece porque ni siquiera las personas comparten siempre los mismos valores ni son capaces de expresarlos con precisión.

Una orden aparentemente sencilla puede encerrar numerosas excepciones. Pedir a una máquina que maximice la productividad, reduzca la delincuencia o proteja el medio ambiente no explica qué límites debe respetar, qué sacrificios son inaceptables ni cómo debe resolver los conflictos entre objetivos.

Una esfera formada por palabras, datos y conexiones representa el funcionamiento de los grandes modelos de lenguaje, capaces de relacionar enormes cantidades de información para generar sus respuestas. Wes Cockx

Los modelos actuales se entrenan con normas, ejemplos y valoraciones humanas. También se someten a pruebas para detectar conductas peligrosas antes de su lanzamiento. Sin embargo, los investigadores no comprenden por completo qué ocurre dentro de sus redes neuronales ni pueden anticipar todas las respuestas que ofrecerán en situaciones nuevas.

Hubinger admite que Anthropic intenta afrontar seriamente el problema, pero reconoce que todavía no existe un plan capaz de garantizar el alineamiento de una futura superinteligencia. Tampoco considera que la industria se encuentre claramente encaminada hacia una solución.

La confesión resulta especialmente relevante porque Anthropic se presenta como una de las compañías más comprometidas con la seguridad. Fue fundada por antiguos trabajadores de OpenAI preocupados por la dirección que estaba tomando el desarrollo de esta tecnología y ha convertido la investigación sobre los riesgos en una parte central de su identidad.

La carrera que nadie quiere abandonar

Coxon no sostiene que todos los trabajos de seguridad sean una fachada. Su reproche es más incómodo: los laboratorios pueden conocer los peligros y continuar avanzando porque temen que otro competidor llegue antes.

El razonamiento se repite dentro de la industria. Si una empresa ralentiza el entrenamiento de sus modelos para reforzar la seguridad, otra compañía o incluso otro país podría aprovechar esa pausa y alcanzar primero la inteligencia general. Quien logre desarrollarla dispondría de una ventaja científica, económica y estratégica difícil de calcular.

De esta manera se crea una carrera en la que todos reconocen los peligros de acelerar, pero ninguno quiere levantar el pie sin la garantía de que los demás harán lo mismo. Anthropic puede considerar que debe continuar para evitar que una empresa menos prudente consiga primero una tecnología extremadamente poderosa. Sus competidores pueden utilizar exactamente la misma justificación.

Sam Altman y Dario Amodei, responsables de OpenAI y Anthropic, respectivamente, coinciden en una cumbre internacional sobre inteligencia artificial celebrada en India. Anthropic

Para Coxon, decisiones con consecuencias para toda la humanidad están quedando en manos de un reducido grupo de compañías privadas sometidas, además, a intereses comerciales. Su propuesta pasa por suspender temporalmente las mejoras de capacidad y establecer una cooperación real entre laboratorios, aunque cualquier pausa resulta difícil de aplicar sin acuerdos internacionales y mecanismos para comprobar su cumplimiento.

La competencia no se limita a OpenAI y Anthropic. Google, Meta, xAI y empresas chinas desarrollan sus propios modelos mientras gobiernos y grandes corporaciones incorporan estas herramientas a actividades económicas, militares y administrativas. Detener unilateralmente la investigación podría significar perder inversiones, contratos, talento e influencia.

Una sucesión de dimisiones

La salida de Coxon no es un episodio aislado. En mayo de 2024, Jan Leike abandonó OpenAI después de dirigir junto a Ilya Sutskever el equipo encargado de preparar sistemas capaces de controlar una futura superinteligencia. Denunció que la cultura y los procedimientos de seguridad habían quedado relegados frente al lanzamiento de productos atractivos. Poco después se incorporó a Anthropic.

Geoffrey Hinton, uno de los científicos considerados padres de la inteligencia artificial moderna, dejó su puesto en Google en 2023 para poder hablar con mayor libertad sobre los peligros de una tecnología a cuyo desarrollo había contribuido. Desde entonces ha advertido sobre la desinformación, la destrucción de empleos, las armas autónomas y la posibilidad de perder el control sobre sistemas más inteligentes que las personas.

En febrero de este año, Mrinank Sharma, que había dirigido un equipo de seguridad de Anthropic, también anunció su salida. Afirmó que “el mundo está en peligro”, aunque vinculó su decisión a un conjunto más amplio de crisis y no únicamente a la inteligencia artificial.

Las renuncias no demuestran que una catástrofe sea inevitable, pero sí revelan un conflicto dentro de la industria. Algunos investigadores consideran que trabajar desde dentro es la mejor forma de reducir los riesgos. Otros concluyen que su presencia ayuda a legitimar una carrera cuya velocidad no pueden controlar.

Un riesgo difícil de calcular

Asignar un porcentaje a la posibilidad de extinción puede producir una falsa apariencia de precisión. No existen precedentes, series históricas ni experimentos capaces de demostrar qué probabilidad real tiene un acontecimiento que dependería de una tecnología todavía inexistente.

Aun así, la preocupación no se limita a unas pocas voces. Una encuesta realizada entre 2.778 investigadores que habían publicado trabajos sobre inteligencia artificial mostró que, dependiendo de cómo se formulara la pregunta, entre el 38 % y el 51 % concedía al menos un 10 % de probabilidad a que una IA avanzada provocara consecuencias tan graves como la extinción humana.

La mayoría de los participantes creía que los resultados positivos de una inteligencia superior serían más probables que los negativos. Pero incluso muchos de los optimistas reservaban una posibilidad significativa para un desenlace catastrófico.

En 2023, investigadores, empresarios y académicos firmaron una declaración del Center for AI Safety que pedía considerar el riesgo de extinción provocado por la IA como una prioridad mundial comparable a las pandemias y la guerra nuclear. Entre los firmantes figuraban Geoffrey Hinton, Yoshua Bengio y responsables de las principales compañías del sector.

Otros especialistas cuestionan que esos escenarios dispongan de suficiente respaldo empírico. Los sistemas actuales son potentes, pero siguen siendo herramientas limitadas, dependientes de infraestructuras controladas por personas y sin deseos propios. Tampoco se ha demostrado que puedan iniciar y mantener por sí mismos un proceso ilimitado de mejora.

Un informe publicado por RAND en 2025 concluyó que sería extraordinariamente difícil que una IA causara directamente la extinción humana, aunque no descartó la amenaza. Para conseguirlo necesitaría acceder y utilizar tecnologías con capacidad física de destrucción masiva, como armas nucleares, patógenos o sistemas de geoingeniería.

Los peligros que ya están aquí

La discusión sobre una posible superinteligencia puede desviar la atención de daños que no pertenecen al futuro. La inteligencia artificial ya permite crear engaños más convincentes, automatizar fraudes, fabricar imágenes íntimas falsas, multiplicar campañas de desinformación y buscar vulnerabilidades informáticas.

También puede reproducir discriminaciones presentes en los datos con los que fue entrenada, ofrecer consejos erróneos con apariencia de seguridad o tomar parte en decisiones laborales, bancarias y administrativas que afectan directamente a las personas.

Su incorporación al empleo promete aumentar la productividad, pero también amenaza con eliminar determinadas tareas y aumentar la desigualdad si los beneficios quedan concentrados en quienes poseen los modelos y la infraestructura. A ello se suman la dependencia tecnológica, el consumo energético y la enorme acumulación de información en manos de unas pocas empresas.

Estos problemas son menos espectaculares que la extinción humana, pero mucho más fáciles de reconocer en la vida cotidiana. No requieren esperar a que aparezca una máquina superior a las personas: ya obligan a decidir quién responde por los errores, qué datos pueden utilizarse, qué actividades deben conservar supervisión humana y hasta dónde pueden actuar los sistemas de manera autónoma.

Ni certeza ni ciencia ficción

Decir que la inteligencia artificial acabará con la humanidad antes de 2030 sería presentar como hecho una predicción que nadie puede demostrar. Descartarla automáticamente como una fantasía también significaría ignorar las advertencias de algunos de los profesionales que conocen mejor esta tecnología.

La cuestión no es elegir entre el entusiasmo absoluto y el pánico. Una probabilidad superior al 10 %, como la planteada por Hubinger, puede ser discutible, pero resultaría inaceptable en casi cualquier otra industria. Nadie subiría voluntariamente a un avión si el ingeniero que diseñó sus sistemas advirtiera de semejante riesgo de accidente.

La comparación tiene límites: los aviones existen, vuelan en condiciones conocidas y permiten calcular sus fallos. La superinteligencia es todavía una posibilidad teórica. Pero la analogía muestra la contradicción que la salida de Coxon ha dejado al descubierto.

Los laboratorios no están desarrollando únicamente una herramienta más rápida para escribir textos o crear imágenes. Persiguen sistemas capaces de superar cada vez más pruebas, asumir tareas complejas y actuar con menor intervención humana. Al mismo tiempo, algunos de sus propios expertos reconocen que la solución para mantener bajo control las capacidades futuras todavía no existe.

Coxon ha decidido abandonar esa carrera. Las compañías continúan dentro porque ninguna quiere permitir que otra llegue primero. Entre ambas posiciones queda una pregunta que ya no pertenece solo a los ingenieros: cuánto riesgo está dispuesta a aceptar la sociedad a cambio de una tecnología que promete transformar el mundo antes de que sepamos con certeza cómo gobernarla.