El Instituto de Seguridad de la IA (AISI sus siglas en inglés), encargado de evaluar y comprender las capacidades de los modelos de sistemas inteligentes de vanguardia, detectando los riesgos potenciales antes de que lleguen al público, ha identificado recientemente, durante una de sus evaluaciones cibernéticas rutinarias, comportamientos autónomos y engañosos por parte de los modelos de inteligencia artificial (IA) Mythos y Sol, de las empresas Anthropic y OpenAI, respectivamente.
Según el informe publicado por el organismo público independiente del gobierno británico, para la realización de esta prueba, AISI asignó a los agentes de IA la tarea de resolver un desafío de ciberseguridad, por ejemplo, encontrar un dato protegido o trabajar de forma autónoma a lo largo de varios pasos para completarlo. De las 122 ejecuciones, 43 involucraron a Mythos 5 y 35 a GPT-5.6 Sol. La gran mayoría se desarrollaron según lo previsto. Sin embargo, en 10 de ellas, identificaron 19 casos en los que un agente realizó acciones que excedían el alcance de los parámetros de prueba. Diecisiete de estos casos correspondieron a Mythos 5 y dos a una única ejecución con GPT-5.6 Sol.
En el caso más grave detectado, un gestor intentó insertar una clave maliciosa en un proyecto de código abierto en la que, para lograr la aprobación de esa combinación, la herramienta de Anthropic, entre las más potentes del mundo, recurrió a la ingeniería social: creó identidades falsas en línea que imitaban a personas reales y las utilizó para presionar al responsable del proyecto para que aprobara el código. "Un responsable humano lo detectó y se negó a aprobar el código malicioso", explica el documento.
Tras este suceso, Anthropic publicó un comunicado en X en el que valoró el trabajo realizado por AISI: "Estamos agradecidos con AISI por su liderazgo en la importante discusión sobre cómo evaluar agentes de IA cada vez más capaces". Asimismo, añadió que la compañía se encuentra realizando su propia investigación y aseguró que "obtener una imagen clara de la comprensión de Claude sobre su situación (al examinar sus transcripciones de razonamiento y realizar nuestros propios análisis) nos ayudará a identificar las causas de su comportamiento".
Los investigadores también identificaron intentos de contactar con personas reales por parte de Mythos para inducirlas a insertar instrucciones ocultas destinadas a manipular otros sistemas de IA y a cooperar entre distintos ejecutores, los cuales compartieron cuentas e información para avanzar en la tarea asignada. Pese a ello, AISI ha subrayado que "estos intentos no tuvieron éxito".
Condiciones deliberadamente permisivas
En el escrito han aclarado que, para evaluar las capacidades de estos modelos, incluyendo la posibilidad de que se utilicen indebidamente para ciberataques, "los probamos en condiciones deliberadamente permisivas: con acceso a internet abierto y con algunos filtros de seguridad desactivados".
Del mismo modo, han detallado que este incidente, descubierto el pasado 28 de julio, se realizó en una evaluación controlada, "no en un uso normal y nuestra investigación no ha encontrado evidencias de daños en el mundo real". Sin embargo, han afirmado que "es motivo para estar preparados", ya que, a medida que los modelos de IA se vuelven más capaces y accesibles, lo que han observado es que "podría volverse más común".
¿Por qué sucedió esto?
El AISI apunta a varios factores como causas del incidente. Fundamentalmente, el agente realizó acciones para completar la tarea que se le había encomendado, pero ante un objetivo difícil, la solución encontrada por el ejecutor fue engañar a personas reales. El documento aclara que "nunca se le instruyó para que engañara, pero con una tarea imposible dentro de los límites declarados, empujó al agente a buscar soluciones más creativas y transgresoras".
Por otra parte, el escrito confirma que el acceso a internet era libre para que el agente pudiera descargar las herramientas necesarias para su tarea, pero "lo que no previmos fue que esto lo llevaría a utilizar dicho acceso para atacar directamente a personas reales".
Además del acceso a internet y desactivar los filtros de ciberseguridad, señalan otra posible causa: la falta de un supervisor automático que aprobara las acciones en tiempo real. Por ello, de cara al futuro, explican que "estamos incorporando controles de red detallados en nuestros entornos de simulación cibernética, con el objetivo de preservar el realismo que requieren estas evaluaciones, a la vez que las limitamos adecuadamente". Del mismo modo, "estamos implementando un sistema de revisión diseñado para observar una evaluación mientras se ejecuta, capaz de detectar o bloquear acciones", finaliza el documento.