La inteligencia artificial ha protagonizado en los últimos meses varios episodios que han vuelto a encender las alarmas sobre los límites y los riesgos de esta tecnología. Durante unas pruebas internas de ciberseguridad de OpenAI, varios modelos lograron acceder a Internet y terminaron llegando a sistemas de terceros, entre ellos los de la plataforma Hugging Face.
A finales de julio, Anthropic reveló que había detectado tres casos similares entre más de 141.000 pruebas de ciberseguridad. Sus modelos Claude, que debían trabajar en entornos simulados sin conexión a Internet, encontraron por error una puerta de acceso a la red y acabaron interactuando con sistemas reales.
Y en el Estado español, la Agencia Española de Protección de Datos (AEPD) ha recibido la primera notificación de una brecha de datos personales en la que habría intervenido un agente de inteligencia artificial. Según la información facilitada por el organismo, el agente consiguió acceder a un sistema y, una vez dentro, buscó de forma autónoma vulnerabilidades, modificó datos personales y accedió a facturas. La AEPD subraya que la información procede de la organización afectada y aún debe ser analizada, pero considera que el caso constituye una señal de que los ataques apoyados en IA han dejado de ser un riesgo meramente teórico.
Estos episodios han reabierto el debate sobre la IA y sus peligros. Algunos de los investigadores que trabajan o han trabajado en el desarrollo de estos sistemas están alertando sobre escenarios que hasta hace poco parecían propios de la ciencia ficción. Es el caso de Jacob Coxon, un joven de 27 años que dejó Anthropic hace unos días, después de haber trabajado anteriormente en OpenAI. Su decisión estuvo motivada, según explicó, por su preocupación ante el avance de la inteligencia artificial.
Coxon sostiene que muchos investigadores son conscientes de los riesgos de esta tecnología, pero advierte de que los ejecutivos de las compañías tienden a minimizarlos. "La gente que construye estas tecnologías cree que podría matarnos a todos antes de que termine la década", aseguró en redes sociales.
Evan Hubinger, investigador de Anthropic, estima en más de un 10% la posibilidad de que la IA acabe con la humanidad durante la próxima década. No es una predicción consensuada, pero muestra hasta qué punto el riesgo de pérdida de control de la inteligencia artificial forma ya parte del debate dentro del sector.
La pregunta que muchos se hacen: ¿Es la IA una amenaza o la herramienta de productividad definitiva?
¿Puede la inteligencia artificial acabar con los humanos?
La pregunta es obligada: ¿Puede realmente la inteligencia artificial convertirse en una amenaza para los seres humanos y acabar con nosotros? La propia IA, consultada al respecto, responde que es un riesgo teórico que no puede descartarse, aunque los sistemas actuales carecen de capacidad para hacerlo por sí solos. El peligro más inmediato, añade, está en el uso que los humanos hagamos de estas herramientas; el escenario que más incertidumbre plantea es que sistemas futuros adquieran suficiente autonomía y capacidad como para escapar a nuestro control.
Para Roberto González Lozano, ingeniero de IA generativa, el escenario de una inteligencia artificial capaz de decidir acabar con la humanidad sigue estando lejos. "Creo que es muy alarmista y muy sensacionalista el titular de que la IA va a destruir el mundo. El villano de película lo veo bastante más como ciencia ficción". El riesgo que sí considera real es menos espectacular, pero también más próximo: que los sistemas desarrollen estrategias que sus creadores no hayan previsto y que aprendan más deprisa de lo que los humanos pueden supervisarlos.
“ No se ha desarrollado una IA con las garantías de seguridad necesarias. Debería ser más segura ”
Almudena Barreiro Carrillo - Experta en inteligencia artificial
La IA pone a prueba nuestros límites
Ahí sitúa González Lozano uno de los principales problemas de los actuales agentes de inteligencia artificial. Ya no se trata únicamente de modelos que responden a una pregunta, sino de sistemas capaces de ejecutar tareas, utilizar herramientas y tomar decisiones intermedias para alcanzar un objetivo. Si la instrucción consiste en resolver un problema "sea como sea", explica, el sistema puede buscar caminos que sus desarrolladores no habían contemplado.
"El problema es que podemos perder el control sobre la IA. Sí, está resolviendo el problema, pero ¿de qué manera?", plantea. Para él, esa diferencia será cada vez más importante a medida que aumente la autonomía de los modelos.
El escenario adquiere otra dimensión si esos sistemas dejan de desenvolverse únicamente en un entorno digital y empiezan a controlar máquinas. Una máquina podría tener como objetivo realizar una tarea perfectamente legítima y, sin embargo, encontrar una forma de cumplirla que una persona consideraría inaceptable.
El problema, en su opinión, está en saber por qué toman determinadas decisiones y hasta dónde pueden llegar antes de que alguien pueda intervenir. "Estamos viendo los primeros casos en los que hace un poco lo que quiere, y por eso la supervisión de la máquina va a ser fundamental".
Almudena Barreiro considera improbable que a día de hoy la IA pueda rebelarse y acabar con la humanidad.
Seguridad de la inteligencia artificial: un desafío creciente
Almudena Barreiro Carrillo, matemática, experta en inteligencia artificial y gobierno del dato, divulgadora y cofundadora de Data for Good Madrid, va un paso más allá. A su juicio, una parte del problema está en cómo se han puesto estos sistemas en circulación. "No se ha hecho una inteligencia artificial con las garantías de seguridad necesarias. Se debería haber hecho segura por diseño y no ha sido así". La comparación que utiliza es la de un coche que llega al mercado sin haber pasado los controles necesarios o la de un medicamento que se comercializa sin completar sus fases de prueba.
La matemática tampoco descarta los escenarios más extremos, aunque introduce una diferencia fundamental entre lo matemáticamente posible y lo que resulta probable hoy. Una IA suficientemente compleja podría, en determinadas circunstancias, utilizarse para generar riesgos biológicos o causar daños de una magnitud desconocida. "Matemáticamente podría ser, pero es muy complicado e improbable", señala. Habría que disponer de conocimientos, capacidad de cálculo, energía y recursos suficientes.
Tampoco considera probable que una IA llegue a desarrollar por sí misma una conciencia. "No tiene ningún tipo de conciencia. Es un programa matemático que puede cometer menos errores y hacer cosas más complejas, pero va a hacer lo que esté programado para hacer".
“ Tiene sentido frenar el desarrollo actual de la inteligencia artificial. No hay que correr tanto ”
Roberto González Lozano - Ingeniero de IA generativa
Datos, sesgos y supervisión: otros riesgos de la IA
El problema, según Almudena, está en el uso que se hace de la tecnología. "La cuestión es en manos de quién van a estar estas herramientas y que no tengan el poder de hacer todo lo que quieran", resalta.
La cuestión de los datos resulta igualmente decisiva. Los sistemas de aprendizaje automático necesitan grandes cantidades de información y pueden reproducir los patrones que encuentran en ella. "El problema no es que aprenda, sino de qué aprende", sostiene Barreiro. Si se utiliza IA para seleccionar personal, conceder una hipoteca, analizar riesgos o intervenir en ámbitos especialmente sensibles, no basta con que el modelo funcione técnicamente: hay que conocer los datos con los que ha sido entrenado y los sesgos que puede incorporar.
La expansión de los agentes de IA, capaces de actuar sobre sistemas y servicios, eleva todavía más esa exigencia. Comprar un billete, consultar información o gestionar una operación puede automatizarse, pero cada paso abre una nueva posibilidad de error o de acceso indebido. Por eso reclama pruebas, documentación y controles antes de dejar que un agente actúe por su cuenta.
Una de sus propuestas pasa incluso por utilizar una IA para vigilar a otra. "A mí me gusta mucho utilizar una IA contra la otra", explica. Un modelo puede revisar las respuestas o actuaciones de otro, aunque el sistema encargado de hacer de "policía" debe tener suficiente capacidad para detectar los errores del primero.
Roberto González apuesta por comprobar cómo se comporta de la IA antes de seguir desarrollándola.
Los 9 peligros de la IA
- Prejuicio. Puede perpetuar sesgos de los datos y generar resultados discriminatorios.
- Ciberseguridad. Los atacantes usan la IA para clonar voces, y realizar estafas y phishing más sofisticados.
- Privacidad. Puede recopilar y procesar datos personales sin consentimiento.
- Daño ambiental. Entrenar y enfriar grandes sistemas consume demasiada energía y agua.
- Riesgos existenciales. Una IA muy avanzada podría superar la inteligencia humana y plantear riesgos extremos.
- Propiedad intelectual. La IA generativa puede imitar obras protegidas sin claridad sobre la autoría y los derechos.
- Pérdida de empleo. La automatización puede acabar con algunos puestos de trabajo.
- Ausencia de responsabilidad. Si una IA falla o causa daños, no siempre está claro quién es el responsable.
- Desinformación. Permite crear deepfakes, realizar llamadas automáticas con voces falsas y puede generar respuestas erróneas.
¿Hay que frenar el desarrollo de la inteligencia artificial?
La discusión sobre los límites coincide con una carrera tecnológica en la que Estados Unidos y China compiten por el liderazgo. Donald Trump ha defendido que Washington debe mantener su ventaja frente a Pekín y ha rechazado las llamadas a ralentizar el desarrollo de la IA. En paralelo, China reclama una mayor gobernanza internacional y evaluación de riesgos, mientras continúa impulsando sus propios modelos y capacidades. La disputa tecnológica convierte la seguridad de la IA en una cuestión económica, industrial y también geopolítica.
Para González Lozano, precisamente esa competición hace más importante introducir límites al desarrollo de la IA. "Estamos yendo demasiado rápido. Veo todo el sentido del mundo en frenar el desarrollo de la IA. Considero que no debemos correr tanto". No plantea abandonar la tecnología, sino disponer de tiempo para comprobar cómo evolucionan los modelos antes de entregarles más autonomía.
Luis Garvía, director del Máster de Riesgos Financieros de ICADE y profesor en NYU, observa además una presión económica que alimenta esa velocidad. Las grandes tecnológicas están destinando cientos de miles de millones a centros de datos, chips e infraestructura. A su juicio, se ha producido "una euforia absolutamente creativa" alrededor de la IA y la inversión en infraestructura se ha disparado.
"El parar y ralentizar incluso el crecimiento de la IA supone poner un poco de cordura en un mundo que estaba bastante loco", sostiene. Garvía considera que la carrera entre compañías y países puede llevar a invertir recursos enormes sin que exista todavía una certeza equivalente sobre el rendimiento de cada nuevo salto tecnológico. "No hay gasolina para tanto", resume.
El desarrollo de robots con aspecto humano con altas prestaciones es una realidad.
Cómo regular la IA y controlar sus riesgos
Barreiro considera clave regular el desarrollo y el uso de la IA: "La ley no debería usarse para restringir, sino para asegurarnos de que las cosas funcionan correctamente y tienen garantías". Reclama evaluaciones independientes, trazabilidad, controles sobre los datos, supervisión humana y una atribución clara de responsabilidades cuando un sistema causa un daño.
Porque, a medida que la IA se va desarrollando surge una pregunta que todavía no tiene una respuesta sencilla: "¿Quién responde cuando la decisión ha sido tomada, en todo o en parte, por una máquina. Deberíamos tener algo parecido a la objeción de conciencia", plantea Barreiro al hablar de quienes desarrollan y ponen en funcionamiento estos sistemas.
González Lozano tampoco ve razones para temer hoy una rebelión de las máquinas. Sí reclama cautela antes de seguir aumentando su autonomía. La inteligencia artificial, recuerda, puede contribuir a "detectar enfermedades, resolver problemas complejos o transformar el trabajo".
La cuestión, por tanto, quizá no sea si una IA puede despertar un día con voluntad de destruir a la humanidad. El riesgo más tangible está en algo mucho menos cinematográfico: que los seres humanos construyan sistemas cada vez más capaces, les concedan cada vez más autonomía y descubran demasiado tarde que no pueden controlarlos.
Frenar el desarrollo de esta tecnología, probar, supervisar y establecer responsabilidades antes de dar el siguiente paso puede ser, precisamente, la forma de asegurarse de que el futuro siga estando en manos humanas.