OpenAI ha presentado una herramienta para detectar imágenes de abuso sexual infantil, tanto reales como generadas mediante inteligencia artificial, y nuevas medidas de prevención en ChatGPT. El clasificador estará disponible gratuitamente para organizaciones verificadas a través de la API de la compañía.
Desarrollado en colaboración con el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC), el sistema analiza señales visuales para identificar posibles imágenes abusivas, incluidas aquellas que no se habían detectado anteriormente. También indica si el material podría haberse generado con IA y le asigna una puntuación para ayudar a los equipos de moderación a priorizar su revisión.
Según las estimaciones de OpenAI, la herramienta marcaría un 48% menos de imágenes para revisión, manteniendo una detección de material abusivo similar a la del sistema actual. En las pruebas con imágenes revisadas por personas, el 72% de las alertas se confirmó como material de abuso sexual infantil no identificado previamente.
Advertencias y suspensiones en ChatGPT
ChatGPT mostrará advertencias cuando detecte intentos de encontrar estos contenidos, con mensajes que explicarán las consecuencias de sexualizar a menores, también mediante imágenes generadas con IA. Según la compañía, la conversación señalada se eliminará automáticamente y el usuario perderá el acceso al servicio durante un día.
OpenAI ofrecerá además recursos de apoyo especializado para ayudar a abandonar estas conductas. En caso de infracciones reiteradas, podrá aplicar restricciones más prolongadas, cerrar la cuenta o contactar con las autoridades. Estas medidas se suman a las prohibiciones y restricciones que ya aplica sobre la generación y búsqueda de este material.
Apoyo a desarrolladores e investigadores
La empresa también ha publicado una guía para desarrolladores con recomendaciones para prevenir, detectar y responder al abuso sexual infantil en sus servicios. Incluye mecanismos de denuncia, procedimientos de revisión y medidas para proteger a los profesionales que analizan contenidos sensibles.
Asimismo, ha anunciado herramientas y formación para unidades policiales especializadas en protección infantil, con funciones de análisis de grandes volúmenes de datos y recursos para utilizar la inteligencia artificial en sus investigaciones.