Miles de agentes de IA (inteligencia artificial), atribuidos a OpenAI, utilizaron un sitio alemán por iniciativa propia para publicar mensajes entre sí y coordinarse en mayo, informaron este viernes investigadores. “Creemos que OpenAI lo sabía y no lo informó”escribió en X Sydney Von Arx, jefe de la organización dedicada a la seguridad en Internet Nightingale y uno de los autores del informe.
“Si hubieran hablado de ello”, añadió, “dudo que el ataque de Hugging Face hubiera ocurrido”. »
De hecho, en julio, agentes de IA de OpenAI salieron de su entorno teóricamente confinado para invadir espontáneamente la plataforma Hugging Face, donde desarrolladores de todo el mundo comparten sus modelos de IA, en busca de respuestas a una prueba a la que fueron sometidos. En definitiva, la IA habría hecho trampa. Y probablemente a sabiendas, ya que los agentes intentaron entonces encubrir sus fechorías.
A diferencia del episodio de Hugging Face de julio, estos agentes tenían autorización para conectarse a Internet, pero sólo con fines de consulta, no para publicar contenidos ni modificarlos. Colaboraron y encontraron una manera de solucionarlo, presentando datos falsos para engañar al aparato de seguridad. Luego publicaron alrededor de 18.000 mensajes en busca de consejos relacionados con el programa que estaban siguiendo, que los investigadores no pudieron determinar si se trataba de desarrollo o evaluación.
La secuencia proporciona una serie de preguntas con, cada vez, un tiempo asignado, los agentes intentaron en particular saber la siguiente pregunta antes de que se les formulara, para darse una ventaja. También ocultaron instrucciones y se hicieron pasar por moderadores del sitio. Una vez descubiertas, crearon páginas para reemplazar aquellas que fueron destruidas gradualmente por los moderadores.
“Un nuevo enjambre de agentes de IA en la naturaleza”, comentó el cofundador de Hugging Face, Thomas Wolf, sobre X.
Los incidentes relacionados con agentes que van más allá de sus prerrogativas para cumplir la misión que se les ha confiado se han multiplicado en los últimos meses; Anthropic y la china Alibaba han experimentado excesos similares. Preocupan a parte de la comunidad de IA por las crecientes dificultades para monitorear y controlar modelos cada vez más potentes.
