Este lunes 16 de febrero y hasta el viernes 20, India acoge en Nueva Delhi la cumbre internacional sobre inteligencia artificial (IA). El primero se celebró en 2023 en Bletchley, Inglaterra. Su principal objetivo era abordar los riesgos de seguridad que plantean los sistemas de IA más avanzados y acordar acciones internacionales coordinadas para gestionar estos riesgos. La Declaración de Bletchley, firmada por 28 países, afirmó “la urgente necesidad de comprender y gestionar colectivamente los riesgos potenciales” que plantean los sistemas avanzados de IA.
Dos años después, la Cumbre de Acción sobre IA en París marcó un revés notable. La seguridad ha sido relegada a un segundo plano por los intereses económicos. Profesor Max Tegmark del MIT (Instituto de Tecnología de Massachusetts) declaró que“Casi parecía que estaban intentando deshacer a Bletchley”calificando la omisión de seguridad en el comunicado “puerta abierta al desastre”. La declaración final no contenía compromisos sustanciales en materia de seguridad a pesar de la publicación del Informe Internacional de Seguridad de la IA 2025, una evaluación científica de referencia (comparable al IPCC para el clima) escrita por más de 100 expertos internacionales que documentan los riesgos que plantea la IA.
La Cumbre sobre el Impacto de la IA en la India no parece tomarse la seguridad lo suficientemente en serio. De ” seguridad “ tiene ” acción “ luego a ” impacto “la trayectoria es clara y preocupante. el eje “IA segura y confiable” se centra en el” acceso “ a “talento” gobernanza, aunque el programa reconoce que los mecanismos existentes ya están demasiado fragmentados. En lugar de proponer una coordinación sólida y sistemática, critica los instrumentos regulatorios por ser “frenos” a la innovación. Además, enfatiza la disponibilidad de herramientas sin reconocer que su adopción se vuelve extremadamente difícil debido a la dinámica económica vinculada a la carrera frenética hacia sistemas cada vez más poderosos.
Si bien hace unos años la inteligencia artificial general (AGI), un sistema de inteligencia artificial capaz de realizar todas las tareas cognitivas de un ser humano adulto, todavía parecía una perspectiva lejana, ahora los debates se centran en la cantidad de años o incluso meses que nos separan de este umbral. Las IA ya superan a los humanos en muchas pruebas de capacidad intelectual. En 2025, por ejemplo, una IA ganó la medalla de oro en la Olimpiada Internacional de Matemáticas. Además, donde la inteligencia humana está limitada por la biología, la IA puede procesar información a una velocidad significativamente mayor y duplicarse, creando potencialmente millones de copias en todo el mundo.
Ya sea que la IA supere todas las capacidades cognitivas humanas en tres, cinco o diez años, el hecho es que este período de tiempo es terriblemente corto y que la humanidad no está en absoluto preparada para ello. La AGI amenaza así a la humanidad con peligros sin precedentes: la carrera armamentista autónoma, la transformación radical del trabajo, la dependencia psicológica y cognitiva y la posibilidad de una pérdida irreversible del control sobre nuestro propio destino.
Sin embargo, las predicciones sobre el AGI no deberían llevar a descuidar el hecho de que la IA actual ya tiene un alarmante potencial de daño. A día de hoy, la IA está reduciendo drásticamente el umbral de habilidad necesario para llevar a cabo ciberataques sofisticados o diseñar nuevas armas biológicas.
Mientras que la energía nuclear, la aeronáutica, la farmacia y en general todas las actividades económicas están estrictamente reguladas, la IA se desarrolla en un vacío legal casi total. Frente a los considerables riesgos que plantea la inteligencia artificial, la debilidad de su regulación constituye una anomalía inaceptable.
La IA debe regularse en proporción a sus desafíos y esto sólo puede hacerse a escala internacional. Nosotros, los cosignatarios de este foro, pedimos a los gobiernos reunidos en Nueva Delhi, y en particular a Francia, que cambien de rumbo con la firma de una moratoria destinada a detener los modelos de IA más avanzados hasta que se establezcan las salvaguardias necesarias.
Por salvaguardias entendemos:
- un régimen de responsabilidad claro y vinculante,
- auditorías independientes y estandarizadas,
- protocolos de respuesta a emergencias,
- la obligación de registrar y clasificar los riesgos,
- la obligación de financiar la investigación en materia de seguridad,
- el establecimiento de líneas rojas sobre usos de la IA que plantean riesgos inaceptables,
- el establecimiento de una agencia internacional de seguridad de IA similar a la OIEA (la Agencia Internacional de Energía Atómica),
- así como mecanismos de control democrático.
También se trata de permitir consultas democráticas reales sobre la IA. Las decisiones sobre IA avanzada no pueden ser tomadas por un puñado de líderes empresariales y accionistas. Son cuestiones de seguridad pública, en las que todos somos partes interesadas. Por eso también hacemos un llamado a la sociedad civil a movilizarse, desafiar a sus representantes y apoyar activamente a las organizaciones dedicadas a controlar los riesgos relacionados con la IA.
La cumbre de Nueva Delhi es un momento crítico. Todavía podemos revertir la tendencia y hacer que la seguridad vuelva a ocupar un lugar prioritario en la agenda internacional.
Tribuna iniciada por la asociación Pause AI
Firmantes
Colin De La Higueraprofesora y cátedra Unesco Relia de la Universidad de Nantes; Corentin Joreldocente investigador, Laboratorio Greyc, Universidad de Caen; Marius Bertoluccidocente-investigador de la Universidad de Aix-Marsella, autor de “El hombre disminuido por la IA” (Hermann, 2023); Peter Slatteryinvestigador de seguridad de IA en el laboratorio del MIT en Estados Unidos; Olle HäggströmProfesor de Estadística Matemática, Universidad Tecnológica de Chalmers (Suecia); Michael Noetelmédico, profesor de psicología de la Universidad de Queensland, Australia; Dr. Veronique Donardprofesor e investigador en psicología de máquinas inteligentes, Universidad Católica de Pernambuco (Unicap), Brasil; Patricio Albertopionero de la inteligencia artificial, miembro del despacho Technologos; Martín Gibertfilósofo, Centro de Investigación de Ética; Dr. Jérémy Perretinvestigador y orador de seguridad de IA; Clemente Dumasinvestigador asociado, normalien, MATS, ENS Paris-Saclay; Eloise Benitoinvestigador independiente de seguridad de IA; Thomas Dossussenador del Ródano, vicepresidente de la Comisión de Finanzas, grupo Ecologista-Solidaridad y Territorios; Ghislaine Senéesenador de Yvelines, grupo Ecologista-Solidaridad y Territorios; René Pilatodiputado por Charente, grupo La France insoumise-NFP; Max Anderssonex eurodiputado de Suecia y miembro del grupo de trabajo sobre robótica e inteligencia artificial, Los Verdes; Daniel Kokotajlodirector ejecutivo del Proyecto AI Futures; Gaétan Marceau Carondirectora senior, Mila, Instituto de Inteligencia Artificial de Quebec; diego hidalgoensayista y fundador de Mouvement OFF; Cédric Sauviatpresidente de Afcia (Asociación Francesa contra la Inteligencia Artificial); Dr. Maxime Deriancofundador del think tank Technoréalisme, director de Heruka; Pablo Klotzexperto asociado a la Fundación Jean-Jaurès; Otto Bartendirector de ERO (Observatorio de Riesgos Existenciales); Arnaud Mégretpresidente de Elokence; Yanni Kyriacosfundador de Tara (Technical Alignment Research Accelerator) y Aisanz (AI Safety Australia & New Zealand); James Norrisfundador y director ejecutivo del Centro para la Seguridad Existencial; Maxime Fournesdirector ejecutivo de Pause AI Global; Michael Kerrisondirector ejecutivo de Aisanz; Clémence Peyrotdirector ejecutivo de Pause IA Francia; baptiste detombeensayista y ético de las nuevas tecnologías; Julien Gobinfilósofo y ensayista, profesor en HEC París; Sabine Van Haecke-Lepicdoctor en derecho, abogado en el tribunal; Théodore Brossolletredactor jefe del medio Penser c’est chouette; Victor Fersingperiodista, creador del medio La Fabrique sociale; Vinz Kantéfundador del medio LIMIT; Shayman Thurlerdivulgador científico sobre cuestiones de IA y fundador del medio Le Futurologue; Gaëtan Selledirector y cocreador del medio The Flares; Gabriel Alfour ; Karl GlazebrookProfesor Emérito de Astrofísica y Miembro Laureado, Universidad Tecnológica de Swinburne (Melbourne, Australia), Academia Australiana de Ciencias; Alejandro Scottbloguero de seguridad de IA; foro apoyado por los jefes de las asociaciones nacionales de Pausa de IA en 21 países.
Este artículo es una columna, escrita por un autor ajeno al periódico y cuyo punto de vista no compromete a la redacción.
