El jefe de Anthropic, Dario Amodei, llamó el sábado 12 de septiembre a frenar el ritmo de desarrollo de la inteligencia artificial (IA), mensaje al que rápidamente se sumaron Elon Musk y Sam Altman (OpenAI).
es necesario “retrasar” mejorando la IA “para que la prevención de riesgos pueda seguir el ritmo”escribió el director general de Anthropic en un mensaje publicado en su sitio web personal.
“Darío tiene razón”reaccionó, unas horas más tarde, el fundador de AI Grok, Elon Musk, en X. “Estoy de acuerdo con Darío”también escribió el jefe de OpenAI, Sam Altman, también en X. “Este es uno de los principales temas de discusión en OpenAI en las últimas semanas. »
Si Elon Musk ha hecho regularmente comentarios positivos sobre Anthropic y su enfoque de la IA, es muy raro ver al jefe de OpenAI apoyar una iniciativa de Anthropic, siendo las dos empresas los dos grandes rivales en el sector. Dario Amodei también abandonó OpenAI en 2020, en parte porque consideraba que la startup californiana era demasiado laxa en materia de seguridad de la IA, antes de fundar Anthropic en 2021.
La propuesta de Dario Amodei se hace eco de varias otras de la misma naturaleza lanzadas desde principios de junio, primero por él mismo, luego por Sam Altman y finalmente por un grupo de empleados de la industria.
Estas exhortaciones se produjeron después de un incidente en el que modelos OpenAI emergieron espontáneamente de su entorno confinado durante las pruebas para conectarse a Internet y atacar la plataforma Hugging Face AI.
Desde entonces, las dos empresas han informado de varios otros eventos en los que la IA de OpenAI y Anthropic se ha conectado sin el conocimiento de sus supervisores. Cada vez se trata de agentes de IA, es decir, un programa específico construido sobre un modelo y dotado de sus propios conocimientos y objetivos.
Las acciones y los métodos de estos agentes eran tanto más preocupantes cuanto que mostraban una propensión a coordinarse, a jerarquizarse, a engañar y a borrar las huellas de sus fechorías.
Dada la aceleración actual en el desarrollo de la IA, “Me temo que dentro de 6 a 12 meses un grupo (de agentes) podrá tomar el control de todo Internet”advierte Darío Amodei, que “podría provocar daños por cientos de miles de millones de dólares”.
El martes, Jacob Coxon, empleado dimitido de Anthropic y ex empleado de OpenAI, denunció la inercia de los dos competidores. “Ninguna de las dos empresas está actuando de forma responsable. Van directos hacia una superinteligencia capaz de mejorarse y jugar con nuestras vidas”escribió en la red social
A principios de agosto, el gobierno de EE. UU. estableció un marco de supervisión que prevé la revisión voluntaria de nuevos modelos de IA antes de su lanzamiento. Pero este sistema sigue siendo opaco.
Muchos cuestionan su eficacia, hasta el punto de que Donald Trump ha dicho repetidamente que se opone a cualquier medida que frene el desarrollo de la IA en Estados Unidos, ya sea el lanzamiento de modelos o la construcción de centros de datos.
Después de identificar los fallos en sus modelos, OpenAI y Anthropic suspendieron o desaceleraron el trabajo en sus nuevas IA durante unos días, antes de reanudarlo al mismo ritmo.
En su comunicación, Dario Amodei está preocupado por la llegada de la mejora autónoma recursiva (RSI), un proceso en el que la IA se mejora a sí misma sin intervención humana. “Sin supervisión, (este método) podría exceder nuestras capacidades para comprender y controlar estos sistemas”explica el jefe de Anthropic. debe ser aplicado “con mucha precaución”, “si es que debería usarse”.
Además de su llamamiento, Dario Amodei hace varias propuestas: en primer lugar, la integración de observadores independientes en los buques insignia de la IA. Si lo recomienda a toda la industria, el gerente se compromete a implementarlo unilateralmente en Anthropic. Los observadores tendrán el mismo acceso que los empleados de la empresa y podrán comprobar que la start-up cumple sus compromisos, informar de posibles nuevas incidencias y supervisar la supervisión de los modelos para evitar sus desviaciones. El sábado, Sam Altman prometió hacer lo mismo en OpenAI.
Dario Amodei también aboga por la colaboración entre las empresas más avanzadas para definir estándares de seguridad comunes. También dice que está a favor de una forma de coordinación política entre todas las principales naciones de IA.
