No es el primero en alertar o alarmarse, pero sí es sin duda uno de los que más ruido hace. El investigador Jacob Coxon, de sólo 27 años, cerró la puerta de Anthropic este miércoles 9 de septiembre con un mensaje especialmente alarmante. La misiva publicada en En esencia, el británico que se unió a Anthropic después de dejar OpenAi, acusa a los dos laboratorios estadounidenses de “ exceder los límites » en su carrera por desarrollar una IA capaz de mejorarse a sí misma. “ Ninguna de las empresas está actuando de forma responsable. Van directamente hacia una superinteligencia capaz de mejorarse y jugar con nuestras vidas”. el escribio.
Jacob Coxon sostiene en particular que no debemos subestimar las capacidades potenciales de los sistemas avanzados de IA, que podrían convertirse en ” sobrehumano » y capaz de hackear cualquier cosa “. Y el investigador asegura que no está solo ya que según él “ Las personas involucradas en el desarrollo de la IA creen sinceramente que podría matarnos a todos para finales de esta década. Esta no es una operación de marketing. “.
También en X, otro empleado de Anthropic, Samuel Marks, se hizo eco de la declaración de Jacob Coxon. A título personal, precisa, confirma la advertencia de su ahora ex colega. “ ¿Por qué los desarrolladores de IA continúan a pesar del riesgo? Debido a una combinación de incentivos comerciales y la creencia de que están compitiendo con otros desarrolladores de IA menos responsables que harían mal uso de la tecnología o la desarrollarían de formas menos seguras. », defiende, asegurando que, por su parte, trabaja precisamente en el ámbito de la seguridad con la esperanza de que su trabajo ayude a evitar este resultado desastroso.
Los campeones de la IA dicen que ven el escenario de “superación personal recursiva”más allá del cual un modelo diseñaría solo a su sucesor, más allá de cualquier control humano. Según Jacob Coxon, sus colegas utilizan los términos “hora decisiva” (momento decisivo) y “final del juego” (fin del juego) para describir esta trayectoria.
Considera sinceros los esfuerzos de Anthropic, que también está preparando una salida a bolsa masiva, pero cree que ninguna empresa puede desarrollar responsablemente una IA que supere a los humanos sin la intervención de los Estados o una desaceleración coordinada. “En Anthropic, los problemas se entienden bien, pero están inmersos en una carrera para llegar primero: piensan que nadie más actuará responsablemente, por lo que deben hacerlo ellos mismos, a pesar del riesgo”escribió.
En febrero, Anthropic eliminó de su carta de seguridad el compromiso de suspender el desarrollo de sus modelos si no controlaba los riesgos, alegando que una pausa unilateral permitiría a los jugadores menos cautelosos dominar la competición, sin controles ni equilibrios. A finales de julio, más de mil empleados del sector, entre ellos el jefe de Anthropic, Dario Amodei, pidieron a Washington que preparara un mecanismo de freno. OpenAI suspendió parte de su formación durante dos semanas en agosto y Anthropic llamó a la industria a adoptar “lo antes posible” un mecanismo “verifiable” desaceleración coordinada. Después de un verano marcado por hackeos realizados, sin autorización, a herramientas de inteligencia artificial probadas por varios laboratorios, el director científico de OpenAI, Jakub Pachocki, escribió el domingo que “El momento actual exige extremar la precaución” y que la coordinación internacional debería ser “una prioridad absoluta” gobiernos. Ninguna ley federal rige estos modelos en Estados Unidos, donde la administración Trump favorece un enfoque ligero.
