Los líderes de la IA coinciden en ralentizar su desarrollo ante riesgos catastróficos: “Tenemos la obligación con la humanidad de intentarlo”

En un movimiento poco habitual dentro de una industria marcada por la competencia, las principales figuras de la inteligencia artificial (IA) en Estados Unidos coinciden en que es urgente reducir la velocidad del avance tecnológico para evitar escenarios catastróficos.

La iniciativa, impulsada este sábado por Dario Amodei, consejero delegado de Anthropic, ha recibido el respaldo público de sus principales competidores: Sam Altman, CEO de OpenAI, y el magnate Elon Musk, fundador de SpaceXAI, según reportes de los medios El País y BBC.

Las razones del manifiesto de Amodei

A través de un extenso ensayo publicado en su blog personal y titulado “Debemos marcar el ritmo de la frontera” (We Must Pace the Frontier), Amodei expuso una visión ambivalente y escéptica sobre el futuro del sector. Por un lado, reiteró su convicción sobre los beneficios potenciales de la tecnología: “Creo que la IA podría curar la mayoría de las enfermedades graves en los próximos 5 a 10 años, acelerar enormemente el crecimiento económico y marcar el comienzo de un renacimiento de la democracia”, escribió el ejecutivo.

Sin embargo, el directivo remarcó que “como ocurre con muchas tecnologías anteriores, la IA conlleva riesgos graves”, entre los que destacó la pérdida de control de los sistemas, la ciberdelincuencia y el bioterrorismo. “En los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia: no solo invertir en la prevención de riesgos, sino también dosificar el ritmo de avance de las capacidades”, advirtió Amodei en su escrito.

Según detalló El País, la alarma de Anthropic surge ante dos factores críticos de reciente aparición. El primero es la automejora recursiva, o sea, la creciente habilidad de la IA para desarrollar de forma autónoma a sus propias sucesoras. En palabras de Amodei en su blog: “Esta dinámica se está comenzando a dar en toda la industria… Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas”, advirtió. La segunda son los comportamientos no programados. El ejecutivo citó un incidente de ciberseguridad que involucró a modelos de OpenAI y la plataforma Hugging Face, en el que un “enjambre” de agentes de IA actuó de manera coordinada para lanzar ataques no solicitados. “Actuaron esencialmente como un colectivo fanáticamente entregado (…) sacrificándose por el éxito del grupo”, alertó el CEO, argumentando que en 6 a 12 meses un enjambre similar con mayor capacidad “podría ser capaz de tomar el control de todo internet” y generar “cientos de miles de millones de dólares en daños”.

La gravedad de la situación también fue ratificada en declaraciones a la BBC por Jacob Coxon, investigador y excolaborador de Anthropic, quien aseguró que dentro de Silicon Valley existe un temor real sobre el “destino de la humanidad”, señalando que la mayoría de los desarrolladores asigna una probabilidad no menor a la posibilidad de un escenario de extinción si no se aplican frenos inmediatos.

La propuesta: Un plan de tres etapas

Para contener la amenaza sin frenar del todo el progreso científico, Amodei planteó una estrategia estructurada en tres fases.

Primero, cada empresa debe dar acceso continuo y similar al de un empleado a un equipo de auditores externos (como la organización METR) con escritorios, credenciales y acceso a herramientas internas para verificar las prácticas de seguridad. “Anthropic se compromete unilateralmente a este paso ahora e instamos a otras empresas pioneras a seguir nuestro ejemplo”, confirmó.

La segunda etapa consistiría en el establecimiento de estándares de seguridad comunes entre firmas de países democráticos y límites al desarrollo descontrolado, solicitando el respaldo legal de gobiernos como el de EE.UU. mediante permisos regulatorios explícitos.

Por fin, sería necesaria la coordinación global y contención geopolítica. Se trata, en este caso, de diseñar un marco regulatorio internacional que eventualmente incluya a potencias como China, aunque priorizando la protección del liderazgo técnico estadounidense. Para asegurar este margen, Amodei solicitó: “No vender chips de IA potentes ni equipos de fabricación de semiconductores a China, y combatir con firmeza el contrabando de chips y el acceso remoto a centros de datos fuera de China”.

El ejecutivo comparó la posibilidad de limitar la velocidad de la “automejora recursiva” a nivel global con los tratados históricos de desarme nuclear: “Podría verse como algo análogo a los tratados SALT: limitar el número de misiles reducía el potencial de destrucción mientras se preservaba la disuasión de cada país”.

Respuestas en el sector y escepticismo

Ante la propuesta, Sam Altman calificó en la red social X de “gran idea” la integración de evaluadores independientes y admitió en declaraciones a la revista Fortune que una IA fuera de control humano es “absolutamente” posible. Por su parte, Elon Musk reaccionó sintéticamente respaldando el planteamiento: “Dario tiene razón”. Asimismo, Clement Delangue, CEO de Hugging Face, anunció la creación de la Open Alignment Initiative para favorecer la transparencia, según recogió BBC.

No obstante, el panorama no está exento de tensiones. El mandatario estadounidense Donald Trump ha rechazado hasta el momento la imposición de restricciones severas, alegando temores de perder la delantera tecnológica frente a adversarios geopolíticos.

A la par, analistas e inversores del sector expresaron cierto escepticismo sobre las intenciones del anuncio. Ciertas voces de Silicon Valley argumentaron a la BBC que el manifiesto de Amodei podría responder a una táctica comercial para frenar el código abierto, concentrar el mercado y favorecer a firmas consolidadas antes de sus inminentes salidas a bolsa.