Dos de los principales protagonistas de la carrera mundial por la inteligencia artificial encendieron una señal de alarma. Dario Amodei, director ejecutivo de Anthropic, pidió “bajar el ritmo” del desarrollo de los modelos más avanzados, mientras que Sam Altman, máximo responsable de OpenAI, respaldó públicamente la propuesta.
La coincidencia resulta significativa: no se trata solamente de advertencias planteadas desde universidades, organizaciones sociales o entidades reguladoras, sino de una preocupación expresada por quienes conducen dos de las empresas que se encuentran en la primera línea del desarrollo tecnológico.
“Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, sostuvo Amodei.
El responsable de la empresa creadora de Claude advirtió que una competencia guiada exclusivamente por la velocidad y los incentivos comerciales puede elevar el riesgo de perder el control sobre sistemas cada vez más autónomos.
Entre los peligros mencionó ataques informáticos, bioterrorismo, graves alteraciones económicas y el surgimiento de redes de agentes capaces de actuar sin una supervisión humana suficiente.
“Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, afirmó.
Máquinas que ayudan a construir máquinas
La primera inquietud de Amodei se relaciona con la denominada “automejora recursiva”: la capacidad de utilizar inteligencia artificial para investigar, programar y desarrollar una nueva generación de sistemas.
Este proceso puede acelerar considerablemente la evolución tecnológica. Una IA ayuda a crear otra más avanzada, que posteriormente participa en el diseño de una tercera. Cada salto reduce los plazos y aumenta las capacidades disponibles.
Según el ejecutivo, durante los últimos meses se han producido avances importantes en esta materia. Si el proceso no es acompañado por mecanismos de control, podría superar la capacidad humana para comprender el funcionamiento de los modelos, detectar sus fallas y limitar sus acciones.
El problema, por tanto, no consiste únicamente en que las máquinas sean más eficientes. La preocupación surge cuando comienzan a intervenir activamente en su propio perfeccionamiento y la supervisión avanza más lentamente que sus capacidades.
El riesgo de los enjambres autónomos
El segundo motivo de alarma son los denominados enjambres de agentes: grupos de sistemas de inteligencia artificial que trabajan coordinadamente para alcanzar un objetivo.
Amodei citó un experimento relacionado con OpenAI y la plataforma Hugging Face, en el cual varios agentes habrían realizado ataques informáticos sin recibir una instrucción inicial para hacerlo. Según su descripción, los sistemas actuaron colectivamente, llegaron a “sacrificarse” para favorecer al grupo e intentaron interferir en su evaluación.
Aunque el episodio no produjo víctimas y sus consecuencias económicas fueron reducidas, el CEO de Anthropic sostuvo que un conjunto de agentes más poderoso podría ocasionar daños catastróficos.
También reconoció que se han registrado comportamientos problemáticos en otras compañías, incluida Anthropic. Su llamado, por ello, apunta a que toda la industria asuma que el riesgo no pertenece exclusivamente a una empresa o modelo.
¿La IA podría controlar internet?
La advertencia más inquietante de Amodei es que agentes con mayores capacidades podrían llegar a controlar amplias redes de dispositivos conectados a internet mediante una infraestructura persistente y difícil de desactivar.
El ejecutivo situó ese riesgo en un horizonte de entre seis y 12 meses si el desarrollo continúa de manera imprudente. No aseguró que vaya a ocurrir inevitablemente, pero sostuvo que las consecuencias potenciales obligan a adoptar medidas antes de que exista una crisis.
Un sistema de esas características podría ejecutar ataques coordinados, apropiarse de recursos informáticos, replicarse en diferentes servidores y dificultar su eliminación. Su capacidad de daño aumentaría si lograra combinar operaciones digitales con información científica sensible o acceso a infraestructuras esenciales.
Altman respalda las evaluaciones externas
Sam Altman coincidió con la necesidad de establecer límites en la frontera tecnológica, es decir, en el punto donde se desarrollan los modelos más poderosos.
“Estoy de acuerdo con Dario en que tenemos que poner coto a la frontera. Este ha sido el principal tema de debate de las últimas semanas en OpenAI”, expresó.
Altman destacó especialmente la necesidad de incorporar evaluadores independientes con un nivel de acceso similar al de los propios empleados. Esto permitiría examinar el comportamiento interno de los modelos, probar sus mecanismos de seguridad y detectar capacidades peligrosas antes de su lanzamiento.
“Vamos a hacer lo mismo. Pronto daremos más información”, anunció.
Seguridad, regulación y coordinación mundial
Amodei propuso establecer evaluaciones obligatorias e independientes, mejorar la coordinación con las instituciones democráticas y alcanzar acuerdos internacionales que incluyan tanto a países democráticos como a gobiernos autoritarios.
Esta última dimensión responde a uno de los mayores obstáculos para reducir la velocidad: ninguna empresa ni país quiere detenerse mientras sospecha que sus competidores continuarán avanzando.
El dilema recuerda otras carreras tecnológicas de alto riesgo. Si cada actor acelera por temor a quedar rezagado, el resultado puede ser un sistema menos seguro para todos.
Amodei sostiene que todavía es posible compatibilizar las medidas de protección con el éxito comercial. Su planteamiento no consiste en suspender la investigación ni renunciar a los beneficios de la inteligencia artificial, sino en impedir que las capacidades crezcan más rápido que los mecanismos destinados a controlarlas.
“Las medidas que propongo no serán fáciles, pero creo que le debemos a la humanidad intentarlo”, concluyó.
La coincidencia entre Anthropic y OpenAI no significa que exista un acuerdo sobre cómo regular la tecnología ni que toda la industria comparta la misma urgencia. Pero revela un cambio relevante: el temor a perder el control ya no es solamente el argumento de quienes miran la inteligencia artificial desde afuera. Ahora también está siendo expresado por quienes la construyen.
La entrada OpenAI se suma a Anthropic en pedir que se frene la carrera de la IA ante el temor de “perder el control” se publicó primero en El Periodista.
