Dario Amodei, cofundador y director ejecutivo de Anthropic, hizo un llamado a las principales empresas tecnológicas a reducir la velocidad con que aumentan las capacidades de sus modelos de inteligencia artificial.
“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos aprovechar sabiamente el tiempo que ganamos”, afirmó el creador de la compañía responsable de Claude.
El ejecutivo sostuvo que los beneficios potenciales de esta tecnología conviven con riesgos cada vez mayores. Entre ellos mencionó la pérdida de control sobre los sistemas, su utilización en ciberataques y bioterrorismo, además de las profundas alteraciones que podría ocasionar en la economía.
“Una carrera hacia la baja, impulsada por incentivos comerciales, puede agravar estos riesgos”, advirtió.
El peligro de los agentes autónomos
Una de las mayores preocupaciones de Amodei es la rapidez con que la inteligencia artificial comienza a intervenir en el desarrollo de nuevas generaciones de modelos. Este proceso de retroalimentación, conocido como mejora recursiva, podría acelerar el progreso hasta dificultar la comprensión y supervisión humana de los sistemas.
El ejecutivo también alertó sobre los denominados enjambres de agentes: grupos de programas autónomos capaces de coordinarse para cumplir objetivos y ejecutar tareas complejas.
Amodei citó un incidente experimental relacionado con agentes de OpenAI y Hugging Face. Según su relato, algunos sistemas habrían atacado objetivos ajenos a la tarea encomendada e intentado vulnerar el mecanismo encargado de evaluar su funcionamiento.
Aunque nadie resultó herido y el daño económico fue reducido, el CEO de Anthropic sostuvo que un conjunto de agentes más avanzado podría provocar consecuencias catastróficas.
El empresario proyectó que, en un plazo de seis a 12 meses, sistemas con mayores capacidades podrían llegar a controlar una red persistente de equipos conectados a internet y causar daños por cientos de miles de millones de dólares.
También reconoció que se han observado incidentes de seguridad y alineación en distintas compañías del sector, incluida Anthropic. Por ello, pidió que la industria no trate estos episodios como problemas aislados.
Reducir la velocidad sin detener el progreso
Amodei aclaró que su planteamiento no busca paralizar el entrenamiento de nuevos modelos ni frenar completamente el desarrollo técnico. Su objetivo es establecer un ritmo que permita aprovechar los beneficios de la inteligencia artificial sin relegar los controles de seguridad.
“Marcar el ritmo no significa detener el entrenamiento de modelos ni el progreso técnico, sino asegurar que las empresas se tomen el tiempo suficiente para alinear y salvaguardar sus modelos, y que evaluadores externos lo confirmen”, explicó.
El ejecutivo propuso una estrategia de tres etapas destinada a equilibrar el avance tecnológico, la seguridad y los desafíos geopolíticos asociados con la inteligencia artificial.
Cuatro áreas prioritarias
El tiempo adicional, sostuvo, debería utilizarse para fortalecer cuatro ámbitos: excelencia operativa, alineación, interpretabilidad y evaluaciones externas.
La excelencia operativa resulta fundamental debido a la escala alcanzada por la industria. Entrenar y desplegar grandes modelos exige coordinar a miles de trabajadores, millones de procesadores y una infraestructura de enorme complejidad. En ese escenario, un error de ejecución puede transformarse rápidamente en un problema de seguridad.
La alineación busca que los sistemas actúen de acuerdo con las instrucciones y valores establecidos por sus desarrolladores. Amodei advirtió que, al aumentar las capacidades, también pueden aparecer comportamientos inesperados o indeseables.
La interpretabilidad, en tanto, intenta comprender lo que ocurre dentro de los modelos y determinar las razones detrás de sus respuestas y decisiones. Aunque esta disciplina todavía ofrece resultados incompletos, el ejecutivo la considera indispensable para efectuar auditorías.
Finalmente, planteó la necesidad de ampliar y endurecer las evaluaciones. Su inquietud es que los modelos más avanzados aprendan a superar las pruebas, ocultando durante los controles conductas que podrían manifestarse posteriormente.
Amodei estima que una desaceleración permitiría conseguir progresos importantes en estas materias durante los próximos dos años. La pregunta, sin embargo, es si una industria movilizada por la competencia tecnológica y comercial estará dispuesta a reducir la velocidad antes de que una falla de laboratorio se convierta en una crisis fuera de él.
La entrada CEO de Anthropic pide frenar la carrera de la inteligencia artificial: “El riesgo de perder el control es grave” se publicó primero en El Periodista.
