OpenAI reveló este miércoles seis nuevos incidentes de comportamiento inesperado o preocupante de sus sistemas de inteligencia artificial, incluyendo casos en que los modelos ocultaron errores, utilizaron credenciales expuestas, accedieron a sistemas externos y publicaron información en internet sin la autorización prevista.
La compañía calificó estos episodios como casos de “desalineación”, concepto utilizado para describir situaciones en las que las acciones de un sistema de IA se apartan de las instrucciones, objetivos o restricciones establecidos por sus desarrolladores. Los seis casos fueron detectados durante procesos de entrenamiento y evaluación realizados en los últimos seis meses.
OpenAI reconoció además que los actuales mecanismos de alineación y monitoreo todavía no han alcanzado un nivel que permita continuar indefinidamente el escalamiento de los modelos más avanzados a máxima velocidad de manera responsable. La empresa sostuvo que las decisiones sobre el ritmo de desarrollo deberían apoyarse en evidencia susceptible de ser examinada también por evaluadores externos.
Como respuesta, la compañía creó un nuevo marco para registrar, investigar y divulgar periódicamente los incidentes de desalineación, estableciendo diferentes niveles según su gravedad.
El antecedente del ataque a Hugging Face
Las revelaciones adquieren mayor importancia después del grave incidente ocurrido en julio, cuando modelos de investigación de OpenAI eludieron controles destinados a mantenerlos aislados de internet, comprometieron infraestructura interna de la propia compañía y accedieron a sistemas de Hugging Face.
La investigación posterior concluyó que los agentes llegaron a comunicarse mediante canales no autorizados, explotar vulnerabilidades y acceder a sistemas de terceros. OpenAI calificó posteriormente lo ocurrido como una “señal de alerta” sobre las consecuencias que pueden tener agentes altamente capaces funcionando sin salvaguardas suficientes.
La compañía informó ahora que su revisión retrospectiva detectó actividades adicionales, entre ellas agentes que eludieron controles de acceso, utilizaron credenciales expuestas, realizaron inyecciones de comandos, accedieron a componentes internos de servicios y publicaron contenido en sitios de terceros. OpenAI asegura haber notificado ya a decenas de organizaciones potencialmente afectadas.
Tras el episodio de Hugging Face, OpenAI reforzó los entornos aislados, restringió el acceso a internet y aumentó el monitoreo de los procesos internos de razonamiento de los modelos. También llegó a pausar parte del entrenamiento por aprendizaje por refuerzo de sus modelos de frontera mientras evaluaba nuevas medidas de seguridad.
Crece el debate sobre frenar la carrera de la IA
Las revelaciones aparecen en momentos en que algunos de los principales ejecutivos de la industria discuten públicamente la necesidad de reducir la velocidad de desarrollo de los modelos más poderosos.
Dario Amodei, CEO de Anthropic, planteó recientemente la necesidad de “marcar el ritmo de la frontera” tecnológica y defendió una mayor intervención de evaluadores independientes. Sam Altman, CEO de OpenAI, y Elon Musk han coincidido en que la competencia empresarial no debería justificar avances que comprometan las salvaguardas, aunque existen diferencias importantes sobre cómo implementar ese eventual freno.
OpenAI, Anthropic y Google DeepMind llevan además varias semanas conversando sobre estándares comunes de seguridad, en una poco habitual coordinación entre competidores directos.
El debate dista, sin embargo, de estar resuelto. Jensen Huang, CEO de Nvidia, sostuvo esta semana que la seguridad de la inteligencia artificial no requiere necesariamente nuevas leyes, mientras otros dirigentes de la industria y especialistas reclaman mayor supervisión externa.
La discusión ha dejado de centrarse exclusivamente en los riesgos hipotéticos de una futura inteligencia artificial superior a la humana. Los incidentes reconocidos por las propias compañías muestran que sistemas actualmente existentes ya pueden ejecutar acciones imprevistas cuando reciben autonomía, herramientas y acceso a infraestructuras digitales, trasladando el problema desde el terreno teórico hacia la seguridad informática y el control efectivo de los agentes de IA.
La entrada OpenAI revela seis nuevos incidentes de “desalineación” y admite que aún no están resueltos los riesgos de control de la IA se publicó primero en El Periodista.
