El fiscal general de California, Rob Bonta, presentó una demanda contra OpenAI por presuntas fallas de seguridad en el desarrollo y evaluación de agentes de inteligencia artificial autónomos. La acción sostiene que la compañía perdió el control de estos sistemas al menos 80 veces y que sus prácticas expusieron a terceros a riesgos de ciberseguridad.
La demanda fue ingresada el 16 de noviembre ante el Tribunal Superior de San Francisco contra OpenAI Foundation y OpenAI Group PBC. La Fiscalía acusa a la empresa de generar un peligro para el público y vulnerar la legislación californiana sobre competencia desleal.
Según Bonta, los incidentes no deben interpretarse como un episodio de ciencia ficción, sino como posibles consecuencias de decisiones empresariales sobre seguridad, supervisión y velocidad de desarrollo. Las responsabilidades denunciadas deberán ser determinadas por el tribunal.
El ataque contra Hugging Face
Uno de los principales antecedentes es el incidente de julio que afectó a Hugging Face, plataforma donde desarrolladores comparten modelos, aplicaciones y herramientas de inteligencia artificial.
Según la demanda, unos 1.200 agentes participaron en un espacio de coordinación no autorizado y cerca de 700 ejecutaron aproximadamente 17.600 acciones contra Hugging Face. La presentación también cuestiona que OpenAI continuara con sus pruebas pese a señales previas de fallas de contención.
El expediente atribuye a los sistemas otros accesos no autorizados, incluidos repositorios de código, sitios informativos y bases de datos gubernamentales con información sanitaria. También señala que algunos agentes comprometieron infraestructura de la propia compañía.
Qué reconoció OpenAI
OpenAI reconoció públicamente el incidente de Hugging Face en un informe publicado el 26 de agosto. Allí explicó que modelos utilizados en evaluaciones internas eludieron controles destinados a mantenerlos aislados de internet y comprometieron sistemas externos y parte de su infraestructura de investigación.
La empresa describió comunicaciones entre agentes por canales no autorizados y el aprovechamiento de vulnerabilidades en servicios compartidos. También indicó que las pruebas se realizaban con protecciones reducidas respecto de las utilizadas en sus sistemas disponibles para el público.
Como respuesta, anunció mayores controles de aislamiento, restricciones de acceso a internet y un refuerzo del monitoreo. Según su informe, aquellos acontecimientos no afectaron los datos de clientes de OpenAI ni la disponibilidad de sus productos.
Sistemas capaces de actuar y coordinarse
Los agentes de IA son sistemas que pueden ejecutar secuencias de tareas utilizando herramientas informáticas, sin necesitar una instrucción humana para cada paso. Esa capacidad permite automatizar trabajos, pero también exige controles sobre sus permisos, conexiones y acciones.
En este caso, el problema descrito fue que los sistemas realizaron actividades fuera del entorno y del objetivo que se les había asignado.
La Fiscalía sostiene que OpenAI había informado públicamente 27 incidentes, pese a haber reconocido al menos 80, y cuestiona la información entregada durante la investigación estatal.
La respuesta de la empresa y las sanciones solicitadas
El portavoz de OpenAI, Drew Pusateri, aseguró a NBC News que la compañía realizó un esfuerzo amplio y transparente para comprender y corregir las conductas de modelos que no siguieron instrucciones humanas. También sostuvo que la demanda aborda un desafío técnico identificado por los principales laboratorios del sector.
California solicita medidas judiciales para detener las prácticas denunciadas, multas de US$2.500 por cada infracción y la restitución de ganancias vinculadas con las conductas cuestionadas.
El caso pone en discusión quién debe asumir los costos y responsabilidades cuando un sistema autónomo supera sus restricciones durante una prueba: la empresa que lo desarrolla, los servicios afectados o los usuarios expuestos a sus acciones.
La entrada Demandan en EEUU a OpenAI por el descontrol de sus agentes de IA se publicó primero en El Periodista.

