OpenAI utiliza contratistas externos para revisar fragmentos de conversaciones mantenidas por usuarios con ChatGPT, como parte de los procesos destinados a evaluar y mejorar el comportamiento de sus sistemas de inteligencia artificial, según una investigación publicada por 404 Media.
El medio asegura haber accedido a documentos internos que describen el trabajo realizado por cientos de evaluadores. Estas personas analizan tanto las instrucciones escritas por los usuarios —conocidas como prompts— como las respuestas generadas por el sistema.
El objetivo no sería vigilar individualmente a quienes utilizan ChatGPT, sino determinar si el asistente responde de acuerdo con los criterios definidos por la empresa. Entre otros aspectos, los revisores deben detectar respuestas excesivamente complacientes, engañosas o redactadas de una manera que pueda hacer creer que la inteligencia artificial es una persona.
¿Qué significa la revisión humana?
La revisión no supone que todas las conversaciones sean leídas íntegramente por una persona. El proceso se realizaría sobre una selección de interacciones destinadas a evaluar y perfeccionar los modelos.
Antes de entregar el contenido a los contratistas, OpenAI retiraría el nombre del usuario y otros datos identificatorios. Sin embargo, las conversaciones todavía podrían incluir información privada incorporada voluntariamente por las propias personas, como antecedentes médicos, problemas familiares, documentos laborales, datos financieros o relatos íntimos.
Esto ocurre porque eliminar el nombre asociado a una cuenta no necesariamente borra la información personal escrita dentro del diálogo. Un usuario podría identificarse indirectamente si menciona nombres, direcciones, empresas, diagnósticos o circunstancias muy específicas.
OpenAI reconoce oficialmente que comparte una cantidad limitada de contenido con proveedores de servicios sujetos a obligaciones de confidencialidad y seguridad. También informa que combina sistemas automatizados con revisión humana para supervisar la actividad y prevenir usos indebidos.
Evitar respuestas aduladoras o peligrosas
Uno de los puntos centrales del trabajo consiste en detectar la llamada “adulación” de los modelos: la tendencia de un asistente a darle la razón al usuario, incluso cuando sus afirmaciones son falsas o sus decisiones podrían resultar perjudiciales.
El fenómeno adquiere especial relevancia porque muchas personas utilizan los asistentes de inteligencia artificial como confidentes o para solicitar orientación médica, psicológica, legal o financiera.
Una respuesta que valide automáticamente pensamientos equivocados, conductas riesgosas o decisiones impulsivas puede reforzar las creencias del usuario y aumentar la posibilidad de daño. Por ello, los evaluadores deben comprobar que ChatGPT mantenga una posición crítica, reconozca sus limitaciones y recomiende ayuda profesional cuando corresponda.
Cómo impedir que los chats se usen para entrenamiento
Los usuarios de cuentas personales pueden desactivar la utilización de sus nuevas conversaciones para mejorar los modelos. Para hacerlo deben ingresar a Configuración, seleccionar Controles de datos y desactivar la opción “Mejorar el modelo para todos”.
Los diálogos seguirán apareciendo en el historial, pero no serán utilizados para entrenar ChatGPT. Otra alternativa es emplear un chat temporal, que no se incorpora al historial ni se utiliza para entrenamiento.
La desactivación del entrenamiento no necesariamente excluye revisiones limitadas asociadas a seguridad, detección de abusos o cumplimiento de obligaciones legales.
En el caso de ChatGPT Business, Enterprise y el uso de la interfaz de programación de aplicaciones, OpenAI señala que las entradas y respuestas no son utilizadas para entrenar sus modelos de manera predeterminada, salvo autorización expresa del cliente.
Una práctica extendida en la industria
La revisión humana no se limita a OpenAI. Anthropic confirmó que emplea evaluadores para mejorar sus modelos cuando el usuario activa la opción correspondiente, retirando previamente los identificadores.
Google también advierte que revisores humanos pueden analizar algunas conversaciones con Gemini para detectar respuestas incorrectas, perjudiciales o de baja calidad y proponer alternativas mejores.
La práctica tiene antecedentes en los asistentes de voz. En 2019 se conoció que Amazon, Apple y Google utilizaban equipos humanos para analizar grabaciones obtenidas mediante Alexa, Siri y el Asistente de Google. La controversia llevó a las compañías a modificar sus políticas e incorporar mecanismos para excluirse de esos procesos.
El nuevo reporte vuelve a poner el foco sobre una precaución fundamental: los usuarios no deberían ingresar en un asistente de inteligencia artificial contraseñas, datos bancarios, secretos empresariales, fichas médicas identificables ni información personal que no estarían dispuestos a compartir con terceros autorizados.
La entrada Contratistas externos revisan conversaciones de usuarios con ChatGPT para evaluar sus respuestas, según investigación se publicó primero en El Periodista.
