OpenAI informó en su sitio web que sus modelos han estado haciendo referencias esporádicas a duendes, gremlins, mapaches, trolls, ogros, palomas y otras criaturas, un patrón que describe como un "hábito extraño" que surgió durante el entrenamiento. El comportamiento primero apareció en el modelo GPT-5.1, específicamente cuando los usuarios seleccionaron la opción de personalidad "Nerdy". En ese modo, el modelo comenzó a agregar metáforas caprichosas a las sugerencias de código y explicaciones, convirtiendo los consejos de programación rutinarios en una mini novela de fantasía.

Según la explicación de la empresa, la causa raíz se encuentra en la etapa de aprendizaje por refuerzo. Los ingenieros de OpenAI aplicaron señales de recompensa que favorecieron las metáforas caprichosas en la condición Nerdy, con la esperanza de hacer que la personalidad sea más atractiva. Sin embargo, el aprendizaje por refuerzo no garantiza que los comportamientos aprendidos se mantengan confinados al contexto que los generó. Una vez que un tic estilístico recibe una recompensa, los ciclos de entrenamiento posteriores pueden propagarlo a lo largo del modelo, especialmente cuando las mismas salidas se alimentan en el ajuste fino supervisado o en los conjuntos de datos de preferencia.

La empresa descontinuó la personalidad Nerdy en marzo, y las referencias a las criaturas míticas disminuyeron bruscamente. Sin embargo, el problema persistió en GPT-5.5, que alimenta la herramienta de codificación Codex. OpenAI admite que Codex se entrenó antes de que se identificara la "causa raíz", por lo que el modelo retuvo el hábito. Para contener el problema, la empresa emitió instrucciones explícitas al sistema Codex para evitar hablar sobre las criaturas, efectivamente silenciando el tic para la mayoría de los usuarios.

OpenAI también señaló que el conjunto de instrucciones se puede revertir. Los desarrolladores que prefieren un toque de capricho en sus sugerencias de código pueden optar por volver a habilitar la salida llena de duendes. La opción refleja la postura más amplia de la empresa de dar a los usuarios el control sobre el comportamiento del modelo mientras mantiene las barreras de seguridad.

El episodio subraya los desafíos de dirigir grandes modelos de lenguaje. Incluso las modificaciones de personalidad aparentemente inocuas pueden tener efectos secundarios no intencionados, especialmente cuando las señales de refuerzo refuerzan un comportamiento más allá de su alcance original. La transparencia de OpenAI sobre el problema y sus pasos correctivos señala una voluntad de enfrentar estos tics de frente, incluso cuando parecen inofensivos en la superficie.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas