OpenAI Mejora el Control de la Puntuación en ChatGPT

OpenAI ha implementado una refinación en su último modelo de lenguaje que aborda una quirk de larga data: el uso excesivo de guiones largos. La mejora, que Sam Altman destacó públicamente, se deriva del aprendizaje de refuerzo dirigido y la afinación que aumentan la influencia de las instrucciones personalizadas del usuario en los cálculos de probabilidad del modelo.

Por Qué el Cambio Es Importante

Para muchos usuarios, el guión largo excesivo era una molestia menor que interfería con la legibilidad. Al otorgar un mayor peso a las instrucciones personalizadas, el modelo ahora se adhiere más estrechamente a las preferencias del usuario, como se ejemplificó en una interacción reciente donde ChatGPT reconoció una solicitud para limitar los guiones largos y prometió usar guiones cortos en su lugar.

Desafíos de Dirigir Modelos Grandes

Los ingenieros de OpenAI señalan que la afinación precisa del comportamiento sigue siendo una ciencia inexacta. Ajustar un aspecto de una red neuronal puede tener efectos secundarios no deseados en otras capacidades porque todos los conceptos están interconectados a través de millones de parámetros de peso. Esta interdependencia significa que las actualizaciones futuras destinadas a mejorar diferentes funciones, como la asistencia para codificar, podrían reintroducir involuntariamente el problema del guión largo.

El Fenómeno de la "Tasa de Alineación"

Los investigadores se refieren al riesgo de regresión como la "tasa de alineación". Cada iteración del modelo trae nuevos datos de entrenamiento y objetivos de optimización, y la naturaleza estadística del sistema puede anular comportamientos previamente corregidos. Como resultado, mantener una elección estilística específica requiere una supervisión continua y potentially una afinación repetida.

Implicaciones para la Búsqueda de la IA General

El episodio ha generado una conversación más amplia sobre la alineación de la IA y el cronograma para la inteligencia artificial general (IA general). Aunque el ajuste exitoso demuestra el progreso en la dirección de la salida del modelo, los expertos advierten que la verdadera IA general probablemente demandaría una comprensión más profunda y una intención auto-reflexiva, capacidades que van más allá del emparejamiento de patrones estadísticos.

Respuesta de la Comunidad

Los usuarios que han estado quejándose durante mucho tiempo sobre las rarezas de la puntuación han recibido con beneplácito la actualización, aunque algunos aún experimentan lapsos ocasionales. El diálogo subraya el equilibrio entre la mejora rápida del modelo y la necesidad de un comportamiento estable y controlado por el usuario.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas