Descripción general del estudio

Científicos de varias universidades evaluaron un conjunto de modelos de lenguaje grande en una suite de pruebas lingüísticas comprehensiva. La suite estaba diseñada para probar habilidades como el análisis de oraciones, el manejo de la recursividad y la inferencia fonológica, áreas tradicionalmente consideradas como sellos de la competencia lingüística humana.

Pruebas lingüísticas realizadas

La evaluación constó de cuatro partes, tres de las cuales requirieron que los modelos crearan diagramas de árboles sintácticos para oraciones especialmente diseñadas. Estos diagramas descomponen las oraciones en frases nominales, frases verbales y más en categorías léxicas individuales, siguiendo el método introducido en obras lingüísticas clásicas.

Hallazgos sobre la recursividad

Un punto focal fue la recursividad, la capacidad de incrustar frases dentro de frases de manera indefinida. Los investigadores presentaron a los modelos treinta oraciones originales con estructuras recursivas complicadas. El modelo o1 de OpenAI identificó con éxito las relaciones jerárquicas en una oración sobre astronomía y antiguos, e incluso extendió el análisis agregando una capa adicional de recursividad.

Manejo de la ambigüedad

El estudio también examinó cómo los modelos manejan las oraciones ambiguas. En el ejemplo "Rowan alimentó a su mascota pollo", o1 produjo dos árboles sintácticos distintos, cada uno reflejando una interpretación plausible diferente de la frase, demostrando una capacidad para reconocer y representar la ambigüedad.

Experimentos de fonología

Para probar el razonamiento fonológico, los investigadores inventaron treinta mini-lenguajes, cada uno conteniendo cuarenta palabras fabricadas. Se les pidió a los modelos que infirieran las reglas fonológicas subyacentes sin exposición previa. El modelo o1 describió correctamente una regla en la que una vocal se convierte en una vocal aspirada cuando está precedida por una consonante obstruyente sonora, mostrando que el modelo podía analizar patrones fonológicos en sistemas lingüísticos completamente nuevos.

Implicaciones y comentarios de expertos

Los expertos señalaron que los resultados cuestionan las afirmaciones anteriores de que los modelos de lenguaje grande carecen de una comprensión lingüística real. Aunque los modelos están entrenados para predecir el siguiente token, la capacidad de realizar análisis sintáctico y fonológico detallado sugiere una forma de competencia metalingüística. Los investigadores enfatizaron que, aunque los modelos aún no han generado teorías lingüísticas originales, el estudio marca un paso significativo hacia sistemas de IA que pueden igualar el análisis lingüístico humano en tareas específicas.

Direcciones futuras

Los hallazgos plantean preguntas sobre los límites de las capacidades del lenguaje de la IA y si la escalada continua de los modelos eventualmente superará el rendimiento humano en el razonamiento lingüístico. Algunos académicos argumentan que las limitaciones actuales se deben a la naturaleza predictiva del entrenamiento, pero los éxitos demostrados sugieren el potencial para una comprensión del lenguaje más generalizada y creativa en sistemas futuros.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas