Nuevo estudio muestra que los LLMs no procesan el significado como el cerebro
Con resonancia detalladas, un equipo de Melbourne y Hitotsubashi puso a prueba 108 oraciones con roles invertidos.
26 de octubre de 2026 · 1 min de lectura
James Fodor y Carsten Murawski, de la Universidad de Melbourne, y Shinsuke Suzuki, de la Universidad Hitotsubashi de Japón, publicaron en eLife un experimento con ocho modelos de lenguaje y 30 personas.
Las personas leyeron 108 oraciones armadas para el estudio mientras las escaneaba un resonador de 7 teslas, de mayor resolución que el habitual en hospitales. Muchas oraciones tenían casi las mismas palabras y cambiaban de sentido según el orden: quién muerde y quién es mordido.
Los investigadores compararon la actividad cerebral con las representaciones internas de ocho modelos de arquitectura transformer, la misma de los chatbots comerciales.
Los ocho superaron a un modelo básico que ignora el orden de las palabras. Aun así, predijeron mal la actividad del cerebro. Quedaron claramente por debajo de un modelo que representa de forma explícita quién hace qué a quién. Ese modelo fue el que mejor ajustó con los datos de los participantes.
El problema apareció en las oraciones con roles invertidos. Los modelos las calificaron como más parecidas entre sí de lo que las juzgaron las personas. El patrón se repitió en modelos de distintos tamaños y arquitecturas.
El estudio no niega que estos sistemas detecten la gramática cuando se les pide de manera explícita. Los autores señalan que esa información no se integra por sí sola con el significado de las palabras.
eLife, que publica la evaluación editorial junto al artículo, calificó los hallazgos de "valiosos" y el análisis de "sólido".
Murawski sostuvo que los modelos imitan el uso humano del lenguaje, pero podrían estar pasando por alto aspectos centrales de cómo las personas entienden lo que leen. El equipo prevé identificar qué aspectos del significado capturan los modelos y cuáles les siguen resultando ajenos.