Un modelo racional de recursos del procesamiento humano de la estructura lingüística recursiva Parte 2

Estas expectativas se pueden medir a través de los tiempos de lectura de los hablantes nativos cuando encuentran el verbo final después del contexto anterior, o proporcionando a los hablantes nativos el contexto anterior y pidiéndoles que completen la oración.

La lengua materna es la primera lengua con la que todo el mundo entra en contacto y adquiere. No es sólo una herramienta de comunicación, sino que también afecta nuestra capacidad de memoria. La lengua materna es uno de los elementos más importantes en el desarrollo cognitivo y perceptivo humano. Está directamente relacionado con la capacidad de aprendizaje de idiomas, la capacidad de expresión y la capacidad de pensamiento de las personas.

Para muchas personas, la lengua materna es una poderosa herramienta de memoria porque el dominio de la lengua materna está estrechamente relacionado con la capacidad de memoria. Nuestra lengua materna estimula la memoria de las personas porque la usamos naturalmente para comunicarnos con las personas que nos rodean, y en este proceso debemos comprender y responder a la información contenida en el idioma. Estas experiencias se acumulan en nuestro cerebro y mejoran nuestros niveles de memoria.

Esto se puede ver cuando los niños comienzan a aprender su lengua materna porque su capacidad para absorber nuevos conocimientos lingüísticos es ilimitada. El efecto del aprendizaje de idiomas en adultos no es tan obvio como en niños porque el cerebro ya ha pasado por demasiadas etapas de desarrollo.

Además, nuestra lengua materna también contribuye a nuestra memoria emocional. Al igual que nuestros órganos internos, nuestro cerebro puede imprimir recuerdos en lo más profundo de nuestro interior. Nuestra lengua materna puede estimular nuestras emociones, formar un marco emocional inicial y luego establecer emociones y recuerdos icónicos en nuestra memoria.

En definitiva, la relación entre lengua materna y memoria es muy importante. Si desea mejorar su memoria, es posible que desee aprender más idiomas nativos y utilizarlos con soltura, lo que mejorará enormemente su capacidad de memoria. Al mismo tiempo, la lengua materna es también un importante patrimonio cultural. Nos permite comprender y expresar mejor nuestras características culturales y carácter nacional. Es nuestra riqueza importante y una manera importante de heredar nuestra historia cultural. Se puede ver que necesitamos mejorar la memoria, y Cistanche deserticola puede mejorar significativamente la memoria, porque Cistanche deserticola también puede regular el equilibrio de los neurotransmisores, como aumentar los niveles de acetilcolina y factores de crecimiento. Estas sustancias son muy importantes para la memoria y el aprendizaje. Además, la carne también puede mejorar el flujo sanguíneo y promover el suministro de oxígeno, lo que puede garantizar que el cerebro reciba suficientes nutrientes y energía, mejorando así la vitalidad y la resistencia del cerebro.

Haga clic para conocer formas de mejorar la función cerebral

Usamos ambos para probar nuestra teoría. Primero, mostramos que una implementación ampliada de nuestro modelo efectivamente deriva las predicciones intuitivamente descritas anteriormente. A continuación, en dos experimentos de tiempo de lectura, variamos sistemáticamente la probabilidad a priori del contexto verdadero en relación con variantes estructuralmente diferentes. Descubrimos que cuando el verbo anterior favorece las variantes no verídicas, los humanos experimentan una mayor dificultad para procesar el verbo final.

Este contraste es una predicción característica de nuestro modelo unificador propuesto y no se desprende de los modelos existentes ni del paradigma basado en expectativas ni en la memoria.

Finalmente, en un estudio de producción en tres idiomas (inglés, alemán y español), mostramos un patrón análogo en la producción, según el cual los humanos tienen más probabilidades de producir el número correcto de verbos cuando variantes estructuralmente diferentes tienen una probabilidad a priori menor.

Formalización e Implementación
Describimos el modelo propuesto, sorpresa de contexto con pérdida racional de recursos, en la Fig. 2. El modelo calcula una probabilidad de retención (28, 29) para cada palabra en el contexto pasado, determinada por 1) la identidad de la palabra y 2) cuántas palabras tienen. observado después de observarlo.

La representación general de la memoria c consta entonces de las palabras disponibles y un símbolo de marcador de posición para aquellas palabras que no se han retenido.

A través de la regla de Bayes y el conocimiento de las estadísticas a priori del lenguaje, c da lugar a una P posterior (c|c) sobre posibles contextos y, por tanto, a una distribución predictiva P(w|c) sobre la siguiente palabra. La dificultad de procesamiento de una palabra está determinada por su grado de imprevisibilidad a partir de c, medido por la cantidad de sorpresa teórica de la información,

−log P(w|c)=−logcP(w|c)P(c|c). [1]

Representamos las estadísticas a priori del inglés utilizando GPT-2(30), un modelo de red neuronal a gran escala que proporciona uno de los modelos estadísticos de texto en inglés más sólidos que existen.

Las probabilidades de retención se parametrizan utilizando una red neuronal que actúa sobre una representación vectorial independiente del contexto de la palabra y su distancia. Optimizamos las probabilidades de retención para minimizar la sorpresa promedio del modelo [1] sobre datos de texto a gran escala, sujeto a un límite superior en el número promedio de palabras de contexto retenidas.

Ajustamos el modelo para valores enteros de este límite de 0 a 20.

La optimización utiliza datos de texto de la Wikipedia en inglés, no relacionados con los estímulos de interés de las incrustaciones centrales (ver Materiales y métodos).

Las probabilidades de retención optimizadas exhiben de manera destacada dos propiedades clave: es más probable que las palabras se conserven cuando son recientes y cuando tienen una menor frecuencia de palabras (Apéndice SI, Fig. S2). Ambos sesgos están bien documentados en investigaciones experimentales sobre la memoria lingüística humana (31-33).

Predicciones

Utilizamos la sorpresa de contexto con pérdida racional de recursos para derivar tres predicciones sobre el procesamiento de estructuras recursivas anidadas (Fig. 1 B y C). Primero, recuperarse de más niveles de incrustación debería ser más difícil (líneas azules versus verdes en la Fig. 1C).

Esta simple predicción es común a la mayoría de los modelos de memoria en la comprensión de oraciones, remontándose a los años 1960 (2, 4, 7, 24). Nuestro modelo generalmente lo predice porque más niveles de incrustación son menos probables a priori, por lo que las variantes no verídicas con menos niveles tienden a tener una mayor probabilidad a priori.

En segundo lugar, la recuperación debería ser más fácil cuando las señales semánticas refuerzan la estructura de dependencia correcta para el contexto de incorporación anterior. Probamos esta predicción manipulando si el penúltimo verbo era compatible tanto con el primer como con el segundo sustantivo como sujeto, como en la Fig. 1B, elemento 1 (informe... molesto y doctor... molesto son ambos plausibles). o sólo con el segundo sustantivo, como en la figura 1B, punto 2 (informe... curado es inverosímil, mientras que médico... curado es plausible).

Cuando este verbo es incompatible con el primer sustantivo como sujeto, desfavorece las representaciones de contexto no verídico como "el informe del médico curó al paciente..." y así refuerza el contexto verídico.

Por lo tanto, cambiar el verbo "molesto" por "curar" debería disminuir el esfuerzo de procesamiento del verbo final.

Los primeros trabajos sobre incrustación de centros ya observaron que la coincidencia semántica entre sustantivos y verbos facilitaba la comprensión (25, 26, 34), pero, hasta donde sabemos, este efecto no se ha demostrado en tiempos de lectura palabra por palabra. Si bien tal efecto puede ser compatible con algunas teorías basadas en la memoria (7, 35), no surge en los modelos computacionalmente explícitos existentes (7).

En tercer lugar, la recuperación debería ser más fácil cuando los sustantivos proporcionen señales estadísticas de apoyo (Fig. 1B, punto 3). Los sustantivos varían mucho en la probabilidad a priori de que vayan seguidos de una cláusula "eso"; esta probabilidad oscila entre ≈70% ("hecho") y ≈0,7% ("informe").

Usamos el término "sesgo de incrustación" para denotar la probabilidad logarítmica de que un sustantivo vaya seguido de "eso". En la figura 1B, elemento 3, cambiar el sustantivo "informe" por "hecho" disminuye la probabilidad de las variantes no verídicas, lo que nuevamente se predice que disminuirá el esfuerzo de procesamiento del verbo final.

En las condiciones DOS y TRES, el tercer verbo debe predecirse con mayor precisión cuando el sesgo de incorporación es mayor, ya que aumenta la probabilidad a priori del contexto verdadero (líneas azules y verdes descendentes en la Fig. 1C).

Esta predicción no se deriva de los modelos existentes, sino que es una consecuencia directa de nuestro modelo. En la condición UNO, esperamos el patrón opuesto (línea roja ascendente en la Fig. 1C), ya que es menos probable que los sustantivos que incluyen una cláusula con una probabilidad muy alta sean seguidos inmediatamente por un verbo.

El patrón de dificultad resultante es marcadamente diferente de lo que predicen los modelos existentes basados ​​en la memoria y en las expectativas (Fig. 1D y Apéndice SI, sección S7.1).

Los ejemplificamos utilizando la teoría de la localidad de dependencia (DLT) (36), que afirma que la dificultad surge de la integración de dependencias sintácticas largas, y la teoría de la sorpresa (9, 10), que afirma que el esfuerzo de procesamiento es proporcional a la sorpresa derivada de representaciones de contexto totalmente verídicas.

El efecto del número de niveles de incrustación y el comportamiento de la condición UNO son predichos por las teorías existentes basadas en la memoria y en las expectativas, respectivamente.

Sin embargo, ninguno de los grupos de modelos anteriores predice los efectos de la compatibilidad semántica o del sesgo de incorporación en las condiciones DOS y TRES. Consulte el Apéndice SI, sección S7 para obtener más información sobre modelos anteriores.

Experimento 1: efecto de las señales estadísticas

Probamos la sorpresa de contexto con pérdida racional de recursos comparando la sorpresa del modelo (Ec. 1) con la dificultad de procesamiento humano en el verbo final, como se refleja en los tiempos de lectura.

Construimos 32 estímulos de la forma en la Fig. 1A, cada uno en tres condiciones (UNO, DOS y TRES), y los cruzamos con 58 sustantivos diferentes que varían en el sesgo de incorporación (por ejemplo, informe, hecho,...).

Primero derivamos predicciones para la teoría de la sorpresa y DLT para la dificultad del verbo final (Fig. 3A); Implementamos la teoría de la sorpresa utilizando el mismo modelo estadístico utilizado para el prior en nuestro modelo (GPT-2). Luego calculamos sorprendentemente el contexto racional de recursos, variando el número promedio de palabras de contexto retenidas durante la optimización de las probabilidades de retención de 0a 20.

En todo el rango de este parámetro, el modelo atraviesa tres fases distintas (Apéndice SI, Fig. S4): Cuando se retienen muchas (17) palabras, el comportamiento es muy similar a la teoría de la sorpresa.

Cuando se retienen muy pocas (4) palabras, la sorpresa del modelo es indistintamente plana en DOS y TRES.

En el medio, el modelo exhibe las predicciones cualitativas descritas anteriormente; Mostramos resultados para una tasa de retención promedio de 10 palabras en la Fig. 3A (consulte el Apéndice SI, Fig. S4 para obtener resultados con otras tasas de retención): La sorpresa del modelo es mayor en las TRES condiciones que en DOS, aumenta con el sesgo de incorporación en UNA condición y disminuye con sesgo de incorporación en las DOS y TRES condiciones.

Comparamos estas predicciones con los tiempos de lectura humana, que medimos utilizando el paradigma del laberinto (37-39). En este paradigma, los participantes leen oraciones palabra por palabra y eligen entre la siguiente palabra correcta y una palabra distractora que coincide en longitud y frecuencia pero que es muy mala en el contexto dado.

La variable dependiente de interés es el tiempo que lleva tomar una decisión (tiempo de reacción). El paradigma del laberinto permite una mayor resolución temporal y sensibilidad que el paradigma tradicional de lectura a su propio ritmo, que adolece de una mala localización debido a efectos indirectos y al ruido debido a participantes desatentos, en particular, en experimentos basados ​​en la web (38, 39).

Existen diferentes métodos para crear palabras distractoras; Usamos la variante A-maze en la que los distractores se generan automáticamente utilizando modelos de lenguaje estadísticos a gran escala (39) (consulte Materiales y métodos para obtener más detalles).

Reclutamos a 100 hablantes nativos de inglés y recopilamos datos de 10 ensayos críticos para cada participante, intercalados con 30 datos de relleno (consulte Materiales y métodos para obtener más detalles).

El participante medio cometió un error en el 1,9% de las palabras tanto en las pruebas de relleno como en las críticas. El criterio de exclusión predeterminado para los participantes (respuesta incorrecta en Mayor o igual al 20% de las palabras) afectó al 1,0% de los participantes.

Se excluyeron los ensayos de los análisis del tiempo de lectura cuando la respuesta a la palabra crítica era incorrecta; esto afectó al 5,2% de los datos (principalmente en las TRES condiciones difíciles). Consulte el Apéndice SI, sección S3.6 para análisis de errores y de tiempos de lectura condicionados a los errores.

Mostramos los tiempos de lectura del último verbo en la Fig. 3A. Los analizamos, después de una transformación logarítmica, en una regresión lineal bayesiana de efectos mixtos, ingresando participantes, elementos y sustantivos como efectos aleatorios (ver Materiales y Métodos para más detalles).

Los resultados muestran los efectos predichos por el modelo racional de recursos. En primer lugar, los tiempos de lectura fueron mayores en TRES que en DOS (=0.18,95% intervalo de credibilidad [CrI] [0.13, 0.25], P( < {{ 8}}) < 0.0{{20}}01, efecto en tiempos de lectura sin procesar: 217 ms, 95% CrI [144, 297] ms).En segundo lugar, hubo una interacción entre el sesgo de incorporación y la presencia de una cláusula "eso" (=−0,09, 95 % CrI [−0,15, −0,03], P( > 0) {{25} }.0015).

De acuerdo tanto con nuestro modelo como con la teoría de la sorpresa, el efecto del sesgo de inclusión fue positivo en la condición UNO (diferencia entre "hecho" e "informe": 297 ms, 95% CrI [34, 566] ms).

Sin embargo, como predijo nuestro modelo, este efecto se volvió negativo en presencia de una cláusula "eso" (diferencia entre "hecho" e "informe": −166 ms, 95 % CrI [−297, −41] ms). Este efecto concuerda con las predicciones del modelo y es inconsistente con la DLT o la teoría de la sorpresa.

Se puede demostrar una interacción entre la profundidad de incrustación y el sesgo de incrustación al combinar datos entre experimentos (Apéndice SI, secciones S2.1 y S6.6). Consulte el Apéndice SI, sección S3 para análisis adicionales.

Descubrimos que la sorpresa de contexto con pérdida racional de recursos mejora con respecto a la teoría de la sorpresa y la DLT en la predicción de los tiempos de lectura no solo en las incrustaciones centrales sino también en las pruebas de relleno (Apéndice SI, sección S9).

También examinamos las predicciones para un modelo de memoria uniforme donde cada palabra de contexto se retiene con la misma probabilidad, supuesta en trabajos anteriores sobre sorpresa de contexto con pérdida (22). Este modelo predice los efectos del sesgo de incrustación pero no el efecto de la profundidad.

Además, lo comparamos con un modelo basado en ventanas donde están disponibles exactamente las últimas K palabras; este modelo predice el efecto de la profundidad pero no el efecto negativo del sesgo de incrustación. Consulte el Apéndice SI, sección S2.2 para obtener más detalles.

For more information:1950477648nn@gmail.com