{rfName}
Us

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

44

Altmetrics

Impacto en los Objetivos de Desarrollo Sostenible (ODS)

Investigadores/as Institucionales

Molero, JdAutor o CoautorConde, JAutor o CoautorReviriego, PAutor o Coautor

Compartir

3 de febrero de 2025
Publicaciones
>
Artículo
Bronze

Using large language models to estimate features of multi-word expressions: Concreteness, valence, arousal

Publicado en: Behavior Research Methods. 57 (1): 5- - 2025-01-01 57(1), DOI: 10.3758/s13428-024-02515-z

Autores:

Martinez, Gonzalo; Molero, Juan Diego; Gonzalez, Sandra; Conde, Javier; Brysbaert, Marc; Reviriego, Pedro
[+]

Afiliaciones

Univ Carlos Iii Madrid - Autor o Coautor
Univ Ghent, Dept Expt Psychol - Autor o Coautor
Univ Politecn Madrid, ETSI Telecomunicac - Autor o Coautor
Ver más

Resumen

This study investigates the potential of large language models (LLMs) to provide accurate estimates of concreteness, valence, and arousal for multi-word expressions. Unlike previous artificial intelligence (AI) methods, LLMs can capture the nuanced meanings of multi-word expressions. We systematically evaluated GPT-4o's ability to predict concreteness, valence, and arousal. In Study 1, GPT-4o showed strong correlations with human concreteness ratings (r = .8) for multi-word expressions. In Study 2, these findings were repeated for valence and arousal ratings of individual words, matching or outperforming previous AI models. Studies 3-5 extended the valence and arousal analysis to multi-word expressions and showed good validity of the LLM-generated estimates for these stimuli as well. To help researchers with stimulus selection, we provide datasets with LLM-generated norms of concreteness, valence, and arousal for 126,397 English single words and 63,680 multi-word expressions.
[+]

Palabras clave

Affective normsArousalArtificial intelligenceConcretenessCooccurrenceEnglishHumanHumansLanguageLarge language modelMulti-word expressionsPhysiologyProceduresPsycholinguisticsRatingsReduced inequalitiesSemanticsValenceWord norms

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Behavior Research Methods debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2025, se encontraba en la posición 1/13, consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Psychology, Mathematical. Destacable, igualmente, el hecho de que la Revista está posicionada por encima del Percentil 90.

Independientemente del impacto esperado determinado por el canal de difusión, es importante destacar el impacto real observado de la propia aportación.

Según las diferentes agencias de indexación, el número de citas acumuladas por esta publicación hasta la fecha 2026-04-24:

  • Google Scholar: 6
  • WoS: 16
  • Scopus: 18
[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-24:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 17.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 17 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 3.
  • El número de menciones en la red social X (antes Twitter): 4 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/85232/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 190
  • Descargas: 14
Siguiendo con el impacto social del trabajo, es importante enfatizar el hecho de que, por su contenido, puede ser asignado a la línea de interés del ODS 10 - Reducir la desigualdad en y entre los países, con una probabilidad del 46% según el algoritmo mBERT desarrollado por Aurora University.
[+]

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Belgium.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Último Autor (REVIRIEGO VASALLO, PEDRO).

[+]

Objetivos del proyecto

La aportación persigue los siguientes objetivos: analizar la capacidad de los grandes modelos de lenguaje (LLMs) para estimar concreción, valencia y activación en expresiones de varias palabras; evaluar la precisión de GPT-4o en la predicción de concreción mediante correlaciones con valoraciones humanas; determinar la validez de las estimaciones de valencia y activación para palabras individuales y expresiones múltiples; comparar el rendimiento de GPT-4o con modelos de inteligencia artificial previos; y proporcionar conjuntos de datos con normas generadas por LLM para 126,397 palabras y 63,680 expresiones múltiples en inglés, facilitando la selección de estímulos en investigaciones futuras.
[+]

Resultados más relevantes

El estudio evaluó la capacidad de los grandes modelos de lenguaje (LLMs) para estimar concreción, valencia y activación en expresiones de varias palabras. Los resultados más relevantes son: (1) GPT-4o mostró una alta correlación con las valoraciones humanas de concreción en expresiones multi-palabra (r = 0.8); (2) se replicaron estos resultados para valencia y activación en palabras individuales, igualando o superando modelos de IA previos; (3) la valencia y activación también fueron validadas en expresiones multi-palabra en estudios posteriores; (4) se generaron y facilitaron datasets con normas LLM para 126,397 palabras individuales y 63,680 expresiones multi-palabra en inglés.
[+]