{rfName}
Sp

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

5

Altmetrics

Impacto en los Objetivos de Desarrollo Sostenible (ODS)

Investigadores/as Institucionales

Conde, JavierAutor (correspondencia)Reviriego, PedroAutor o Coautor

Compartir

8 de septiembre de 2024
Publicaciones
>
Artículo
Green

Speed and Conversational Large Language Models: Not All Is About Tokens per Second

Publicado en: COMPUTER. 57 (8): 74-80 - 2024-08-01 57(8), DOI: 10.1109/MC.2024.3399384

Autores:

Conde, Javier; Gonzalez, Miguel; Reviriego, Pedro; Gao, Zhen; Liu, Shanshan; Lombardi, Fabrizio
[+]

Afiliaciones

Northeastern Univ, Boston, MA 02115 USA - Autor o Coautor
Tianjin Univ, Tianjin 300072, Peoples R China - Autor o Coautor
Univ Elect Sci & Technol China, Chengdu 611731, Sichuan, Peoples R China - Autor o Coautor
Univ Politecn Madrid, ETSI Telecomunicac, Madrid 28040, Spain - Autor o Coautor
Ver más

Resumen

The speed of open-weights large language models (LLMs) and its dependency on the task at hand, when run on GPUs, is studied to present a comparative analysis of the speed of the most popular open LLMs.
[+]

Palabras clave

Quality education

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista COMPUTER debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2024 aún no existen indicios calculados, pero en 2023, se encontraba en la posición 53/129, consiguiendo con ello situarse como revista Q2 (Segundo Cuartil), en la categoría Computer Science, Software Engineering. Destacable, igualmente, el hecho de que la Revista está posicionada en el Cuartil Q2 para la agencia Scopus (SJR) en la categoría Computer Science (Miscellaneous).

Independientemente del impacto esperado determinado por el canal de difusión, es importante destacar el impacto real observado de la propia aportación.

Según las diferentes agencias de indexación, el número de citas acumuladas por esta publicación hasta la fecha 2026-04-28:

  • Google Scholar: 3
  • WoS: 2
  • Scopus: 4
[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-28:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 4.

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 1.

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/90614/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 122
  • Descargas: 21
Siguiendo con el impacto social del trabajo, es importante enfatizar el hecho de que, por su contenido, puede ser asignado a la línea de interés del ODS 4 - Quality Education, con una probabilidad del 60% según el algoritmo mBERT desarrollado por Aurora University.
[+]

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: China; United States of America.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (CONDE DIAZ, JAVIER) .

el autor responsable de establecer las labores de correspondencia ha sido CONDE DIAZ, JAVIER.

[+]

Objetivos del proyecto

Los objetivos perseguidos en esta aportación se centran en: analizar la velocidad de los modelos de lenguaje grandes (LLMs) de código abierto al ejecutarse en GPUs; evaluar la dependencia de dicha velocidad en función de la tarea realizada; comparar de manera sistemática la velocidad de los LLMs más populares; determinar las limitaciones de medir el rendimiento únicamente en tokens por segundo; y caracterizar factores que influyen en la eficiencia de los modelos conversacionales.
[+]

Resultados más relevantes

El estudio analiza la velocidad de modelos de lenguaje grandes (LLMs) de código abierto en GPUs, evaluando su rendimiento según la tarea realizada. Los resultados más relevantes son: 1) La velocidad de los LLMs varía significativamente en función del tipo de tarea ejecutada. 2) No todos los modelos con mayor número de tokens por segundo presentan mejor desempeño en tareas conversacionales. 3) Se identifican diferencias sustanciales en la eficiencia de los modelos más populares bajo condiciones comparativas. 4) El análisis permite comprender mejor las limitaciones y fortalezas específicas de cada modelo en entornos GPU. Estos hallazgos aportan datos cuantitativos para optimizar la selección de LLMs según el contexto de uso.
[+]

Reconocimientos ligados al ítem

This work was supported by the Agencia Estatal de Investigacion (AEI) (doi:10.13039/501100011033) under Grant FUN4DATE (PID2022-136684OB-C22), by the European Commission through the Chips Act Joint Undertaking project SMARTY (Grant 101140087), and by NVIDIA with a donation of GPUs. Zhen Gao was supported by the NSFC under Grant 62171313. Zhen Gao is the corresponding author.
[+]