{rfName}
Me

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

90

Altmetrics

Investigadores/as Institucionales

Patiño-Martínez, MartaAutor o Coautor

Compartir

24 de junio de 2024
Publicaciones
>
Artículo
Sí

Measuring and Improving the Energy Efficiency of Large Language Models Inference

Publicado en: IEEE Access. 12 80194-80207 - 2024-01-01 12(), DOI: 10.1109/ACCESS.2024.3409745

Autores:

Argerich, Mauricio Fadel; Patino-Martinez, Marta
[+]

Afiliaciones

Univ Politecn Madrid, Escuela Tecn Super Ingn Informat, Madrid 28040, Spain - Autor o Coautor

Resumen

Recent improvements in the accuracy of machine learning (ML) models in the language domain have propelled their use in a multitude of products and services, touching millions of lives daily. These new levels of accuracy have been attained mainly through exponential growth in model size, creating a new category of models known as Large Language Models (LLMs) and leading to a substantial increase in computing and energy demands. While recent studies have focused on measuring and improving the energy consumption of LLMs during training, inference has received little attention. In this article, we present an approach to profile the energy consumption of LLMs during inference and leverage it to improve energy efficiency. For this, we deploy several state-of-the-art LLMs and observe how model size, number of layers, parallelized attention, and even vocabulary size affect their energy consumption. In addition, we leverage input batch size and different quantization levels to optimize their inference energy efficiency and latency.
[+]

Palabras clave

Computational modelingDeep learningEnergy consumptionEnergy efficiencyEnergy measurementGraphics processing unitsLarge language modelLarge language modelsMachine learningSoftwareSoftware measurementTraining

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista IEEE Access debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2024 aún no existen indicios calculados, pero en 2023, se encontraba en la posición , consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Engineering (Miscellaneous).

Independientemente del impacto esperado determinado por el canal de difusión, es importante destacar el impacto real observado de la propia aportación.

Según las diferentes agencias de indexación, el número de citas acumuladas por esta publicación hasta la fecha 2026-04-26:

  • WoS: 36
  • Scopus: 52
[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-26:

  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 49 (PlumX).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/86674/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 184
  • Descargas: 1,605
[+]

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (Argerich, Mauricio Fadel) y Último Autor (PATIÑO MARTINEZ, MARTA).

el autor responsable de establecer las labores de correspondencia ha sido Argerich, Mauricio Fadel.

[+]

Reconocimientos ligados al ítem

No Statement Available
[+]