{rfName}
Op

Indexado en

Citaciones

1

Altmetrics

Investigadores/as Institucionales

Reviriego, PedroAutor o CoautorPozo, AlejandoAutor o Coautor

Compartir

12 de enero de 2025
Publicaciones
>
Artículo
No

Operating Conversational Large Language Models (LLMs)in the Presenceof Errors

Publicado en: IEEE Nanotechnology Magazine. 19 (1): 31-37 - 2025-02-01 19(1), DOI: 10.1109/MNANO.2024.3513112

Autores:

Gao, Z; Deng, J; Reviriego, P; Liu, SS; Pozo, A; Lombardi, F
[+]

Afiliaciones

Northeastern Univ, Dept Elect & Comp Engn, Boston, MA 02215 USA - Autor o Coautor
Tianjin Univ, Sch Elect & Informat Engn, Tianjin 300072, Peoples R China - Autor o Coautor
Tianjin Univ, Sch Future Technol, Tianjin 300072, Peoples R China - Autor o Coautor
Univ Elect Sci & Technol China, Sch Informat & Commun Engn, Chengdu 611731, Peoples R China - Autor o Coautor
Univ Politecn Madrid, ETSI Telecomunicac, Madrid 28040, Spain - Autor o Coautor
Ver más

Resumen

Conversational Large Language Models have taken the center stage of the artificial intelligence landscape. As they are pervasive, there is a need to evaluate their dependability, i.e., performance when errors appear due to the underlying hardware implementation. In this paper we consider the evaluation of the dependability of a widely used conversational LLM: Mistral-7B. Error injection is conducted, and the Multitask Language Understanding (MMLU) benchmark is used to evaluate the impact on performance. The drop in the percentage of correct answers due to errors is analyzed and the results provide interesting insights: Mistral-7B has a large intrinsic tolerance to errors even at high bit error rates. This opens the door to the use of nanotechnologies that trade-off errors for energy dissipation and complexity to further improve the LLM implementation. Also, the error tolerance is larger for 8-bit quantization than for 4-bit quantization, so suggesting that there will be also a trade-off between quantization optimizations to reduce memory requirements and error tolerance. In addition, we also show the different impact of errors on different types of weights, which is valuable information for selective protection designs.
[+]

Palabras clave

Benchmark testingCodesComputational modelingDependabilityErrorError-injectionErrorsErrors toleranceFits and tolerancesGenerative artificial intelligenceHardwareHardware implementationsIntegrated circuit modelingLanguage modelLarge language modelLarge language modelsLogic gatesMemory managementPerformanceQuantisationQuantization (signal)Trade offTransformersTranslation

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista IEEE Nanotechnology Magazine debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2025, se encontraba en la posición , consiguiendo con ello situarse como revista Q2 (Segundo Cuartil), en la categoría Electrical and Electronic Engineering. Destacable, igualmente, el hecho de que la Revista está posicionada en el Cuartil Q3 para la agencia WoS (JCR) en la categoría Nanoscience & Nanotechnology.

[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-09:

  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 4 (PlumX).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/86955/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 226
  • Descargas: 289
[+]

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: China; United States of America.

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Último Autor (Lombardi, Fabrizio).

[+]

Reconocimientos ligados al ítem

This work was supported in part by the Natural Science Funds of China under Grant 62171313, in part by the FUN-4DATE under Grant PID2022-136684OB-C22 project funded by the Spanish Agencia Estatal de Investigacion (AEI) 10.13039/501100011033, and in part by the Chips Act Joint Undertaking project SMARTY under Grant 101140087.
[+]