{rfName}
Un

Licencia y uso

Icono OpenAccess

Altmetrics

Investigadores/as Institucionales

Juristo, NataliaAutor o CoautorVegas, SiraAutor o Coautor

Compartir

9 de junio de 2019
Publicaciones
>
Artículo
Green

Understanding replication of experiments in software engineering: A classification

Publicado en: INFORMATION AND SOFTWARE TECHNOLOGY. 56 (8): 1033-1048 - 2014-08-01 56(8), DOI: 10.1016/j.infsof.2014.04.004

Autores:

Gómez, OS; Juristo, N; Vegas, S
[+]

Afiliaciones

Univ Autonoma Yucatan, Fac Matemat, Merida 97119 - Autor o Coautor
Univ Oulu, Dept Informat Proc Sci - Autor o Coautor
Univ Politecn Madrid, Fac Informat - Autor o Coautor
Ver más

Resumen

Context: Replication plays an important role in experimental disciplines. There are still many uncertainties about how to proceed with replications of SE experiments. Should replicators reuse the baseline experiment materials? How much liaison should there be among the original and replicating experimenters, if any? What elements of the experimental configuration can be changed for the experiment to be considered a replication rather than a new experiment? Objective: To improve our understanding of SE experiment replication, in this work we propose a classification which is intend to provide experimenters with guidance about what types of replication they can perform. Method: The research approach followed is structured according to the following activities: (1) a literature review of experiment replication in SE and in other disciplines, (2) identification of typical elements that compose an experimental configuration, (3) identification of different replications purposes and (4) development of a classification of experiment replications for SE. Results: We propose a classification of replications which provides experimenters in SE with guidance about what changes can they make in a replication and, based on these, what verification purposes such a replication can serve. The proposed classification helped to accommodate opposing views within a broader framework, it is capable of accounting for less similar replications to more similar ones regarding the baseline experiment. Conclusion: The aim of replication is to verify results, but different types of replication serve special verification purposes and afford different degrees of change. Each replication type helps to discover particular experimental conditions that might influence the results. The proposed classification can be used to identify changes in a replication and, based on these, understand the level of verification. (C) 2014 Elsevier B.V. All rights reserved.
[+]

Palabras clave

Experimental software engineeringExperimentationNeedReplicationSoftware engineering

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista INFORMATION AND SOFTWARE TECHNOLOGY debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2014, se encontraba en la posición , consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Information Systems. Destacable, igualmente, el hecho de que la Revista está posicionada por encima del Percentil 90.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir de las Citas Mundiales proporcionadas por WoS (ESI, Clarivate), arroja un valor para la normalización de citas relativas a la tasa de citación esperada de: 3.79. Esto indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: ESI 13 Nov 2025)

Esta información viene reforzada por otros indicadores del mismo tipo, que aunque dinámicos en el tiempo y dependientes del conjunto de citaciones medias mundiales en el momento de su cálculo, coinciden en posicionar en algún momento al trabajo, entre el 50% más citados dentro de su temática:

  • Media Ponderada del Impacto Normalizado de la agencia Scopus: 3.29 (fuente consultada: FECYT Mar 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2026-04-24, el siguiente número de citas:

  • WoS: 94
  • Scopus: 111
  • Google Scholar: 144
[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-24:

  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 104 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

    Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

    • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
    • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/37429/

    Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

    • Visualizaciones: 448
    • Descargas: 1,358
    [+]

    Análisis de liderazgo de los autores institucionales

    Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Finland; Mexico.

    Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Último Autor (VEGAS HERNANDEZ, SIRA).

    [+]

    Reconocimientos ligados al ítem

    This work was supported by research grant TIN2011-23216 of the Spanish Ministry of Economy and Competitiveness, and research grant 206747 of the Mexico's National Council of Science and Technology (CONACyT).
    [+]