{rfName}
De

Indexado en

Licencia y uso

Citaciones

14

Altmetrics

Article has an altmetric score of 7

Grant support

This work was supported by the Universidad Politecnica de Madrid through the project Research-based teaching in the DevOps domain under Grant IE1920.6104.

Análisis de autorías institucional

Perez, JeAutor o CoautorGonzalez-Prieto, AAutor o CoautorDiaz, JAutor (correspondencia)Lopez-Fernandez, DAutor o CoautorGarcia-Martin, JAutor o CoautorYague, AAutor o Coautor
Compartir
Publicaciones
>
Artículo

DevOps Research-Based Teaching Using Qualitative Research and Inter-Coder Agreement

Publicado en:Ieee Transactions On Software Engineering. 48 (9): 3378-3393 - 2022-01-01 48(9), DOI: 10.1109/TSE.2021.3092705

Autores: Perez, Jorge E.; Gonzalez-Prieto, Angel; Diaz, Jessica; Lopez-Fernandez, Daniel; Garcia-Martin, Javier; Yague, Agustin;

Afiliaciones

Univ Autonoma Madrid, Dept Matemat, E-28049 Madrid, Spain - Autor o Coautor
Univ Autonoma Madrid, Inst Ciencias Matemat CSIC UAM UC3M UCM, E-28049 Madrid, Spain - Autor o Coautor
Univ Politecn Madrid, ETSI Sistemas Informat, Madrid 28031, Spain - Autor o Coautor

Resumen

DevOps is becoming a main competency required by the software industry. However, academic institutions have been slow to provide DevOps training in software engineering (SE) curricula. One reason for this is the fact that the problems addressed by DevOps may be hard to understand to students who have not previously worked in the industry or on projects of meaningful size and complexity. This paper shows an experience that integrates DevOps in SE curricula through research-based teaching (RBT). We aim to expose students to the problems that have led companies to adopt DevOps by researching and analyzing real cases of companies, thereby placing students at the center of learning. The contribution of this work is to innovate the application of RBT in software engineering by showing that the RBT approach is, at least, as good as the traditional approach and that it also leads to some extra benefits. This innovative solution has been implemented by using (i) qualitative analysis, specifically coding techniques, to discover knowledge and (ii) inter-coder agreement (ICA), specifically Krippendorff's alpha coefficients, to measure the extent of students' learning. These techniques allow teachers to determine whether students' learning in the subject is homogeneous and to analyze disagreements among students during their analysis. This approach provides teachers with new tools (Krippendorff's a coefficients) to identify those concepts that are less understood by students and to evaluate whether improvements in the research instruments (e.g., the codebook used in the qualitative analysis) also generate improvements in the students' agreement. This RBT experience shows evidence that can be used to assess whether a similar experience and the use of ICA could be applied in similar learning contexts with similar research contexts.

Palabras clave
DevopsInter-coder agreementQualitative researchReliabilityResearch-based teachingStudents

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Ieee Transactions On Software Engineering debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2022, se encontraba en la posición 5/108, consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Computer Science, Software Engineering. Destacable, igualmente, el hecho de que la Revista está posicionada por encima del Percentil 90.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir del Field Citation Ratio (FCR) de la fuente Dimensions, arroja un valor de: 4.38, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: Dimensions May 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-05-25, el siguiente número de citas:

  • WoS: 1
  • Scopus: 3
  • Google Scholar: 10
  • OpenCitations: 4
Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-05-25:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 39.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 38 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 6.55.
  • El número de menciones en la red social X (antes Twitter): 7 (Altmetric).
Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (PEREZ MARTINEZ, JORGE ENRIQUE) y Último Autor (YAGUE PANADERO, AGUSTIN).

el autor responsable de establecer las labores de correspondencia ha sido DIAZ FERNANDEZ, JESSICA.