{rfName}
De

Llicència i ús

Altmetrics

Grant support

This work was supported by the Universidad Politecnica de Madrid through the project Research-based teaching in the DevOps domain under Grant IE1920.6104.

Anàlisi d'autories institucional

Perez, JeAutor o coautorGonzalez-Prieto, AAutor o coautorDiaz, JAutor (correspondència)Lopez-Fernandez, DAutor o coautorGarcia-Martin, JAutor o coautorYague, AAutor o coautor

Compartir

Publicacions
>
Article

DevOps Research-Based Teaching Using Qualitative Research and Inter-Coder Agreement

Publicat a:Ieee Transactions On Software Engineering. 48 (9): 3378-3393 - 2022-01-01 48(9), DOI: 10.1109/TSE.2021.3092705

Autors: Perez, Jorge E.; Gonzalez-Prieto, Angel; Diaz, Jessica; Lopez-Fernandez, Daniel; Garcia-Martin, Javier; Yague, Agustin;

Afiliacions

Univ Autonoma Madrid, Dept Matemat, E-28049 Madrid, Spain - Autor o coautor
Univ Autonoma Madrid, Inst Ciencias Matemat CSIC UAM UC3M UCM, E-28049 Madrid, Spain - Autor o coautor
Univ Politecn Madrid, ETSI Sistemas Informat, Madrid 28031, Spain - Autor o coautor

Resum

DevOps is becoming a main competency required by the software industry. However, academic institutions have been slow to provide DevOps training in software engineering (SE) curricula. One reason for this is the fact that the problems addressed by DevOps may be hard to understand to students who have not previously worked in the industry or on projects of meaningful size and complexity. This paper shows an experience that integrates DevOps in SE curricula through research-based teaching (RBT). We aim to expose students to the problems that have led companies to adopt DevOps by researching and analyzing real cases of companies, thereby placing students at the center of learning. The contribution of this work is to innovate the application of RBT in software engineering by showing that the RBT approach is, at least, as good as the traditional approach and that it also leads to some extra benefits. This innovative solution has been implemented by using (i) qualitative analysis, specifically coding techniques, to discover knowledge and (ii) inter-coder agreement (ICA), specifically Krippendorff's alpha coefficients, to measure the extent of students' learning. These techniques allow teachers to determine whether students' learning in the subject is homogeneous and to analyze disagreements among students during their analysis. This approach provides teachers with new tools (Krippendorff's a coefficients) to identify those concepts that are less understood by students and to evaluate whether improvements in the research instruments (e.g., the codebook used in the qualitative analysis) also generate improvements in the students' agreement. This RBT experience shows evidence that can be used to assess whether a similar experience and the use of ICA could be applied in similar learning contexts with similar research contexts.

Paraules clau

DevopsInter-coder agreementQualitative researchReliabilityResearch-based teachingStudents

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Ieee Transactions On Software Engineering a causa de la seva progressió i el bon impacte que ha aconseguit en els últims anys, segons l'agència WoS (JCR), s'ha convertit en una referència en el seu camp. A l'any de publicació del treball, 2022, es trobava a la posició 5/108, aconseguint així situar-se com a revista Q1 (Primer Cuartil), en la categoria Computer Science, Software Engineering. Destacable, igualment, el fet que la revista està posicionada per sobre del Percentil 90.

Des d'una perspectiva relativa, i atenent a l'indicador de impacte normalitzat calculat a partir del Field Citation Ratio (FCR) de la font Dimensions, proporciona un valor de: 4.33, el que indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: Dimensions Jun 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-06-11, el següent nombre de cites:

  • WoS: 1
  • Scopus: 3
  • Google Scholar: 10
  • OpenCitations: 4

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-06-11:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 39.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 38 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 6.55.
  • El nombre de mencions a la xarxa social X (abans Twitter): 7 (Altmetric).

Anàlisi del lideratge dels autors institucionals

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Primer Autor (PEREZ MARTINEZ, JORGE ENRIQUE) i Últim Autor (YAGUE PANADERO, AGUSTIN).

l'autor responsable d'establir les tasques de correspondència ha estat DIAZ FERNANDEZ, JESSICA.