{rfName}
Au

Indexat a

Llicència i ús

Citacions

1

Altmetrics

Grant support

This work is supported by the Madrid Government (Comunidad de Madrid - Spain) under the Multiannual Agreement with Universidad Politecnica de Madrid in the line Support for R&D projects for Beatriz Galindo researchers, in the context of the VPRICIT, and through the call Research Grants for Young Investigators from Universidad Politecnica de Madrid. The authors would also like to acknowledge European Union's Horizon Europe Programme under GA 101129744 - EVERSE - HORIZON-INFRA-2023-EOSC-01-02.

Anàlisi d'autories institucional

Utrilla Guerrero, CarlosAutor (correspondència)Corcho, OscarAutor o coautorGarijo, DanielAutor o coautor

Compartir

5 denovembre de 2024
Publicacions
>
Conferència publicada
No

Automated Extraction of Research Software Installation Instructions from README Files: An Initial Analysis

Publicat a:Instant Or Distant: A Temporal Network Tale Of Two Interaction Platforms And Their Influence On Collaboration. 14770 114-133 - 2024-01-01 14770(), DOI: 10.1007/978-3-031-65794-8_8

Autors: Guerrero, CU; Corcho, O; Garijo, D

Afiliacions

Delft Univ Technol, Res Data & Software RDS Dept, Delft, Netherlands - Autor o coautor
Univ Politecn Madrid, Ontol Engn Grp, Madrid, Spain - Autor o coautor

Resum

Research Software code projects are typically described with a README files, which often contains the steps to set up, test and run the code contained in them. Installation instructions are written in a human-readable manner and therefore are difficult to interpret by intelligent assistants designed to help other researchers setting up a code repository. In this paper we explore this gap by assessing whether Large Language Models (LLMs) are able to extract installation instruction plans from README files. In particular, we define a methodology to extract alternate installation plans, an evaluation framework to assess the effectiveness of each result and an initial quantitative evaluation based on state of the art LLM models (llama-2-70b-chat and Mixtral-8x7b-Instruct-v0.1). Our results show that while LLMs are a promising approach for finding installation instructions, they present important limitations when these instructions are not sequential or mandatory.

Paraules clau

Automated extractionCodes (symbols)Computer software selection and evaluationData miningInformation extractioInformation extractionInformation retrievalInput output programsKnowledge graphKnowledge graphsLanguage modelLanguage processingModeling languagesNatural language processing systemsNatural scientific language processingResearch/scientific knowledge graphResearch/scientific knowledge graphsScientific knowledgeScientific languageSoftware installationsSoftware testing

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

Independentment de l'impacte esperat determinat pel canal de difusió, és important destacar l'impacte real observat de la pròpia aportació.

Segons les diferents agències d'indexació, el nombre de citacions acumulades per aquesta publicació fins a la data 2025-07-10:

  • Scopus: 1

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-07-10:

  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 3 (PlumX).

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: Netherlands.

Hi ha un lideratge significatiu, ja que alguns dels autors pertanyents a la institució apareixen com a primer o últim signant, es pot apreciar en el detall: Primer Autor (UTRILLA GUERRERO, CARLOS) i Últim Autor (GARIJO VERDEJO, DANIEL).

l'autor responsable d'establir les tasques de correspondència ha estat UTRILLA GUERRERO, CARLOS.