{rfName}
Ma

Indexat a

Llicència i ús

Icono OpenAccess

Citacions

10

Altmetrics

Article has an altmetric score of 1

Grant support

This study is supported by the European Union's Horizon 2020 research and innovation program under Grant Agreement no 779963, project Eurobench.

Anàlisi d'autories institucional

Torres-Pardo, AAutor o coautorPinto, DAutor o coautor

Compartir

26 desetembre de 2022
Publicacions
>
Article
Sí

Making Bipedal Robot Experiments Reproducible and Comparable: The Eurobench Software Approach

Publicat a:Frontiers In Robotics And Ai. 9 951663- - 2022-01-01 9(), DOI: 10.3389/frobt.2022.951663

Autors: Remazeilles, A; Dominguez, A; Barralon, P; Torres-Pardo, A; Pinto, D; Aller, F; Mombaur, K; Conti, R; Saccares, L; Thorsteinsson, F; Prinsen, E; Canton, A; Castilla, J; Sanz-Morere, CB; Tornero, J; Torricelli, D

Afiliacions

Basque Res & Technol Alliance BRTA, TECNALIA, San Sebastian, Spain - Autor o coautor
CSIC, Neural Rehabil Grp, Cajal Inst, Madrid, Spain - Autor o coautor
Heidelberg Univ, Inst Comp Engn, Optimizat Robot & Biomech, Heidelberg, Germany - Autor o coautor
Hosp Los Madronos, Ctr Clin Neurosci, Madrid, Spain - Autor o coautor
IUVO Srl, Pontedera, Italy - Autor o coautor
Ossur Iceland ehf, Reykjavik, Iceland - Autor o coautor
Univ Politecn Madrid, Madrid, Spain - Autor o coautor
Univ Twente, Techmed Ctr, Dept Biomech Engn, Roessingh Res & Dev, Enschede, Netherlands - Autor o coautor
Univ Waterloo, Dept Syst Design Engn, Dept Mech & Mechatron Engn, Waterloo, ON, Canada - Autor o coautor
Veure més

Resum

This study describes the software methodology designed for systematic benchmarking of bipedal systems through the computation of performance indicators from data collected during an experimentation stage. Under the umbrella of the European project Eurobench, we collected approximately 30 protocols with related testbeds and scoring algorithms, aiming at characterizing the performances of humanoids, exoskeletons, and/or prosthesis under different conditions. The main challenge addressed in this study concerns the standardization of the scoring process to permit a systematic benchmark of the experiments. The complexity of this process is mainly due to the lack of consistency in how to store and organize experimental data, how to define the input and output of benchmarking algorithms, and how to implement these algorithms. We propose a simple but efficient methodology for preparing scoring algorithms, to ensure reproducibility and replicability of results. This methodology mainly constrains the interface of the software and enables the engineer to develop his/her metric in his/her favorite language. Continuous integration and deployment tools are then used to verify the replicability of the software and to generate an executable instance independent of the language through dockerization. This article presents this methodology and points at all the metrics and documentation repositories designed with this policy in Eurobench. Applying this approach to other protocols and metrics would ease the reproduction, replication, and comparison of experiments.

Paraules clau

AlgorithmBenchmarkingExoskeletonExoskeletonsHumanoidPerformance indicatorReplicabilitySoftware

Indicis de qualitat

Impacte bibliomètric. Anàlisi de la contribució i canal de difusió

El treball ha estat publicat a la revista Frontiers In Robotics And Ai a causa de la seva progressió i el bon impacte que ha aconseguit en els últims anys, segons l'agència Scopus (SJR), s'ha convertit en una referència en el seu camp. A l'any de publicació del treball, 2022, es trobava a la posició , aconseguint així situar-se com a revista Q2 (Segundo Cuartil), en la categoria Computer Science Applications.

Des d'una perspectiva relativa, i atenent a l'indicador de impacte normalitzat calculat a partir del Field Citation Ratio (FCR) de la font Dimensions, proporciona un valor de: 4.61, el que indica que, comparat amb treballs en la mateixa disciplina i en el mateix any de publicació, el situa com un treball citat per sobre de la mitjana. (font consultada: Dimensions Jul 2025)

Concretament, i atenent a les diferents agències d'indexació, aquest treball ha acumulat, fins a la data 2025-07-22, el següent nombre de cites:

  • WoS: 1
  • Scopus: 5

Impacte i visibilitat social

Des de la dimensió d'influència o adopció social, i prenent com a base les mètriques associades a les mencions i interaccions proporcionades per agències especialitzades en el càlcul de les denominades "Mètriques Alternatives o Socials", podem destacar a data 2025-07-22:

  • L'ús, des de l'àmbit acadèmic evidenciat per l'indicador de l'agència Altmetric referit com a agregacions realitzades pel gestor bibliogràfic personal Mendeley, ens dona un total de: 14.
  • L'ús d'aquesta aportació en marcadors, bifurcacions de codi, afegits a llistes de favorits per a una lectura recurrent, així com visualitzacions generals, indica que algú està fent servir la publicació com a base del seu treball actual. Això pot ser un indicador destacat de futures cites més formals i acadèmiques. Aquesta afirmació està avalada pel resultat de l'indicador "Capture", que aporta un total de: 13 (PlumX).

Amb una intenció més de divulgació i orientada a audiències més generals, podem observar altres puntuacions més globals com:

  • El Puntuació total de Altmetric: 1.
  • El nombre de mencions a la xarxa social X (abans Twitter): 3 (Altmetric).

És fonamental presentar evidències que recolzin l'alineació plena amb els principis i directrius institucionals sobre Ciència Oberta i la Conservació i Difusió del Patrimoni Intel·lectual. Un clar exemple d'això és:

  • El treball s'ha enviat a una revista la política editorial de la qual permet la publicació en obert Open Access.

Anàlisi del lideratge dels autors institucionals

Aquest treball s'ha realitzat amb col·laboració internacional, concretament amb investigadors de: Canada; Germany; Iceland; Italy; Netherlands.